1 (20.12.2008 17:17 отредактировано putnik)

Тема: Стоп-слова

Пора, наверно, уже что-то с ними делать.
Вот, например, мой вариант на основе старой странички с artlebedev.ru, ещё одной найденной странички и моих соображений (как я понимаю, у PunBB с морфологией никак, т. е. нужны точные формы + явная поддержка «ё»).
Upd: добавлены ещё слова на основе списка Штейнфельдт.

без
более
больше
большой
был
была
были
было
быть
вам
вас
вдоль
ведь
весь
видно
вместо
вне
вниз
внизу
внутри
вокруг
восемь
вот
все
всегда
всего
всей
всех
всё
вся
где
говорил
говорили
говорим
говорить
говорят
год
давай
давать
давно
даже
далеко
два
девять
день
десять
для
долго
достаточно
другого
другой
другое
другие
его
если
есть
еще
ещё
зачем
здесь
знать
ибо
изо
или
именно
иметь
иной
ином
каждый
каждого
каждому
каждым
как
какой
какое
когда
который
кроме
кто
либо
лишь
между
меня
мне
много
мог
могу
может
мои
мой
навсегда
над
надо
назад
нам
нас
наш
него
недавно
нее
неё
некто
нельзя
несколько
нет
никто
них
ноль
оба
обо
один
однако
около
она
они
оно
оный
опять
особенно
ото
отчего
очень
под
пожалуйста
после
потому
похоже
почему
почти
при
про
прямо
пусть
пять
равно
ребята
редко
сам
самая
сами
самим
самой
самому
самый
самым
самому
свой
себя
семь
сказал
сказали
сказать
сначала
снова
совсем
спасибо
сразу
среди
стал
стала
стали
стать
ста
сто
так
также
такие
такой
там
твой
тем
теперь
тогда
того
тоже
той
только
том
тот
точно
три
тут
тысяч
тысяча
тысячи
тысячу
уже
хотя
хоть
час
часто
часу
чего
чей
чем
четыре
что
чтоб
чтобы
чья
чье
чьё
чья
шесть
эта
эти
это
этого
этом
этот

И стоит ли оставлять английские слова? Или они подключаются автоматически?
Upd: Английские слова не подключаются. Объединяем?

Дополнительный вопрос: с какой длины индексируются слова? Возможно, есть смысл убрать короткие.
Upd: Опытным путём выяснено, что индексация начинается с длины 3, убраны все короткие.

PS: Возможно, я и перестарался с некоторыми словами.

Сайт putnik

Поделиться

2

Re: Стоп-слова

Давно пора было седлать этот список

Захочешь — найдешь время, не захочешь — найдешь причину.

Поделиться

3

Re: Стоп-слова

Объясните плтз - эти стоп-слова применяются к сообщениям что ли? yikes
Или к именам пользователей?

Поделиться

4

Re: Стоп-слова

DARX пишет:

Объясните плтз - эти стоп-слова применяются к сообщениям что ли?
Или к именам пользователей?

Это слова в сообщениях, которые не индексируются при поиске.

Сайт putnik

Поделиться

5

Re: Стоп-слова

Раз принципиальных возражений не высказано, я заливаю в SVN. Корректировать будем уже в процессе.

Сайт putnik

Поделиться