Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Сравнение систем Full Text Search  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

Hi, all !

Никто нигде не натыкался на сравнение систем полнотекстового поиска
в СУБД ?

--
Картинка с другого сайта.

Posted via ActualForum NNTP Server 1.4

24 май 07, 11:02    [4178972]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
MasterZiv

Никто нигде не натыкался на сравнение систем полнотекстового поиска
в СУБД ?

А что есть - полнотекстовый поиск? Смысла в этом словосочетании ни на грош...
24 май 07, 14:08    [4180121]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

Di_LIne пишет:

> А что есть - полнотекстовый поиск?

Full Text Search

Posted via ActualForum NNTP Server 1.4

24 май 07, 14:11    [4180152]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
MasterZiv

Di_LIne пишет:

> А что есть - полнотекстовый поиск?

Full Text Search

Спасибо! А то по-аглицки я и не знал как пишется...
- Смысл этого "фулл" в чем заключается?
24 май 07, 14:45    [4180394]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
ChA
Member

Откуда: Москва
Сообщений: 11381
Di_LIne
- Смысл этого "фулл" в чем заключается?
У Вас не работает Google ?
24 май 07, 14:58    [4180490]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
ChA
Di_LIne
- Смысл этого "фулл" в чем заключается?
У Вас не работает Google ?

Это чье-то мнение... Может оное к англицкаму и применимо...
А вот к рассейскому - сомнения меня берут.
Так как, если говорить о "фул", то без морфологии в русском - не обойтись...
А система формообразования слов в русском языке значительно сложнее, чем в аглицком.
Вот я и спрашиваю - какой смысл чел вкладывает в это "фулл"?
24 май 07, 15:11    [4180619]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
ChA
Member

Откуда: Москва
Сообщений: 11381
Di_LIne
Вот я и спрашиваю - какой смысл чел вкладывает в это "фулл"?
Есть подозрение, что общепринятый. Вот, например, о полнотекстовом поиске. Или Вы не верите, что "full text search" эквивалентно "полнотекстовый поиск" ?

P.S. IMHO, придирки на пустом месте.
24 май 07, 15:27    [4180742]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
Di_LIne
ChA
Di_LIne
- Смысл этого "фулл" в чем заключается?
У Вас не работает Google ?

Это чье-то мнение... Может оное к англицкаму и применимо...
А вот к рассейскому - сомнения меня берут.
Так как, если говорить о "фул", то без морфологии в русском - не обойтись...
А система формообразования слов в русском языке значительно сложнее, чем в аглицком.
Вот я и спрашиваю - какой смысл чел вкладывает в это "фулл"?

Если тебе это кажется сложным, вовсе не значит, что не существует решений. Вот, например.
24 май 07, 15:42    [4180856]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
DocAl
Если тебе это кажется сложным, вовсе не значит, что не существует решений. Вот, например.

Ага! Тогда поясните мене такой разрез, если теоритически не понятно, на примере:
 ДОСКА                      -> ДОЩЕЧКА                   -> ДОСОЧКА
 Падежные формы ед. числа   Падежные формы ед. числа     Падежные формы ед. числа
 Падежные формы мн. числа   Падежные формы мн. числа     Падежные формы мн. числа
 Прилагательные             Прилагательные               Прилагательные
 Наречие                    Наречие                      Наречие  
По какой схеме должен осуществляться поиск?
1. Поиск ТОЛЬКО точной словоформы данного слова.
2. по вертикали, в рамках только словоформ существительного.
3. тоже, но и с учетом словоформ М и Ж рода
4. тоже, но с учетом морфем прилагательных и наречий
5. весь "примоугольник"
24 май 07, 16:03    [4181022]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
ChA
[quot Di_LIne] Или Вы не верите, что "full text search" эквивалентно "полнотекстовый поиск" ?

За каждым термином скрывается определенный смысл.... Я - только о нем.
24 май 07, 16:06    [4181049]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
akurgan
Member

Откуда:
Сообщений: 13
lucene рулит. очень удобно, быстро и не только для СУБД.
24 май 07, 16:27    [4181235]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
S.G.
Member

Откуда: cartoon network
Сообщений: 30611
Di_LIne

По какой схеме должен осуществляться поиск?
1. Поиск ТОЛЬКО точной словоформы данного слова.
2. по вертикали, в рамках только словоформ существительного.
3. тоже, но и с учетом словоформ М и Ж рода
4. тоже, но с учетом морфем прилагательных и наречий
5. весь "примоугольник"
Если где-то существует сравнение систем полнотекстового поиска, о котором просил автор, то вероятно, в нем эти подробности будут освещены. К сожалению, мне не приходилось заниматься этим, поэтому мне неизвестны ни такие сравнения, ни системы. Но если кто- то даст ссылку на такое сравнение, или просто список систем с описанием, это (имхо) будет гораздо полезнее для темы и автора, чем раскрытие на 10-ти страницах наиболее полного смысла слова "full".
24 май 07, 21:22    [4182360]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Всвязи с "разбродом и шатанием" в толковании терминов, ответ на данный вопрос завист от контекста, стоящего за термином у автора. И в каком-либо сравнении, имхо, не будут сводить воедино морфологический поиск и поиск "на точное вхождение", так как по сути, форме и организации - это две, совершенно различные, по сложности и организации, системы.
Для первого варианта - ссылок вагон.
А по второму - хотя бы тот же МюСкульный "фул текст серчь"... По нему Дока_Олл может дать более компетентный ответ...
24 май 07, 21:46    [4182397]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
DocAl
Если тебе это кажется сложным, вовсе не значит, что не существует решений. Вот, например.

Дока_Олл... Мы опять про старое?
Даже у Яндекса(!) до сих пор есть заморочки с морфологией русского языка.
Так как, по их же признанию, идет непрерывный рост кол-ва новых слов и словоформ...
Для примера - "падонкавский" сленг.
- Это жизнь...
24 май 07, 22:00    [4182429]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Для уточнения.

Рекомендую посмотреть склонения слов расейскаго языку:
1. с беглой Ё и О - берёг>берегла; любовь>любви(д.п.); церковь>церквей(мн,р.п.) и тп.
2 "она-нок" - ребенок>ребенка(р.п.)
3. с беглой Е - камень>камня(р.п.); свинец>свинца(р.п.); горошек>горошка(р.п.) и тп.
4. с беглой О - петушок>петушка(р.п.); коготь>когтя(р.п.); огонь>огня(р.п.) и тп.
5. с беглой Ё и Й - паёк>пайку(д.п.); буёк>буйком(т.п.)
6. существительные существующие только во мн.ч. - сласти>сластями(т.п.); бусы>бусам(д.п.)
7. существительные м.р. на -ор с беглой о: только ед.ч. - багоР>багРа(р.п.)
8. - земля>землЕю(т.п.); армия>армий(мн,р.п.); спальня>спален(мн,р.п.); беглец>беглецов(мн,в.п.)

... ну и хватит.

Тогда вапрос: какой тарабарскмй "ХВУЛ СЁРЧЬ" с этим справиться???

ЗЫ
Да! Вот ышо замечательный пример, приведу полностью:
---------------------------------------------------------
вошь>вша(и.п.)
вошь>вшу(р.п.)
вошь>вше(д.п.)
вошь>вшой(т.п.)
вошь>вошах(п.п.)
вошь>вошью(т.п.)
вошь>воши(и.п.)
вошь>вошей(р.п.)
вошь>вошам(д.п.)
вошь>вошами(Т.п.)
вошь>вши(мн,и.п.)
вошь>вшей(мн,р.п.)
вошь>вшам(мн,д.п.)
вошь>вшами(мн,т.п.)
вошь>вшах(мн,п.п.)
25 май 07, 08:18    [4183032]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
htd
Guest
Di_LIne

Тогда вапрос: какой тарабарскмй "ХВУЛ СЁРЧЬ" с этим справиться???

Например наш рассейский, с соответствующими словарями. Для "албанского" ispell делайте сами
25 май 07, 09:46    [4183295]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
Di_LIne
Для уточнения.

Рекомендую посмотреть склонения слов расейскаго языку:
1. с беглой Ё и О - берёг>берегла; любовь>любви(д.п.); церковь>церквей(мн,р.п.) и тп.
2 "она-нок" - ребенок>ребенка(р.п.)
3. с беглой Е - камень>камня(р.п.); свинец>свинца(р.п.); горошек>горошка(р.п.) и тп.
4. с беглой О - петушок>петушка(р.п.); коготь>когтя(р.п.); огонь>огня(р.п.) и тп.
5. с беглой Ё и Й - паёк>пайку(д.п.); буёк>буйком(т.п.)
6. существительные существующие только во мн.ч. - сласти>сластями(т.п.); бусы>бусам(д.п.)
7. существительные м.р. на -ор с беглой о: только ед.ч. - багоР>багРа(р.п.)
8. - земля>землЕю(т.п.); армия>армий(мн,р.п.); спальня>спален(мн,р.п.); беглец>беглецов(мн,в.п.)

... ну и хватит.

Тогда вапрос: какой тарабарскмй "ХВУЛ СЁРЧЬ" с этим справиться???

ЗЫ
Да! Вот ышо замечательный пример, приведу полностью:
---------------------------------------------------------
вошь>вша(и.п.)
вошь>вшу(р.п.)
вошь>вше(д.п.)
вошь>вшой(т.п.)
вошь>вошах(п.п.)
вошь>вошью(т.п.)
вошь>воши(и.п.)
вошь>вошей(р.п.)
вошь>вошам(д.п.)
вошь>вошами(Т.п.)
вошь>вши(мн,и.п.)
вошь>вшей(мн,р.п.)
вошь>вшам(мн,д.п.)
вошь>вшами(мн,т.п.)
вошь>вшах(мн,п.п.)

Вы же эти правила как то запомнили - и компьютер сможет. Правил литературного языка ограниченное количество, а сленг включать необязательно
25 май 07, 09:57    [4183358]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
htd

Например наш рассейский, с соответствующими словарями. Для "албанского" ispell делайте сами

Сам проверл эти словари, али ток так. тынцнул?...
1. Так вот, в тех словарях нет:
- Фамилий, коих поболее 100.000;
- Отчеств, коих за 40.000;
- Далеко не полный состав Имен. Для примера - нет уменьшительно-ласкательных форм.
- Географических, исторических и прочих химическо-физическо-математически-металургически-финансовых и прочая, прочая, прочая терминов.
Колих, по моей имхе, поболее 6.000.000 "базовых" словоформ насчитывается...
- Числительные - не представлены ва-апче как класс.
Сии мои утверждения легко проверяются...

2. russian.aff - изобилует ошибками, неточностями и полным отсутствием некоторых частей.
В часности - для числительных, местоимений, а так же ряда исключений из Правил орфографии
Русского языка.
25 май 07, 10:02    [4183381]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
SergSuper
Вы же эти правила как то запомнили - и компьютер сможет. Правил литературного языка ограниченное количество, а сленг включать необязательно

Дело-то не в Правилах... С этим я с Вами полностью согласен!
А в построении "поисковых последовательностей" образуемых словоформ...
Ведь мы говорим о Full Text Search.
Мюскульный "фул серчь" дает очень прикольные варианты:
Например: При поиске слова "библиотечная" - не дает результата, но при поиске "библиотечный" - результат есть.
То есть - это поиск всего лишь "на точное вхождение"...
Но ни как не фулл...
25 май 07, 10:08    [4183421]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Локшин Марк
Member

Откуда: Воронеж
Сообщений: 3155
SergSuper
Правил литературного языка ограниченное количество, а сленг включать необязательно

Дело в том, что правила составляли филологи, а у них понятие логики "немного" отличается от того, что принято в математике. Вот недавно в интернете уточнял про правописание частиц:
http://booference.pochta.ru/ortho_xvii.html
Частицы бы (б), же (ж), ли (ль) пишутся раздельно, например: сделал бы, если бы, если б, однако же, однако ж, вот же ж ты какой, едва ли, всегда ль.
Примечание. Правило не распространяется на те случаи, когда указанные частицы входят в состав цельных слов, например: чтобы, также, неужели и др.

Раздельно пишутся частицы ведь, вот, мол и некоторые другие.
25 май 07, 10:33    [4183635]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Локшин Марк
Дело в том, что правила составляли филологи, а у них понятие логики "немного" отличается от того, что принято в математике.
... а юзаем эти Правила - мы с вами.
То есть: - Как хотим, так и юзаем, поплевывая на все Правила, в кучке и россыпью.
25 май 07, 10:36    [4183663]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
LeXa NalBat
Member

Откуда: Москва
Сообщений: 2892
Di_LIne, что вы привязались к морфологии? Например в постгресовом tsearch, ссылку на который уже давали, эти системы разделены. И стэммер может включать в себя не только морфологию, а например перевод из HTML в TEXT. И морфологию можно использовать любую, самописную например. :) Да, морфологию и FTS эффективно использовать совместно, но не нужно смешивать. Хотя возможно в других субд они жестко связаны.

Tsearch V2 Readme
OpenFTS vs Tsearch2
OpenFTS is a middleware between application and database. OpenFTS uses tsearch2 as a storage and database engine as a query executor (searching). Everything else, i.e. parsing of documents, query processing, linguistics, carry outs on client side.
25 май 07, 10:37    [4183678]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
LeXa NalBat
Di_LIne, что вы привязались к морфологии?

См. мой первый пост...
25 май 07, 10:43    [4183726]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Еще аспект:
- При поступлении запроса с орфографической ошибкой - что должна делать система Full Text Search ?
25 май 07, 10:44    [4183736]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение систем Full Text Search  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
LeXa NalBat
Да, морфологию и FTS эффективно использовать совместно, но не нужно смешивать.
Я об этом уже говорил...
25 май 07, 10:50    [4183792]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить