Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 FTS - повторная индексация документов  [new]
Eleanor
Member

Откуда:
Сообщений: 2643
Добрый день.

При выполнении ребилда каталога для всех ошибочных документов 3 раза выполняются повторные попытки индексации (A full-text retry pass of Full population started for table or indexed view). Битых документов в таблице много, поэтому повторы занимают много времени.

Можно ли как-то в настройках FTS ограничить количество повторов?
Хотелось бы оставить 1 повтор, т.к. только он исправляет какие-то ошибки, последующие попытки бесполезны.
19 окт 18, 11:42    [21708802]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Eleanor
Добрый день.

При выполнении ребилда каталога для всех ошибочных документов 3 раза выполняются повторные попытки индексации (A full-text retry pass of Full population started for table or indexed view). Битых документов в таблице много, поэтому повторы занимают много времени.

Можно ли как-то в настройках FTS ограничить количество повторов?

Увы, нет. The full-text index has built-in retry logic that will continue to retry the failed entry until it succeeds
Eleanor
Хотелось бы оставить 1 повтор, т.к. только он исправляет какие-то ошибки, последующие попытки бесполезны.

Не совсем так, более чем уверен, что три попытки связаны со статистикой, ведь If we check Full-Text DMVs documentation, we’ll notice that these statistics can be obtained: by document, by property, by keywords.
19 окт 18, 12:33    [21708917]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Eleanor
Битых документов в таблице много

Или они не успевают обработаться за 60 секунд. Рекомендуют обычно поставить с запасом минут 20, "Exec sp_fulltext_service ‘ft_timeout’, 1200000".
19 окт 18, 12:35    [21708923]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Eleanor
Member

Откуда:
Сообщений: 2643
Andy_OLAP
Или они не успевают обработаться за 60 секунд. Рекомендуют обычно поставить с запасом минут 20, "Exec sp_fulltext_service ‘ft_timeout’, 1200000".

Там много разных причин, например:
- rtf в zip, а фильтры нормальные никто не купит (это же не лицензии на сервер покупать)
- фильтр возвращает ошибку, если в архиве 100500 документов с размером 0.

Спасибо за ответ.
В крайнем случае тогда придется завести другое поле, без известных неиндексируемых документов.
19 окт 18, 12:53    [21708974]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Eleanor
фильтры нормальные никто не купит (это же не лицензии на сервер покупать)

Eleanor
повторы занимают много времени

Хотите, я напишу письмо Вашему руководству? "Элеонору беспокоит проблема с излишними затратами времени на бесполезные операции, которые мешают полноценному фунционированию ПО, требуется выделить бюджет на закупку фильтров. Считаю целесообразным рассмотреть вопрос и принять положительное решение в срок до 1 ноября 2018 года".
19 окт 18, 12:57    [21708981]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Eleanor
Member

Откуда:
Сообщений: 2643
Andy_OLAP
Не совсем так, более чем уверен, что три попытки связаны со статистикой, ведь

На самом деле 4 повторные попытки, неправильно написала в исходном сообщении. А вместе с начальным проходом таблицы это 5.
19 окт 18, 12:58    [21708988]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Eleanor
Member

Откуда:
Сообщений: 2643
Andy_OLAP
Хотите, я напишу письмо Вашему руководству?

Спасибо, не нужно. Положительное решение принято очень давно с формулировкой, что закупят при ближайшей возможности :)
Но сейчас в моде Elasticearch, так что уже скорее поставят его.
19 окт 18, 13:05    [21709005]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Eleanor
Andy_OLAP
Не совсем так, более чем уверен, что три попытки связаны со статистикой, ведь

На самом деле 4 повторные попытки, неправильно написала в исходном сообщении. А вместе с начальным проходом таблицы это 5.

Версия уже 2016? Для 2012 и ранее точно встречал "three retries".
здесь хорошая статья, кстати, рекомендуется ism_size поставить 16 вместо 8 по дефолту.
19 окт 18, 13:05    [21709007]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Eleanor
Member

Откуда:
Сообщений: 2643
Andy_OLAP,

Да, 2016. Статью видела, но у меня уже и так ism_size 16.
19 окт 18, 13:08    [21709013]     Ответить | Цитировать Сообщить модератору
 Re: FTS - повторная индексация документов  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Eleanor
Andy_OLAP
Хотите, я напишу письмо Вашему руководству?

Спасибо, не нужно. Положительное решение принято очень давно с формулировкой, что закупят при ближайшей возможности :)
Но сейчас в моде Elasticearch, так что уже скорее поставят его.

Таки можно попробовать самостоятельно написать фильтр на C#, дело нехитрое. И зарегистрировать правильно в реестре windows.
Но эластик - это кошерная штука. Особенно внутри стека ELK.
19 окт 18, 13:16    [21709030]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить