Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
Коллеги, недавно столкнулся с такой темой: апгрейдилась большая БД с 2005 EE до 2008r2 EE. Несколько таблиц, в том числе самая большая, размером порядка 3,5 Тб, имели полнотекстовые индексы. При апгрейде, чтобы ускорить процесс и снизить время простоя основного функционала, большие полнотексты были предварительно удалены (благо бизнес-логика позволяла пару дней обойтись без них). После завершения апгрейда, каталоги были воссозданы на выделенных файловых группах и запущено повторное создание индексов. Так вот, в процессе построения индекс, который ранее занимал на диске порядка 75 Гб, вырастил под себя файл до 300 Гб, а по завершении построения освободил 150 из них. Т.о. размер индекса увеличился по сравнению с 2005-м в 2 раза, а необходимое для создания место в 4. Не говоря уже о логе. Про лог я еще более-менее могу понять: фуллтекст стал в 2008 структурой, построенной на объектах, хранящихся внутри БД, со всеми вытекающими в отношении логирования изменений. Но вот про то, что теперь под хранения полнотекста нужно настолько больше места нигде никакой инфы найти не смог. Может кто сталкивался с подобным? Не попадалась ли кому какая-нибудь статья или документ описывающий эти изменения и требования по месту для полнотекстов в сравнении с 2005? Буду очень благодарен за ссылки.
4 июн 14, 11:12    [16117350]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
gang,

Какие-то я странные по ходу вопросы тут задаю =) Через раз как спрошу че-нить так по нескольку дней ни одного ответа.
5 июн 14, 10:05    [16124094]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
gang
gang,

Какие-то я странные по ходу вопросы тут задаю =) Через раз как спрошу че-нить так по нескольку дней ни одного ответа.


есть ответы!

1. да, размеры больше
2. нет, не попадалась инфа об этом, да и смысл, вариантов то нет
5 июн 14, 10:14    [16124136]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
Winnipuh
2. нет, не попадалась инфа об этом, да и смысл, вариантов то нет

Ну смысл-то на мой взгляд очень даже есть. Куча статей в документации и тем в форумах написано про подготовку и проведение апгрейда, про предварительные требования и т.п. Визард установщика Space Requirements по системной части в процессе проверяет, а про такой некислый Requirement, что под полнотекст в 2-4 раза больше места надо резервировать ни гу-гу. Вот и сижу в сомнениях: то ли я как-то не так или не там ищу, то ли мелко-мягкие этот неловкий момент афишировать не торопятся.
5 июн 14, 14:18    [16126133]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
Winnipuh,
Про размеры наверное тоже верно. Если полнотекст изначально пару гиг весит, то что там в процессе апгрейда гиг-другой сверху набежало большинство наверное и не замечает. Поэтому скорее всего и тишина такая на эту тему.
5 июн 14, 14:23    [16126175]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
gang
Winnipuh
2. нет, не попадалась инфа об этом, да и смысл, вариантов то нет

Ну смысл-то на мой взгляд очень даже есть. Куча статей в документации и тем в форумах написано про подготовку и проведение апгрейда, про предварительные требования и т.п. Визард установщика Space Requirements по системной части в процессе проверяет, а про такой некислый Requirement, что под полнотекст в 2-4 раза больше места надо резервировать ни гу-гу. Вот и сижу в сомнениях: то ли я как-то не так или не там ищу, то ли мелко-мягкие этот неловкий момент афишировать не торопятся.


Наверняка нет определенной зависимости во всех случаях, возможно потому и нет рекомендаций.
5 июн 14, 14:30    [16126248]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4901
Насколько я помню функционал полнотекста расширился на 2008, соответственно объём индекса вырос и это не удивительно
5 июн 14, 18:38    [16128154]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
a_voronin
Насколько я помню функционал полнотекста расширился на 2008, соответственно объём индекса вырос и это не удивительно

Ни слова не понял. Можно поподробней, что значит функционал расширился, и как это расширение связано с размером индекса?
6 июн 14, 08:57    [16129936]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31983
gang
a_voronin
Насколько я помню функционал полнотекста расширился на 2008, соответственно объём индекса вырос и это не удивительно

Ни слова не понял. Можно поподробней, что значит функционал расширился, и как это расширение связано с размером индекса?
Думаю, имеется в виду то, про что вы сами писали:
gang
фуллтекст стал в 2008 структурой, построенной на объектах, хранящихся внутри БД, со всеми вытекающими в отношении логирования изменений.


Согласен с
Winnipuh
Наверняка нет определенной зависимости во всех случаях, возможно потому и нет рекомендаций.
Кроме того, размер индекса по сравнению с размером таблицы (300 Гб / 3,5 Тб) небольшой, поэтому, видимо, этому не придаётся большого значения.
6 июн 14, 09:31    [16130053]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
alexeyvg
Кроме того, размер индекса по сравнению с размером таблицы (300 Гб / 3,5 Тб) небольшой, поэтому, видимо, этому не придаётся большого значения.

"Не важно как голосуют, главное как считают" (с) дедушка Иосиф.
Если сравнивать так, то конечно да, мелочи жизни, а если сравнивать с исходным размером, то разница 200-400% - все-таки солидные цифры. На мой взгляд, уже достойные упоминания в доках.
Пишут же про ребилд индексов, хотя и там размер индекса от объема таблицы может быть единицы процентов (если не кластерный). А тут такая серьезная операция как апгрейд, в ходе которого и
откатиться-то безболезненно практически невозможно и тишина.
6 июн 14, 10:17    [16130312]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4901
a_voronin,

Появились новые возможности для поиска, соответственно под эти возможности генерится больше индексирующих структур.

По-моему синонимы появились или что-то такое. Надо читать

Если раньше слово искалось один в один, а теперь со склонениями, то соответственно в индексе должно быть больше данных для реализации этой задачи
6 июн 14, 11:54    [16131210]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
a_voronin
a_voronin,

Появились новые возможности для поиска, соответственно под эти возможности генерится больше индексирующих структур.

По-моему синонимы появились или что-то такое. Надо читать

Если раньше слово искалось один в один, а теперь со склонениями, то соответственно в индексе должно быть больше данных для реализации этой задачи


ну, синонимы были и до того, точнее тезаурус.
И раньше (2000, 2005, 2008) искались словоформы так же.

Но кардинальное отличие: до 2005 включительно FT индексы и каталоги хранились в файлах на диске, а начиная с 2008 - всё хранится в базе.
При всем желании ждать одинаковых размеров не приходится, да и как сравнивать тоже вопрос.
6 июн 14, 14:56    [16132982]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4901
Я привёл в качестве примера. Я не утверждаю, что дело именно в синонимах.

Я утверждаю, что в алгоритмах, что-то изменилось. Значит, то что суется в файл индекса тоже изменилась. Изменился размер. А что именно изменилось, MSDN вам в руки.

Вообще при переходе на новый сервер, надо проводить опробирование, смотреть какие будут последствия. Не факт, что всё станет на место. Может быть такое, что файлы разрастутся, может быть такое, что функционал отвалиться, запросы начнут тормозить.
6 июн 14, 15:21    [16133289]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
a_voronin
Я привёл в качестве примера. Я не утверждаю, что дело именно в синонимах.

Я утверждаю, что в алгоритмах, что-то изменилось. Значит, то что суется в файл индекса тоже изменилась. Изменился размер. А что именно изменилось, MSDN вам в руки.

Вообще при переходе на новый сервер, надо проводить опробирование, смотреть какие будут последствия. Не факт, что всё станет на место. Может быть такое, что файлы разрастутся, может быть такое, что функционал отвалиться, запросы начнут тормозить.

Вот чеканит человек, сердце радуется. Все прямо, четко, ясно. Каждое слово как большая круглая печать. Особенно "Я не утверждаю", "что-то", "Не факт", "может быть". Про MSDN это я тоже что-то сплоховал, и вправду нужно было с него начинать вопрос изучать. Ссылочку дадите? Я, собственно, как раз ее в исходном посте и просил.
6 июн 14, 15:33    [16133413]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4901
gang
a_voronin
Я привёл в качестве примера. Я не утверждаю, что дело именно в синонимах.

Я утверждаю, что в алгоритмах, что-то изменилось. Значит, то что суется в файл индекса тоже изменилась. Изменился размер. А что именно изменилось, MSDN вам в руки.

Вообще при переходе на новый сервер, надо проводить опробирование, смотреть какие будут последствия. Не факт, что всё станет на место. Может быть такое, что файлы разрастутся, может быть такое, что функционал отвалиться, запросы начнут тормозить.

Вот чеканит человек, сердце радуется. Все прямо, четко, ясно. Каждое слово как большая круглая печать. Особенно "Я не утверждаю", "что-то", "Не факт", "может быть". Про MSDN это я тоже что-то сплоховал, и вправду нужно было с него начинать вопрос изучать. Ссылочку дадите? Я, собственно, как раз ее в исходном посте и просил.


May I ask you? Do you speak English and are you able to type something like "SQL server 2008 full text new features" in Google. If so, you can dig up something like this.

http://msdn.microsoft.com/en-us/library/ms143272(v=sql.100).aspx

http://msdn.microsoft.com/en-us/library/ms143729(v=sql.100).aspx

http://msdn.microsoft.com/en-us/library/ms143709(v=sql.100).aspx
6 июн 14, 16:42    [16133980]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
a_voronin,

Приведенные Вами ссылки я читал и перечитывал несколько раз. У меня был вполне конкретный вопрос про описание новых требований к размеру хранения полнотекстовых индексов в документации или на "православных" (уважаемых) форумах или блогах. Если у Вас нет конкретных предложений не стоит засорять эфир публикуя посты ради постов, включая в них пространные умозаключения самого общего свойства или ссылки, которые как Вы сами отметили гуглятся в полтора клика. Спасибо за участие.
6 июн 14, 17:09    [16134185]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31983
gang
У меня был вполне конкретный вопрос про описание новых требований к размеру хранения полнотекстовых индексов в документации или на "православных" (уважаемых) форумах или блогах
Такого нет и не может быть, о чём сразу и сказали. Всё в формате:
gang
"Я не утверждаю", "что-то", "Не факт", "может быть"

Очень много в поведении СУБД зависящего от данных, не только в FTS.
6 июн 14, 19:11    [16134774]     Ответить | Цитировать Сообщить модератору
 Re: Апгрейд полнотекста на 2008 R2  [new]
gang
Member

Откуда:
Сообщений: 1394
alexeyvg
Такого нет

Пока и у меня то же впечатление
alexeyvg
и не может быть

Вот это уже весьма спорно. Про что, полнотекст в 2008-м на длинные числа кучу ложноположительных результатов выдает тоже до поры инфы не было. Потом появился фикс.
alexeyvg
Очень много в поведении СУБД зависящего от данных, не только в FTS.

Да кто бы спорил, только почти все это "много" так или иначе документировано. Здесь же никаких упоминаний о том, что "мы собирали индекс так, теперь так; раньше хранили столько слов, теперь столько и поэтому раньше требовалось столько места что бы проиндексировать Hello Word, а теперь столько". Вопрос же был именно об этом и отсутствие информации на самом деле тоже информация. Поэтому ответами Вашими и Winnipuh я был вполне удовлетворен т.к. они во-первых содержали факт "нам такие документы не известны" и во-вторых рациональное размышление почему этот факт может иметь место. Ценность же ответов a_voronin стремится к нулю и при этом человек пытается "давать советы космического масштаба и космической же ..." и далее по профессору Преображенскому.
6 июн 14, 20:12    [16135047]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить