Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Data Collector - зачем это надо?  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3746
Почитал в документации, понял, что можно коллекционировать какие-то данные откуда-то.

Какие случаи применения в жизни?
Кому и когда это полезно?
Это админам или конечному юзеру может помочь?
3 янв 17, 13:50    [20070694]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
o-o
Guest
коллекционировать что-то откуда-то?
например, выкинутые телевизоры и компы из соседнего топика?
посмотри еще раз, что можно собирать и реши, надо оно тебе или нет.
можно или еще раз прочесть, что именно собирается,
или на картинку посмотреть,
какие отчеты получишь на основе собранных данных
SQL Server 2008: Performance Data Collector
3 янв 17, 14:33    [20070762]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3746
o-o
коллекционировать что-то откуда-то?
например, выкинутые телевизоры и компы из соседнего топика?
посмотри еще раз, что можно собирать и реши, надо оно тебе или нет.
можно или еще раз прочесть, что именно собирается,
или на картинку посмотреть,
какие отчеты получишь на основе собранных данных
SQL Server 2008: Performance Data Collector


отчеты то да, но хотелоьс бы понять, когда это полезно.
Собственно, юзерская база и есть по большому счету коллекция данных.
В чем принципиальное преимущество этого компонента сервера?
3 янв 17, 16:44    [20070954]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
o-o
Guest
ну как же "имеющаяся база и есть коллекция"?
берем для примера системную коллекцию Disk Usage.
настроил ты собирать ее раз в день,
потом взял и посмотрел за год, как и когда базы росли.
в цифрах и графически.
увидел всплески 12 раз в году,понял,
что в конце месяца тебе наваливают лишних 30Гб в такую-то базу,
прикинул, пора им базу расширить на ближайшие 5 лет вперед
3 янв 17, 17:03    [20070998]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3746
o-o
ну как же "имеющаяся база и есть коллекция"?
берем для примера системную коллекцию Disk Usage.
настроил ты собирать ее раз в день,
потом взял и посмотрел за год, как и когда базы росли.
в цифрах и графически.
увидел всплески 12 раз в году,понял,
что в конце месяца тебе наваливают лишних 30Гб в такую-то базу,
прикинул, пора им базу расширить на ближайшие 5 лет вперед


ясно
И где это всё хранится?как чистить? иначе засыпет по уши данными
3 янв 17, 17:55    [20071135]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
o-o
Guest
20070762
В приведенной ссылке все это есть
3 янв 17, 19:06    [20071337]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Eleanor
Member

Откуда:
Сообщений: 2926
Ролг Хупин,

Данные сохраняются в ДБ, которую вы укажете коллектору.
Период хранения указывается в настройках коллекции (Retain Data for). Например, в системной коллекции Disk Usage данные по дефолту хранятся 730 дней. При настройке коллектора автоматически создается джоб mdw_purge_data, который удаляет старые данные.

Я пользовалась коллектором, чтобы собирать все запросы, выполняющиеся на продакшен сервере (требование безопасников).
Запросы при этом пишутся сначала в текстовый файл, а потом переносятся в БД с помощью SSIS пакетов. Т.е. процедура достаточно щадящая.
3 янв 17, 19:39    [20071433]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Eleanor
Member

Откуда:
Сообщений: 2926
Ролг Хупин
В чем принципиальное преимущество этого компонента сервера?

Коллектор автоматизирует рутинный сбор информации и отчеты, при этом не сильно нагружая сервер.
Удобно, что все хранится в одной БД, в том числе счетчики производительности и трейсы.
Можно информацию бэкапировать и хранить по 10 лет (безопасники это любят).

Но вы, естественно, можете всё это сделать вручную и без коллектора.
3 янв 17, 20:05    [20071469]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Mr. X
Guest
Eleanor,

Матёрые, однако, у вас безопастники.
4 янв 17, 02:17    [20072266]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Eleanor
Member

Откуда:
Сообщений: 2926
Mr. X,

Ничего особенного для банка. У них всегда есть деньги на железо.
Сбор всех запросов + персональный логин у каждого сотрудника давал возможность ответить на вопрос "кто вчера в 4 часа изменил данную строчку в таблице".

Забавно, что местные программисты о коллекторе в Sql Server не знали, поэтому сделали самописный сборщик всех запросов на .Net, используя rowset provider. По мере роста нагрузки их самописка стала серьезно тормозить сервер.
Встроенный коллектор решил проблему.
4 янв 17, 04:06    [20072322]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
Дата коллектор используется для настройки ОЛАП также.
4 янв 17, 18:02    [20073235]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
uaggster
Member

Откуда:
Сообщений: 867
Eleanor, а поподробнее не можете рассказать?
Степ - бай степ фор думмиз, т.с.
:-)
5 янв 17, 14:11    [20074910]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
komrad
Member

Откуда:
Сообщений: 5252
Eleanor
Ролг Хупин
В чем принципиальное преимущество этого компонента сервера?

Коллектор автоматизирует рутинный сбор информации и отчеты, при этом не сильно нагружая сервер.
Удобно, что все хранится в одной БД, в том числе счетчики производительности и трейсы.
Можно информацию бэкапировать и хранить по 10 лет (безопасники это любят).

Но вы, естественно, можете всё это сделать вручную и без коллектора.

Всё выглядит красиво, пока у вас не особо нагруженный сервер.
Как только нагрузка возрастает, множество тяжелых запросов в параллель, база MDW начинает расти (на одном из серверов она у меня доросла до 90ГБ), сервисные джобы начинают жестко дедлочить, что в моем случае приводило к повышенной тревожности мониторинга (алерты на ошибки джобов).

В общем, пришел к выводу - там, где этот функционал необходим (нагруженный продакшен), он добавляет головной боли и доп. нагрузку на сервер.

Либо надо использовать с ним кастомизированные темплейты.
5 янв 17, 18:45    [20075490]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Eleanor
Member

Откуда:
Сообщений: 2926
komrad
сервисные джобы начинают жестко дедлочить

Что-то такое было. Практически прекратилось после разнесения джобов во времени.
komrad
база MDW начинает расти (на одном из серверов она у меня доросла до 90ГБ)

У нас за 200 ГБ было. Информацию хранили 1 неделю, старую бэкапили и записывали на ленты.
Действительно, Data Collector явно рассчитан на энтерпрайз. Но он вроде и так только в Enterprise версии.
komrad
Всё выглядит красиво, пока у вас не особо нагруженный сервер.

У нас и был нагруженный стараниями программистов. 80 ядер были постоянно загружены на 50% и выше. Всего остального, правда, хватало. Не знаю, что именно вы подразумеваете под нагруженным.
5 янв 17, 21:36    [20075928]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Eleanor
Member

Откуда:
Сообщений: 2926
uaggster,

Можете пройти по картинкам из этой статьи. Там фактически степ бай степ.
5 янв 17, 22:08    [20076050]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
Idol_111
Member

Откуда:
Сообщений: 605
DC прекрасно работает и в Стандартной версии.

При правильных установках систему сильно не нагружает. В среднем 1% по CPU, 4% по IO в OLTP системе (в основном).

Проблема с дедлоками известна - это косяк/дизайн Майкрософта. Как написал Eleanor решается разносом джобов на минуту.

С версии 2014 (если не ошибаюсь) добавили пару таблиц без кластерного индекса, что приводит к росту размера таблиц (это точно косяк). Но данных в этих таблицах реально процентов 5 от объема. Решается созданием кластерного индекса.

В 2016 версии поломали сбор счетчиков. Пока не починили.19932364, но обещали в следующем CU.

Я использую DC уже много лет. На практике часто помогает в прогнозировании по железу. Создаешь свой DC set для Baseline и собираешь его поквартально (к примеру). По динамике легко вычисляются необходимые в будущем компоненты. Анализ Baseline вообще вещь полезная.
Ну и конечно, всегда есть что предъявить разработчикам когда какая-то проблема. Особено после их апгрейда :).
Также легко анализируются блокировки.
6 янв 17, 01:33    [20076617]     Ответить | Цитировать Сообщить модератору
 Re: Data Collector - зачем это надо?  [new]
uaggster
Member

Откуда:
Сообщений: 867
Eleanor, спасибо, прочитал с интересом.
Оказывается функционал по сбору информации о выполненных запросах там есть "из коробки".
6 янв 17, 10:23    [20076930]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить