Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
Всем привет!
Хочу организовать у себя хранилище данных для отчетов. Мелко-мягкий ОЛАП с его хранилищами ну очень мне не понравился (правда, я с ним разбирался вснего всего пару дней). В любом случае использовать его наша организация не будет :)
Как я себе представляю:
1) На основании документов оперативного учета создаем плоские таблицы, в которые входили бы большинство полей отчетов.
2) Затем (возможно) на их основе создаем таблицы с агрегированными значениями.
3) Создаем и крутим куб в своей программе (есть уже).
Хотелось бы услышать мнение Олла о таком подходе к созданию хранилища и обсудить вот что: как синхронизировать данные электронных документов и таблиц хранилища? Хотелось бы конечно в реал-тайме... Значит- триггера. Но триггера существенно замедлят работу по внесению данных... Может быть как-то использовать механизмы репликации? Но хранилище желательно создавать в той же базе...
Масштабы примерно такие: база без аналитических данных порядка 10Гиг, среднее кол-во пользователей одновременно вбивающих данные голов 20, смотрящих отчеты возьмем 50. Подготовленные данные для отчетов сейчас занимают порядка 30 Гиг... Что еще рассказать- не знаю. Давайте общаться!
26 янв 05, 14:18    [1274965]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
GreenSunrise
Member

Откуда:
Сообщений: 12310
Мдяя... А может, вернемся к
_Alexander_
Мелко-мягкий ОЛАП с его хранилищами ну очень мне не понравился (правда, я с ним разбирался вснего всего пару дней). В любом случае использовать его наша организация не будет :)


Поразбираетесь еще пару дней, глядишь - и понравится. Опять же на форуме вопросы по нему позадаете, ответы прочитаете - и вообще любовь случится.
26 янв 05, 14:33    [1275044]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
>А может, вернемся к Microsoft Analysis Services?
Нет. Не потому что я такой вредный. Хотя... Попробуйте меня переубедить. Сейчас у нас аналитики владеют несколькими десятками отчетов каждый. Структура отчетов как правило сложная- то есть около десятка источников данных (документов), обычно пару десятков полей в отчете. Структура отчетов меняется практицки каждый день. Сейчас со всем этим очень удачно справляемся, единственная проблема- тормоза. Насколько я смог понять читая форум по ОЛАПУ изменение более-менее сложного отчета и переподготовка данных к нему у мелко-мягких занимает чють ли не несколько часов и требует недюжих усилий высококвалифицированного штата, что нам не подходит.
26 янв 05, 14:50    [1275144]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Bormoglot
Member

Откуда: Don`t worry, be happy
Сообщений: 173
Ну если мелко-мягкий не подходит, то в какой системе будете организовывать ХД?
26 янв 05, 15:04    [1275220]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
_Alexander_
Сейчас у нас аналитики владеют несколькими десятками отчетов каждый. Структура отчетов как правило сложная- то есть около десятка источников данных (документов), обычно пару десятков полей в отчете. Структура отчетов меняется практицки каждый день. Сейчас со всем этим очень удачно справляемся, единственная проблема- тормоза. Насколько я смог понять читая форум по ОЛАПУ изменение более-менее сложного отчета и переподготовка данных к нему у мелко-мягких занимает чють ли не несколько часов и требует недюжих усилий высококвалифицированного штата, что нам не подходит.


Давайте разберемся на конкретном примере. Есть область, которую надо анализировать. Например, продажи. Вот и создайте куб, который бы строился с учетом всех возможных измерений и значений. И создайте с помощью Excel шаблон свойдной таблицы. Где в область строк поместите одно измерение, в область столбцов одно, все остальные измерения в область страниц. И скопируйте их аналитикам в локальную папку шаблонов на их рабочие станции. Теперь они смогут создать из Вашего шаблона любой отчет и диаграмму, сохранить его у себя и при необходимости открывать и обновлять данные. Естесвтенно, что для этого нужен некоторый опыт работы со сводными таблицаи Excel. если уж у Вас совсем слабые пользователи, то Вам просто придеться насоздавать большще шаблонов самому.
26 янв 05, 15:16    [1275277]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Glory
Member

Откуда:
Сообщений: 104760
_Alexander_
Насколько я смог понять читая форум по ОЛАПУ изменение более-менее сложного отчета и переподготовка данных к нему у мелко-мягких занимает чють ли не несколько часов и требует недюжих усилий высококвалифицированного штата, что нам не подходит.

По-моему вы путаете построение куба с запросами к уже построенному кубу.
Не верится как-то что каждый день у вас меняется набор измерений и мер
26 янв 05, 15:23    [1275306]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Сам там был.

Этап 1.

Сначала построй куб в MS OLAP. Для этого потрать вечер и пролистай все 5 курсов, в него встроенных. Не трогай егойные примеры. Посмотреть, конечно, можно, но не трогай. Разбирайся сразу со своими данными.

Когда получишь куб, посмотри на Basic MDX. Сделай простой отчет. В нескольких разрезах. Не смотри на Advanced MDX :) По крайней мере первую неделю. Хватит и Basic.

Сделай Linked Server на MS OLAP Server. Сделай хранимок и вьюх, которые будут возвертать тебе в базу аналитические вещи.

Этап 2.

Разберись с пополнением данных. Настрой для куба инкрементальный процессинг. Повесь это на планировщик. Не получилось? То-то! :)

Пересмотри куб с позиций инкрементального обновления. Повтори этап 1, но уже ориентируясь на новые зрания.

Этап 3.

К этому моменту есть куб, настроено его инкрементальное пополнение, есть гарантии достоверности аналитических данных за выбираемые периоды.

Смотрим на Advanced MDX, если надо.

Этап 4.

Возвращаемся в конфу и говорим, что MS OLAP полный ацтой и у тебя есть движок, который все, перечисленное в 1-3 делает лучше, быстрее и ваще в режиме реального времени и с гарантией достоверности данных. Получаешь всеобщее признание, 20 000 постов на свой счет в подарок и должность зама Била Гейтса по вопросам связи с общественностью.

P.S.То, что в своей программе подключили компоненту просмотра куба еще совершенно ничего не значит.

P.P.S.Реал-тайма в аналитике не бывает. В смысле в жизни. Очень дорого. По крайней мере, пока очень дорого.
26 янв 05, 15:26    [1275319]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
Фухх, наконец-то пошло общение :))
Glory:
По-моему вы путаете построение куба с запросами к уже построенному кубу.
Не верится как-то что каждый день у вас меняется набор измерений и мер

Да нет, не путаю :) Пару раз в день минимум изменяется набор полей. В каком-нить отчете.
Куб у нас сейчас не храниться в базе, сейчас каждый отчет формирует временную таблицу, а куб формируется в памяти рабочей станции. Интерфейс довольно удобный, пользователи привыкли и на Эксель не перейдут вжизнь :)
То Crimean: сделаю это все обязательно, нада проверить :)
Лучше чем Analysis Services я писать ничего и не собираюсь. Я исхожу из принципа достаточности. Для большинства отчетов вполне хватит сливать данные из документов (причем только в течение некоторго периода актуальности) в денормализованную таблицу, для нектороых отчетов конечно желательно хранить куб. При этом создание и изменение отчета будет сводиться к работе с SQL запросами.
26 янв 05, 15:43    [1275378]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Glory
Member

Откуда:
Сообщений: 104760
Да нет, не путаю :) Пару раз в день минимум изменяется набор полей. В каком-нить отчете.
Мы про MS Analysis Services говорим ?
26 янв 05, 15:50    [1275417]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
Glory:
Да нет, не путаю :) Пару раз в день минимум изменяется набор полей. В каком-нить отчете.
Мы про MS Analysis Services говорим ?


Нет. Объясняю. Я MS Analysis Services только смотрел, сейчас наша организация использует другую отчетную систему (отечественной разработки), отчеты в которой легки в разработке и удобны в использовании. Единственная проблема- тормоза при работе с большими объемами данных. Поэтому я хочу организовать свое хранилище, на MS Analysis Services не ориентированное, и последние несколько постов народ меня переубеждает.
26 янв 05, 16:01    [1275500]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Crimean
Member

Откуда:
Сообщений: 13148
MS OLAP не хранилище. Если мы говорим про агрегацию больших объемов данных, то вперед рыть архивы OLAP форума, потом пробовать учебники по OLAP, чтобы было о чем говорить. А лучше - по предложенному плану с упором на актуальность (гарантия достоверности! как предоставить? на основании чего?) и инкрементальную популяцию (когда делать, какой кусок данных агрегировать?).

И в этом форуме останутся вопросы, как передавать параметры в DTS пакет для инкрементального процессинга данных.

А вот если мы говорим просто про оболочку для выбора данных / построения / показа отчетов, то это немного не тот форум.
26 янв 05, 16:16    [1275583]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
Crimean
MS OLAP не хранилище.


8-) Что ты хотел этим сказать?!
26 янв 05, 16:27    [1275646]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
автор

Crimean
MS OLAP не хранилище.

8-) Что ты хотел этим сказать?!


Я думаю, он хотел сказать что MS OLAP инструмент анализа а не инструмент сбора данных.
Если все же отложить пока MS OLAP и вернуться к сбору данных,- как вам идея: настроить репликацию данных электронного документа и необходимых для отчета справочников в денормализованную таблицу (например, на отчетный сервер)? Это не будет замедлять работу с документами и обеспечит практически реал-тайм накопление такого упрощенного хранилища.
26 янв 05, 17:04    [1275880]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
_Alexander_
автор

Crimean
MS OLAP не хранилище.

8-) Что ты хотел этим сказать?!


Я думаю, он хотел сказать что MS OLAP инструмент анализа а не инструмент сбора данных.


Да ну. А я вот как раз считал, что одна из задач, решаемых с помощью OLAP (конкретно Analysis Services), это как раз создание хранилища данных (DataWarehouse).

_Alexander_
как вам идея: настроить репликацию данных электронного документа и необходимых для отчета справочников в денормализованную таблицу (например, на отчетный сервер)?


Эта идея уже реализована как раз в Analysis Services, где куб ни что иное как денормализованное хранилище с предрасчитанныи значениями. Вот Вам и отчетный сервер. Не надо ничего изобретать - используйте уже изобретенное.
26 янв 05, 17:28    [1276005]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
Я хотел сказать прежде всего MS OLAP инструмент анализа а не инструмент сбора данных.
Эххх. Ладно, буду копать MS OLAP.
26 янв 05, 17:39    [1276061]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Glory
Member

Откуда:
Сообщений: 104760
_Alexander_
Я хотел сказать прежде всего MS OLAP инструмент анализа а не инструмент сбора данных.
Эххх. Ладно, буду копать MS OLAP.

Построение/обновление кубов в MS OLAP как раз и есть сбор данных.
26 янв 05, 17:44    [1276087]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
_Alexander_
Я хотел сказать прежде всего MS OLAP инструмент анализа а не инструмент сбора данных.
Эххх. Ладно, буду копать MS OLAP.


Процессинг созданного куба = сбор данных, если хотите.
26 янв 05, 17:46    [1276093]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
Я себе представляю так :)
Для того чтобы построить отчет, для него нужно вытащить данные. Одного без другого не бывает. Этап вытаскивания данных из учетной системы и оптимизации для построения отчета- сбор, этап генерации кубов и предоставления пользователю- анализ. Возможно, я не прав
26 янв 05, 17:49    [1276113]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Glory
Member

Откуда:
Сообщений: 104760
Не правы.
генерация кубов относится к сбору данных.
Куб сразу должен быть спроектирован так, чтобы покрыть все отчеты.
По сути куб аналог таблицы из которой потом запросом извлекаются данные для конкретного отчета
26 янв 05, 17:55    [1276139]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
1. этап генерации (создания) куба - разработка его структуры и выбор модели хранилища.
2. этап процессинга - этап вытаскивания данных из учетной системы и заполнение ими куба
3. запрос данных от куба - анализ.

Причем в п. 3. обращения к транзакционной cbcntvt вообще не идет (при использовании MOLAP модели хранилища).
26 янв 05, 17:59    [1276153]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
А есть какое-то ограничение по количеству полей в кубе (например, после которого резко падает скорость работы с отчетом)? Количество записей в основных документах- порядка миллионов.
Попривыкали тут смотреть сразу все...
26 янв 05, 18:08    [1276207]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Мммм, при приличной базе данных OLAP не получится (ИМХО!) использовать для централизованного хранения ДАННЫХ. То есть это не хранилище в смысле акцента на "хранение". Использовать MS OLAP для анализа данных - оч удобно. Но вот лично у меня получилось, что при "сверлении" кубов при опускании на нижние уровни я дергал реальные данные. Альтернатива - полностью держать все данные в OLAP DB, тогда MS OLAP уже можно будет назвать хранилищем, но вот тут-то оно и подохнет - ИМХО не выдержит этот механизм такого объема, то есть оперативная база + агрегаты.
26 янв 05, 18:15    [1276235]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
_Alexander_
А есть какое-то ограничение по количеству полей в кубе (например, после которого резко падает скорость работы с отчетом)? Количество записей в основных документах- порядка миллионов.
Попривыкали тут смотреть сразу все...


В том то и вся прелесть использования OLAP, что, например для получени отчета об объемах продаж по годам не надо ничего лопатить. Все агрегаты будут расчитаны в момент процессинга куба.
26 янв 05, 18:22    [1276258]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74927
Crimean
Но вот лично у меня получилось, что при "сверлении" кубов при опускании на нижние уровни я дергал реальные данные.


Тебе должна помочь HOLAP модель хранилища:

The HOLAP storage mode combines attributes of both MOLAP and ROLAP. Like MOLAP, HOLAP causes the aggregations of the partition to be stored in a multidimensional structure on an Analysis server computer. HOLAP does not cause a copy of the source data to be stored. For queries that access only summary data contained in the aggregations of a partition, HOLAP is the equivalent of MOLAP. Queries that access source data, such as a drilldown to an atomic cube cell for which there is no aggregation data, must retrieve data from the relational database and will not be as fast as if the source data were stored in the MOLAP structure.
26 янв 05, 18:26    [1276269]     Ответить | Цитировать Сообщить модератору
 Re: Философские вопросы по проблеме DataStorage  [new]
_Alexander_
Member

Откуда:
Сообщений: 321
pkarklin
_Alexander_
А есть какое-то ограничение по количеству полей в кубе (например, после которого резко падает скорость работы с отчетом)? Количество записей в основных документах- порядка миллионов.
Попривыкали тут смотреть сразу все...


В том то и вся прелесть использования OLAP, что, например для получени отчета об объемах продаж по годам не надо ничего лопатить. Все агрегаты будут расчитаны в момент процессинга куба.


Этого же можна добиться примитивными средствами- однажды рассчитать продажи по годам, слить во временную таблицу и из оперативной базы вытащить только последние продажи (так собственно у нас сейчас и делается). И мучаться только ради такого типа отчетов с MS OLAP ИМХО не стоит.
26 янв 05, 18:31    [1276285]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить