Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?
3 сен 15, 09:17    [18102372]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 982
fduch f.f., а на MS жесткая завязка? Попробуйте in-memory, тот же Qlik такую простую модель сожрет и не поморщится, и 5млрд строк будут шустро отрабатывать на довольно простом железе. Ну, можем поэксперементировать, если есть желание, о результатах поделитесь.

С Уважением,
Георгий.
3 сен 15, 11:03    [18103068]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3530
fduch f.f.
нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?


На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование.

Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях.

Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк.
3 сен 15, 11:07    [18103111]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
George Nordic
fduch f.f., а на MS жесткая завязка? Попробуйте in-memory, тот же Qlik такую простую модель сожрет и не поморщится, и 5млрд строк будут шустро отрабатывать на довольно простом железе. Ну, можем поэксперементировать, если есть желание, о результатах поделитесь.

С Уважением,
Георгий.


MS стек у нас куплен, а Qlik же не бесплатный
но попробовать было бы интересно если там хотя бы триал бесплатный есть
3 сен 15, 11:21    [18103216]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
a_voronin
fduch f.f.
нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?


На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование.

Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях.

Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк.


партиционированный COLUMSTORE уже есть.
Предполагается делать еще MOLAP с партициями, не знаю какие у ROLAP преимущества? разве что процессить не нужно ?
3 сен 15, 11:24    [18103238]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3530
fduch f.f.
a_voronin
пропущено...


На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование.

Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях.

Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк.


партиционированный COLUMSTORE уже есть.
Предполагается делать еще MOLAP с партициями, не знаю какие у ROLAP преимущества? разве что процессить не нужно ?


COLUMSTORE + MOLAP -- это неправильно и не оптимально

COLUMSTORE + ROLAP -- это правильно

MOLAP делает прямолинейные сканы всех строк в партиции и COLUMSTORE на них не оптимален

ROLAP -- будет хорошо работать на сильно отфильтрованных данных. Но не так хорошо как на большом объеме (агрегации всей партии).
3 сен 15, 11:52    [18103430]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3530
ещё сходите сюда

http://www.sql.ru/forum/1164053-a/vertica-ssas?hl=rolap
3 сен 15, 11:54    [18103438]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 982
fduch f.f.
MS стек у нас куплен, а Qlik же не бесплатный
Да, увы, это так и есть. Поэтому и спросил первым делом про MS - не куплен ли.
fduch f.f.
но попробовать было бы интересно если там хотя бы триал бесплатный есть
Да есть бесплатный триал, только Вам придется серверную лицензию генерировать - не уверен, что 5 млрд на компе заработает :) Это чеки? Они хорошо жмутся, но все равно in-memory модель без агрегирования (полная) может отъесть как минимум 32, а то и все 64Гб оперативки. Но не проблема - настроим / проверим.

Если что - georgend@mail.ru
Георгий
3 сен 15, 13:23    [18104073]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3530
George Nordic,

Сколько времени Qlik будет 5 лярдов переваривать?

Как он работает с инкрементальным обновлением?

И коронный вопрос, а он справляется с обновлением данных задним числом? DELETE ? UPDATE ?
3 сен 15, 13:45    [18104250]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://www.Budzhetirovanie.ru
Сообщений: 2952
Думаю стоит потестировать кубы IBM Cognos BI - виртуальные кубы Dynamic Cubes с настройкой кэширования агрегатов, и физические кубы Transformer с секционированием. Тогда и проблем с созданием отчетов не будет.
3 сен 15, 21:32    [18105674]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
babona
Member [заблокирован]

Откуда: Батуринск
Сообщений: 1816
Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :)
Как будто Автор топика принимает решения о закупках и владеет бюджетами.
Ну тогда до кучи попробуйте Oracle Exadata - для 5 млрд. строк и кубы не нужны будут
3 сен 15, 21:49    [18105724]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30739
Блог
fduch f.f.,

собственно, есть только один вариант - Multidimentional,
на Tabular или памяти не хватит прямо сейчас, или не будет хватать чуть позже, когда пользователи захотят развития куба
3 сен 15, 22:19    [18105822]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://www.Budzhetirovanie.ru
Сообщений: 2952
2 babona:

Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :)
Как будто Автор топика принимает решения о закупках и владеет бюджетами.


Автор топика хочет увеличить свои доходы, и снизить расходы своей компании. Вот местные гуру ему и дают дельные советы.
4 сен 15, 00:33    [18106087]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3530
Jurii
2 babona:

Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :)
Как будто Автор топика принимает решения о закупках и владеет бюджетами.


Автор топика хочет увеличить свои доходы, и снизить расходы своей компании. Вот местные гуру ему и дают дельные советы.


Наймите babona он вам все оптимизирует ибо он считает себя наиболее крутым.
4 сен 15, 11:16    [18107396]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://www.Budzhetirovanie.ru
Сообщений: 2952
2 a_voronin:

Наймите babona он вам все оптимизирует ибо он считает себя наиболее крутым.

Г-н babona стесняется своих постов, проявляет неуверенность в себе таким образом. Надеется, что технологии Big Data не смогут раскрыть его анонимность. А зря ;)
4 сен 15, 12:17    [18107802]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 5997
fduch f.f.
нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?


куб кубу рознь. можно сделать на всех перечисленных технологиях. ньюансы будут на всех.

какого типа будет куб? transaction, periodic snapshot, cumulative snapshot? на сколько разнообразные вычисления?

количество фактов не проблема. какие измерения предполагаются?

Если измерения больше 200 млн то molap не комильфо будет.
На сколко критично время полного процессинга и есть ли изменения задним числом?
6 сен 15, 21:50    [18116273]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 982
a_voronin
George Nordic, Сколько времени Qlik будет 5 лярдов переваривать? Как он работает с инкрементальным обновлением?
И коронный вопрос, а он справляется с обновлением данных задним числом? DELETE ? UPDATE ?

1. Вот история еще "Копейки", теперь это решение работает в Х5. Единственное, которое они оставили после поглощения. Только проект уже далеко ушел :) Анализ всех чеков подобной группы - это поболее означенной Вами цифры будет, и все резво работает. Но схема данных на таком объеме - очень проста. И, сами понимаете, можно разглашать только то, что согласовал и разрешил опубликовать Заказчик. Многие считают подобные технологии серьезным конкурентным преимуществом. Например, как Магнит.
Инкрементальная загрузка есть. Грузится diff, если вы можете четко указать, где был diff по DELETE / UPDATE (по recId или ModifiedDate etc), то проблем нет. Но иногда данные перегружают по закрытию месяца. Это уже вопрос конкретной архитектурной реализации.

С Уважением,
Георгий
22 сен 15, 14:54    [18180743]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
Владимир Штепа
fduch f.f.
нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?


куб кубу рознь. можно сделать на всех перечисленных технологиях. ньюансы будут на всех.

какого типа будет куб? transaction, periodic snapshot, cumulative snapshot? на сколько разнообразные вычисления?

количество фактов не проблема. какие измерения предполагаются?

Если измерения больше 200 млн то molap не комильфо будет.
На сколко критично время полного процессинга и есть ли изменения задним числом?


нужно хранить данные о транзакциях, вычисления пока простые, но будут усложняться
измерения не большие , десятки тысяч строк
изменений задним числом не будет, однако потребуется расширение таблицы фактов в перспективе
время полного процессинга очень критично, данные должны быть доступны каждый день
9 окт 15, 11:30    [18257639]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
сейчас строк порядка 5 миллиардов, но в год объем будет удваиваться
учитывая что микрософт на развивает больше SSAS Multidimentional, то может вообще не стоит с ним связываться?

платные продукты не микрософт рассматривать не можем

может при таких объемах пора смотреть на бигдату? что-то типо HBase, Hadoop?
9 окт 15, 11:35    [18257670]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
вообще что микрософт позиционирует в качестве альтернативы Multidimentional ?
Tabular для систем уровня отдела
а что для масштаба большого предприятия?
9 окт 15, 11:37    [18257684]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1379
fduch f.f.
HBase, Hadoop

это не уровень анализа данных. это ниже - это уровень доступа к данным.
9 окт 15, 12:11    [18257960]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
vikkiv
Member

Откуда: London / Zurich
Сообщений: 1128
как мне тут уже намекали BigData не о объёмах а о структурах данных (т.е. как минимум слабоструктурированные)
а ваши объёмы решаются и на MS платформе при разумной организации, тем более что это не трансакционная база а хранилище следовательно оптимизируйте на хранение/чтение а не на запись (OLTP) и дальше уже по прямому предназначению для агрегаций >> OLAP/SSAS
да и MDX может и особо не развивается - но имеющейся функциональности вполне достаточно, вопрос только в уровне владения.
9 окт 15, 12:45    [18258156]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3530
fduch f.f.,

Мы прекрасно продолжаем использовать Multidimentional . И Tabular тоже есть.
9 окт 15, 14:15    [18258778]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 245
по идее меня все в Multidimentional устраивает
однако смущает то что невозможно горизонтальное масштабирование
вот будет таблица фактов 100 миллиардов, то что делать тогда?
непонятно как оптимизировать
12 окт 15, 11:50    [18266602]     Ответить | Цитировать Сообщить модератору
 Re: какие кубы выбрать?  [new]
babona
Member [заблокирован]

Откуда: Батуринск
Сообщений: 1816
fduch f.f.
по идее меня все в Multidimentional устраивает
однако смущает то что невозможно горизонтальное масштабирование
вот будет таблица фактов 100 миллиардов, то что делать тогда?
непонятно как оптимизировать


а оно точно Вам точно надо 100 млрд. ?
12 окт 15, 12:54    [18266970]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить