SQL.RU
 client/server technologies
 
 Главная | Документация | Статьи | Книги | Форум | Опросы | Рассылка | Работа | Поиск | FAQ |

Добро пожаловать в форум, Guest  >>  Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик  Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: OLAP в Excel   [new]
товарищъ
Member

Откуда:
Сообщений: 166
soulsurfer
продукты для бюджетирования: Cognos, Hyperion, ну и SAP BI-IP (Integrated Planning).

"кратенько" смотрел cognos tm1 - вроде как это приоритет развития IBM, что-то у меня сложилось мнение, что для бюджетирования он "подходит" так-же как и ssas+excel. хотя может я плохо смотрел, но поддержку бюджетного процесса как в cognos planning не нашел:( в tm1 нашел in-memory куб с возможностью writeback и его различную визуализацию - это система бюджетирования?

вот взять palo... как я понимаю именно наличие writeback для кубов и позиционируется как "планирование/бюджетирование"

но к теме это уже не относится:)
просили Excel + куб с writeback - самое простое и доступное как раз jedox palo
на порядки проще чем ssas, cognos, hyperion, sap...:-)
1 июл 10, 00:32    [9028418] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
товарищъ
Member

Откуда:
Сообщений: 166
вспомнил еще одну простую штучку, но уже без excel http://www.quantrix.com/
1 июл 10, 00:35    [9028428] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
Спасибо за ссылки. Есть над чем подумать, даже глубоко задуматься...
1 июл 10, 01:10    [9028503] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
А еще знаете какие-то примеры, где OLAP вместе с прогнозированием используется?
Пока что я в основном видел примеры, где можно смотреть отчеты примерно в таких разрезах: по локации (города, страны, магазины), по годам и по продуктам. Как-то не доходит до действительно многомерного анализа - есть ли примеры, где хотя бы 5 измерений, и можно получать отчеты не только для такого-то показателя по странам и годам, или для такого-то года список показателей по странам?
Примеры в основном похожие, и возникает ощущение, что в этой области уже все сделано :)
2 июл 10, 20:07    [9042636] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
KaPrAL666
Member

Откуда:
Сообщений: 86
Попробуйте почитать вот этукнигу, в ней описан инструментарий прогнозирования и в Excel-е тоже.
4 июл 10, 21:29    [9047229] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
RabbitSlava
Member

Откуда:
Сообщений: 8
товарищъ

"кратенько" смотрел cognos tm1 - вроде как это приоритет развития IBM, что-то у меня сложилось мнение, что для бюджетирования он "подходит" так-же как и ssas+excel.


ТМ1 отлично подходит для бюдетирования. Посмотрите поподробнее.
5 июл 10, 12:58    [9049999] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
locman
Member

Откуда:
Сообщений: 1
motorway
У меня-то была идея использовать OLAP для прогнозов. Т.е., есть какая-то таблица с прогнозом на будущее, данные вычисляются как-то, а потом уже можно применить OLAP и получать нужные срезы. Как бы до этого у нас было OLAP for Past, а теперь OLAP for Future.
Идея было в том, чтобы можно было получить нужный срез, и в нем уже быстро изменить переменную, а дальше все бы опять пересчиталось. Понимаете?

Думаю, что все делается так же как и с отчетностью, только данные прогнозные и намного шире диапазон этих данных. Я тоже в этом направлении пытаюсь двигаться, только подхожу не с технической стороны, а с постановочной. Если правильно продумать концепцию, то не важно на каком OLAPe ее реализовывать. Было бы хорошо, если майкрософт не скосячит и нормально реализует возможности OLAP в Excel-10.
7 июл 10, 01:18    [9061352] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
Ну у меня-то уже давно стоит бета 2010-ая, но пока что там не смог действительно испытать OLAP. Мне тоже не так важно, какой OLAP, главное, чтобы при этом получалось что-то новое
7 июл 10, 20:23    [9067350] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
Попробовал я установить это Palo. Довольно подозрительная программа, Касперский на нее реагирует. В общем, я заблокировал некоторые ее возможности, в результате похоже, что не полностью установилась. Пока дальше не стал пробовать.
21 июл 10, 19:41    [9140358] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
И все-таки, кто-нибудь работал на практике с применением OLAP для прогнозирования? Например, в базе есть прогнозные данные - различные показатели с измерениями дата, район, продукт и т.п. Какие у вас на практике встречались измерения, была ли необходимость в многомерном анализе прогнозируемых данных?
И еще: так как данные в OLAP обычно представляются в виде таблиц, а основные операции сводятся к фильтрованию, вращению куба и т.п., то появляется вопрос - чем-то этот подход отличается сильно от, допустим, PivotTables (сводных таблиц) в Экселе? Там все эти опции в том или ином виде есть. Есть еще новая штука - PowerPivot. Какие-то принципиальные преимущества OLAP есть по сравнению с этими средствами? И можно ли назвать указанные средства средствами многомерного анализа? Там в принципе тоже есть основные функции типа фильтров и т.п.
24 июл 10, 17:07    [9153811] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
KaPrAL666
Member

Откуда:
Сообщений: 86
motorway
И все-таки, кто-нибудь работал на практике с применением OLAP для прогнозирования? Например, в базе есть прогнозные данные - различные показатели с измерениями дата, район, продукт и т.п. Какие у вас на практике встречались измерения, была ли необходимость в многомерном анализе прогнозируемых данных?

Если прогнозы уже есть в БД, и попадают в нее с помощью сторонних приложений, то OLAP в таком случае нужен только для просмотра этих самых прогнозов, как и любых других фактических данных (продажи, остатки). Если же вы хотите пересмотреть инструментарий прогнозирования, заставив каким-либо образом OLAP вычислять прогнозы, советую рассмотреть возможности интеллектуального анализа данных (Data Mining).
25 июл 10, 17:40    [9155268] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
Как я понимаю, OLAP вообще используется в основном для просмотра нужной информации. То есть, некий фильтр - в любом случае получается некоторый "кусок" информации из базы.
Прогноз делается с помощью другого приложения. А OLAP - да, он мог бы использоваться для быстрого просмотра данных в нужном разрезе. Вопрос в том, делает ли кто-нибудь так на практике. Ведь прогнозные данные обычно менее детализированные, там в основном агрегаты - это ведь относится к будущему, и там учитывать отдельные факты типа покупок сложно. В результате вряд ли можно ожидать миллионов строк и т.п. Есть ли тут тогда преимущества OLAP и нужен ли он вообще, или же можно справиться обычными фильтрами?
25 июл 10, 19:27    [9155416] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
Voyager_lan
Member

Откуда: Спб
Сообщений: 402
motorway,

Вам выше дали очень дельную ссылку на книжку. Она очень дотошная.
Можно посмотреть еще Ларсона по введению бизнес-аналитику,- вам для начала подойдет. Там хорошо даны понятия DM и роль OLAP в нем.
Что касается OLAP и DM, то я в своих проектах стараюсь иногда применять именно эту связку, т.к. есть много очевидных и неочевидных преимуществ (время на подготовку данных для DM, возможность строить кубы по результатам DM.....)
25 июл 10, 21:15    [9155623] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
Проблема (или просто определяющий фактор) в том, что конкретно Data mining мне не нужно использовать. Есть некоторый уже готовый способ прогнозирования реализованный, на выходе он выдает некоторые показатели, и в принципе их можно записать в БД. Вот я и пытаюсь определить, есть ли точки соприкосновения этого с OLAP/многомерным анализом данных. То, как устроен этот метод прогнозирования, не слишком важно. Важно, что на выходе получаются некоторые данные в виде таблицы. Нужно ли здесь приделывать OLAP и даст ли это преимущества/возможности какие-то - вот то, что я пытаюсь понять. Вроде бы OLAP больше подходит для случая большого кол-ва данных. В прогнозе же их обычно не так много (это не таблица фактов, а некоторые прогнозные показатели).
25 июл 10, 22:25    [9155767] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
KaPrAL666
Member

Откуда:
Сообщений: 86
motorway

прогнозные данные обычно менее детализированные, там в основном агрегаты - это ведь относится к будущему, и там учитывать отдельные факты типа покупок сложно. В результате вряд ли можно ожидать миллионов строк и т.п. Есть ли тут тогда преимущества OLAP и нужен ли он вообще, или же можно справиться обычными фильтрами?

Есть некоторый уже готовый способ прогнозирования реализованный, на выходе он выдает некоторые показатели, и в принципе их можно записать в БД. Вот я и пытаюсь определить, есть ли точки соприкосновения этого с OLAP/многомерным анализом данных. То, как устроен этот метод прогнозирования, не слишком важно. Важно, что на выходе получаются некоторые данные в виде таблицы. Нужно ли здесь приделывать OLAP и даст ли это преимущества/возможности какие-то - вот то, что я пытаюсь понять. Вроде бы OLAP больше подходит для случая большого кол-ва данных. В прогнозе же их обычно не так много (это не таблица фактов, а некоторые прогнозные показатели).

Прогнозы являются одним из фактов, и не важно, что данные о прогнозах изначально агрегированы, иначе и быть не может. Например, прогнозы содержатся в БД в разрезе "Товарная группа--Месяц--Кол-во", и измерения "Товар" имеет атрибут "Товарная группа", и измерение "Время" имеет атрибут "Месяц". Настраивая в этих измерениях связи атрибутов, получите отчеты с необходимым агрегированием.
26 июл 10, 00:07    [9155941] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
Кстати, часто упоминается о том, что основное преимущество OLAP - в быстром построении отчетов по сложным запросам. Но для того чтобы этот запрос создать, нужно, наверно, не менее 10 секунд работы с мышкой - какими средствами этот запрос обычно делается в OLAP - выбор фильтров+перетаскивание категорий?
Можете ли привести пример часто встречающегося запроса (словесное описание), который считается достаточно сложным для обычных БД, а с помощью OLAP он выполняется быстро? А в случае ROLAP за счет чего скорость выше? Там же не используется многомерная БД
27 июл 10, 00:50    [9161888] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
товарищъ
Member

Откуда:
Сообщений: 166
motorway
не менее 10 секунд работы с мышкой - какими средствами этот запрос обычно делается в OLAP - выбор фильтров+перетаскивание категорий?

либо записью MDX (SSAS...) и MDL (Oracle Option).
лучше написать несколько запросов на MDX что бы понять разницу.
вот небольшое сравнение DAX vs T-SQL vs MDX - смотрите mdx и sql
и вот тоже очень кратенько

весь вопрос в удобстве получения данных, в SQL нужно строить связи между таблицами, а в кубе уже всё подготовлено для запросов, никаких связей (обычно) в момент запроса не описывают.

ROLAP не быстрее SQL, SSAS ROLAP транслирует MDX в T-SQL и возвращает результат... если писать правильные SQL выражения, они могут быть быстрее. ROLAP удобнее для аналитиков:)
27 июл 10, 12:50    [9163990] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
KaPrAL666
Member

Откуда:
Сообщений: 86
motorway

Можете ли привести пример часто встречающегося запроса (словесное описание), который считается достаточно сложным для обычных БД, а с помощью OLAP он выполняется быстро? А в случае ROLAP за счет чего скорость выше? Там же не используется многомерная БД

Самый известный запрос- вычисление остатков на любую дату.
27 июл 10, 15:14    [9165515] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
А что-нибудь более многомерное?
27 июл 10, 21:00    [9167418] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
товарищъ

лучше написать несколько запросов на MDX что бы понять разницу.

Все-таки написание запросов не очень вяжется с быстрым анализом, хотя по-другому иногда не получается. Для написания запросов надо по крайней мере хорошо знать этот язык. А на каком-нибудь собрании аналитиков хочется как-то быстро получать данные из куба...
27 июл 10, 21:02    [9167428] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
товарищъ
Member

Откуда:
Сообщений: 166
motorway
[А на каком-нибудь собрании аналитиков хочется как-то быстро получать данные из куба...

теперь понял вопрос:) "быстрое выполнение запросов" и "быстрое построение запросов" разные вещи:
1. OLAP - это быстрый ответ на почти произвольные запросы
2. быстрое формирование запросов это что-то другое, например VQL (tableau)

что-то не видел систем быстрого формирования произвольных SQL отчетов мышкой на собрании:) (BO,microstrategy и т.п. относятся к olap продуктам)

обычно для собраний заранее готовят обсуждаемые представления..., вот тут как раз и ответ:
1. стандарт OLAP, ответ должен придти менее 5 секунд, т.е. чрез 5 секунд вы получите актуальный отчет из хранилища, а не будете смотреть на предварительно сохраненную копию отчета.
2. на собрании обычно бывают необходимы функции: drill-down, drill-up, drill-through - и они в olap работаю очень хорошо (точно меньше 10 сек)
3. всяческие анализы рейтинги и классификации на лету (TOP по мере, ABC, XYZ...)
4. план/факт особенно когда данные разной гранулярности
5. динамика, нарастающий итог, сравнение с прошлым периодом

например, анализ возраста запасов в самых различных разрезах... как это сделать в sql, и добиться еще и нормального отклика (приемлемого для собрания аналитиков) смотрим по ЦФО, решаем отобрать первых 5 и итог целиком анализировать в разрезе Групп МЦ
27 июл 10, 23:06    [9167795] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
KaPrAL666
motorway

Можете ли привести пример часто встречающегося запроса (словесное описание), который считается достаточно сложным для обычных БД, а с помощью OLAP он выполняется быстро? А в случае ROLAP за счет чего скорость выше? Там же не используется многомерная БД

Самый известный запрос- вычисление остатков на любую дату.

А что именно сложного в этом запросе? Если есть таблица остатков (НЯП, это число оставшихся продуктов на складе на какой-то момент), то это делается через SELECT value FROM table WHERE date=...
А сами числа могут каждый день вычисляться по окончании дня
29 июл 10, 19:45    [9180904] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
Vitaly86
Member

Откуда:
Сообщений: 390
motorway, для этого остатки должны быть зарание посчитанны и положенны в table. К тому же нужно место где они будут хранится. Куб олап будет гораздо меньше по объему. И для его построения не обязательно хранить остатки на каждый день в БД
Но вообще то пример не очень удачный - остатки в олап это относительно тяжелый и медленный запрос
30 июл 10, 12:12    [9183527] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
motorway
Member

Откуда:
Сообщений: 236
А кто-нибудь пробовал сравнивать скорость вып-я запросов в базе обычной и с помощью OLAP? Действительно ли тормозит обычная база? Та же MySQL обычно довольно быстро работает :)
31 июл 10, 01:51    [9187571] Ответить | Цитировать    Сообщить модератору

 Re: OLAP в Excel   [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 2142
2 motorway:

И все-таки, кто-нибудь работал на практике с применением OLAP для прогнозирования? Например, в базе есть прогнозные данные - различные показатели с измерениями дата, район, продукт и т.п. Какие у вас на практике встречались измерения, была ли необходимость в многомерном анализе прогнозируемых данных?

Расскажу вкратце о своем опыте.
1) Иногда я загружаю фактические данные (по продажам, авариям и т.п.) из реляционной базы в OLAP-кубы, и в Windows-интерфейсе OLAP-клиента IBM Cognos PowerPlay делаю расчет прогноза (например какие будут продажи или сколько будет аварий и т.п. в течение ближайших 12 месяцев, или 5 лет, и т.п.). OLAP-клиент при этом генерирует в таблице или на графике колонки с прогнозными данными.
2) Иногда я решаю задачу, когда при планировании продаж я ввожу цену продажи для товара, а количество штук, которые будут проданы, я уже не ввожу - это вычисляется функцией прогноза в Excel на основе исторических данных. У меня есть самописное специализированное решение для планирования/бюджетирования, которое при сохранении данных на листе Excel сразу сохраняет эти данные в базу MS SQL Server и пересчитывает OLAP-кубы IBM Cognos Transformer, на которые эти данные влияют. Для простых задач кубы не обязательны (можно строить отчеты в онлайне поверх нужной таблицы), но когда я хочу например в отчете поделить выручку (из бюджета продаж) на количество сотрудников (из бюджета ФОТ) или на количество квадратных метров торговой площади (из справочника магазинов), полученные результаты раскрыть в разные версии планирования, посчитать отклонения, и т.п., то удобно эти разные таблицы фактов загружать в единый OLAP-куб.

И еще: так как данные в OLAP обычно представляются в виде таблиц, а основные операции сводятся к фильтрованию, вращению куба и т.п., то появляется вопрос - чем-то этот подход отличается сильно от, допустим, PivotTables (сводных таблиц) в Экселе? Там все эти опции в том или ином виде есть. Есть еще новая штука - PowerPivot. Какие-то принципиальные преимущества OLAP есть по сравнению с этими средствами? И можно ли назвать указанные средства средствами многомерного анализа? Там в принципе тоже есть основные функции типа фильтров и т.п.

Не уверен, что в сводных таблицах можно делать вычисления (например, отношение одного месяца к другому, или прогноз на столько-то периодов вперед). Не уверен, что они позволяют делать тюплы визуальными средствами (например перетащить в первую колонку отчета 2009 год, под него подтащить план и факт, сбоку перетащить 2010 год, под него подтащить только план, и т.п.). Не уверен, что в сводных таблицах не будет проблем с производительностью, если таблица OLAP-отчета будет содержать миллион строк на тысячу столбцов (нормальные OLAP-клиенты не читают всю эту таблицу в оперативную память, а динамически подкачивают данные, которые нужно отображать на экране)...
31 июл 10, 13:11    [9187924] Ответить | Цитировать    Сообщить модератору

Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить
Generated time: 406ms.
Rambler's Top100 Powered by ActualForum 1.5.3 [s1] Copyright (c) Alex Sibilev 2000-2010