Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Производительность OLAP в Excel для локальных данных  [new]
Anna Ovsyannikova
Member

Откуда:
Сообщений: 13
Такой вопрос. Есть большой научный материал (в работе): определители животного мира, статистика наблюдений и пр. Нужно все это задействовать в привычной excel форме вывода через OLAP, путем обращения к файлам xml.
Хотелось бы понять пределы производительности такой системы и способы ее оптимизации.

Вопросы следующие:
Какой максимальный по размеру файл может потянуть такая не SQL система запросов в Excel, и от чего это зависит?
Можно ли построить OLAP используя в качестве источника несколько связанных (индексно) файлов с данными (xml), если база разбита на части?
Способна ли будет форма настройки OLAP выстроить всю структуру связанных атрибутов по всем файлам на основе индексных данных (связей id) и вывести ее в поле настроек OLAP до подкачки данных (с целью дальнейших ограниченных выборок)?
Можно ли будет эту структуру организовать иерархически (силами OLAP Excel, включая доп.программирование), если число описательных атрибутов достаточно велико, но все они могут быть объединены в группы (систематические категории)?
(т.е. вместо линейного перечисления всех характеристик, предоставлять возможность для их структуризации, в целях более удобной навигации и ускорения процесса построения самого OLAP по выборкам, т.к. число описательных атрибутов исчисляется сотнями)

Вопросы могут быть некорректными, я не специалист в технической части, прошу отнестись с пониманием.
Альтернативы решений через SQL и прочее не предлагать, в силу ряда причин динамической обработки исходного материала.
Спасибо.
22 янв 11, 10:24    [10114226]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
Игорь Горбонос
Member

Откуда: Днепропетровск
Сообщений: 4237
Anna Ovsyannikova,

тебе с такими вопросами сюда

Из теоретического знакомства с этой технологией и практического опыта работы со сводными таблицами в Екселе могу сказать что врядли получится использовать несколько файлов. Другое дело, что их можно загрузить в рекордсет, который можно попробовать подсунуть на лист и с этих данных построить сводную таблицу. Можно сделать и некоторую автоматизацию предварительной фильтрации. Но для этого нужно владеть программированием далеко за начальный уровень. :(
23 янв 11, 19:15    [10117646]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
big-duke
Member

Откуда:
Сообщений: 6639
Да, давайте-ка в OLAP.

Модератор: Тема перенесена из форума "Microsoft Office".
23 янв 11, 21:53    [10118080]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
nergal
Member

Откуда: Екатеринбург
Сообщений: 1015
big-duke,

из ограничений:
64000 членов у иерархии измерения
Но можно воспользоваться PowerPivot
24 янв 11, 07:34    [10118648]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
nergal
Member

Откуда: Екатеринбург
Сообщений: 1015
если обходиться одним Excel-ем, то без PowerPivot здесь не обойтись
поподробнее Вам лучше в описании прочитать.
Но я попробую ответить на пару ваших вопросов:
->Какой максимальный по размеру файл может потянуть такая не SQL система запросов в Excel, и от чего это зависит?
Думаю ограничений нет для меры; для измерения, в выходном файле, возможно - 4 ГБ

->Можно ли построить OLAP используя в качестве источника несколько связанных (индексно) файлов с данными (xml), если база разбита на части?
Это точно - Да.

-> Способна ли будет форма настройки OLAP выстроить всю структуру связанных атрибутов по всем файлам на основе индексных данных (связей id) и вывести ее в поле настроек OLAP до подкачки данных (с целью дальнейших ограниченных выборок)?
Недопонял вопрос.
24 янв 11, 07:54    [10118659]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
Djeki
Member

Откуда: Донецк
Сообщений: 770
если обходиться одним Excel-ем, то без PowerPivot здесь не обойтись
поподробнее Вам лучше в описании прочитать.
Но я попробую ответить на пару ваших вопросов:
->Какой максимальный по размеру файл может потянуть такая не SQL система запросов в Excel, и от чего это зависит?
Думаю ограничений нет для меры; для измерения, в выходном файле, возможно - 4 ГБ

Да ограничение 4 гб, но чтобы залить такое объем, надо очень постараться.

-> Способна ли будет форма настройки OLAP выстроить всю структуру связанных атрибутов по всем файлам на основе индексных данных (связей id) и вывести ее в поле настроек OLAP до подкачки данных (с целью дальнейших ограниченных выборок)?
Недопонял вопрос.

Автоматически создать связи между таблицами Olap или powerpivot сможет только в том случае, если название полей и типов в различных таблицах совпадает. Вторая часть вопроса не совсем понятна. Если мы говорим сугубо о powerpivot, до выгрузки данных можно попытаться сделать поиск связанных таблиц(должна быть таблица исходник), но просмотреть связи и подкорректировать их нельзя.
Можно ли будет эту структуру организовать иерархически (силами OLAP Excel, включая доп.программирование), если число описательных атрибутов достаточно велико, но все они могут быть объединены в группы (систематические категории)?
(т.е. вместо линейного перечисления всех характеристик, предоставлять возможность для их структуризации, в целях более удобной навигации и ускорения процесса построения самого OLAP по выборкам, т.к. число описательных атрибутов исчисляется сотнями)

При PowerPivot у вас группируются все элементы одной таблицы. Что-то типа иерархий можете строить как вам угодно.Пример отображения иерархий во вложении.
Да еще для powerpivot нужен Excel 2010 и конечно сам PowerPivot
24 янв 11, 10:29    [10119146]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
Djeki
Member

Откуда: Донецк
Сообщений: 770
Djeki
если обходиться одним Excel-ем, то без PowerPivot здесь не обойтись
поподробнее Вам лучше в описании прочитать.
Но я попробую ответить на пару ваших вопросов:
->Какой максимальный по размеру файл может потянуть такая не SQL система запросов в Excel, и от чего это зависит?
Думаю ограничений нет для меры; для измерения, в выходном файле, возможно - 4 ГБ

Да ограничение 4 гб, но чтобы залить такое объем, надо очень постараться.

-> Способна ли будет форма настройки OLAP выстроить всю структуру связанных атрибутов по всем файлам на основе индексных данных (связей id) и вывести ее в поле настроек OLAP до подкачки данных (с целью дальнейших ограниченных выборок)?
Недопонял вопрос.

Автоматически создать связи между таблицами Olap или powerpivot сможет только в том случае, если название полей и типов в различных таблицах совпадает. Вторая часть вопроса не совсем понятна. Если мы говорим сугубо о powerpivot, до выгрузки данных можно попытаться сделать поиск связанных таблиц(должна быть таблица исходник), но просмотреть связи и подкорректировать их нельзя.
Можно ли будет эту структуру организовать иерархически (силами OLAP Excel, включая доп.программирование), если число описательных атрибутов достаточно велико, но все они могут быть объединены в группы (систематические категории)?
(т.е. вместо линейного перечисления всех характеристик, предоставлять возможность для их структуризации, в целях более удобной навигации и ускорения процесса построения самого OLAP по выборкам, т.к. число описательных атрибутов исчисляется сотнями)

При PowerPivot у вас группируются все элементы одной таблицы. Что-то типа иерархий можете строить как вам угодно.Пример отображения иерархий во вложении.
Да еще для powerpivot нужен Excel 2010 и конечно сам PowerPivot

Вложение

К сообщению приложен файл. Размер - 83Kb
24 янв 11, 10:29    [10119148]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
Anna Ovsyannikova
Member

Откуда:
Сообщений: 13
А если без PowerPivot, напрямую обращаясь к файлам?
24 янв 11, 19:12    [10123246]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
Bigheadman
Member

Откуда:
Сообщений: 2665
Anna Ovsyannikova
А если без PowerPivot, напрямую обращаясь к файлам?
Чем он вам не угодил? И что значит "напрямую обращаясь к файлам"?
Считайте, что PowerPivot - это надстройка над Excel 2010, которая реализует локальный OLAP в памяти. Считайте, что это вообще часть Excel, только устанавливается отдельно.
24 янв 11, 20:42    [10123595]     Ответить | Цитировать Сообщить модератору
 Re: Производительность OLAP в Excel для локальных данных  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6003
Anna Ovsyannikova
в качестве источника несколько связанных (индексно) файлов с данными (xml), если база разбита на части?


xml это очень широкое понятие. может вам придется потратить немало времени на преобразование файлов.


Anna Ovsyannikova
Альтернативы решений через SQL и прочее не предлагать, в силу ряда причин динамической обработки исходного материала.


вы имеете ввиду динамичность произвольных запросов, но не динамичность структур данных? тогда OLAP то что вам надо.
7 фев 11, 11:09    [10195239]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить