Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Проблема с процессингом большого измерения  [new]
heliosz
Member

Откуда:
Сообщений: 2
В кубе есть измерение большим количеством элементов, поряда 150млн. (фактически мера в измерении) При его процессинге была ошибка:
Ошибка файловой системы: Хранилище строк или двоичных объектов с уровнем совместимости в "1050" имеет максимальный размер файла в 4 гигабайта. Чтобы сохранить дополнительные строки, можно поменять значение свойства StringStoresCompatibilityLevel связанного измерения или меры числа различных объектов на "1100" и выполнить обработку повторно. Эта возможность доступна только в базах данных с уровнем совместимости "1100" или выше. Физический файл: \\?\f:\OlapDBFiles\LoyaltyFullOlapCube_TestG.0.db\GenderDim.0.dim\12.Card - Id.ksstore. Логический файл: .

Изменил для измерения свойство StringStoresCompatibilityLevel на 1100. Попытлся выполнить процессинг этого измерения, но не смог дождаться его завершения. Действие выполнялось порядка 20 часов, а затем отменил.
Кто-то сталкивался с подобной ситуацией?

Ипользую Analysis Services 2012 + MS SQL 2008.
27 мар 14, 19:46    [15797020]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с процессингом большого измерения  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31925
Блог
есть возможность развернуть проект с нуля?

если не получится - гляньте у измерения режим обработки (в свойствах), там можно задать, какие запросы будут посылатся источнику (выборка всего и сразу или куча запросов с distinct)

да, предварительно я бы глянул, что происходит на сервере-источнике, когда у вас была ситуация "Действие выполнялось порядка 20 часов"
27 мар 14, 20:23    [15797168]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с процессингом большого измерения  [new]
heliosz
Member

Откуда:
Сообщений: 2
Критик,

Для теста как раз и разворачивал проект с нуля (создвал ною базу данных на Analysis Server-е).
Режим обработки стоит ByAttribute, соответственно куча запросов с distinct.
А вот что происходит на сервере источнике нужно проверить. Но когда выполнялось действие в течении 20 часов, Management Studio выдавал повторяющиеся следующие строки:
....
Началось создание группы записей "1" для атрибута "Purchase".
Группирование записей 1 для атрибута "Purchase" завершено.
Началось создание группы записей "1" для атрибута "Purchase".
Группирование записей 1 для атрибута "Purchase" завершено.
Началось создание группы записей "1" для атрибута "Purchase".
Группирование записей 1 для атрибута "Purchase" завершено.
....


создалось впечатление, что не может быть выполнена какая то операция и он начинает ее заново.
27 мар 14, 20:37    [15797252]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с процессингом большого измерения  [new]
OldNov
Member

Откуда:
Сообщений: 245
У меня было похожее (правда в код ошибок я глубоко не вникал), но то же самое было на SSAS 2008 R2. Процессил измерение с 250 миллионами member-ов - всегда завершалось с ошибкой. Хотя 20 часов, которые вы пишете, это непонятно что за железо, у меня процессинг падал через час, где-то на 70% до завершения. Сначала уменьшил число member-ов до 150 миллионов - не помогло. Оптимизировал задачу следующим образом:

- срезал количество member-ов до минимума, необходимого для задачи, осталось 55 миллионов,
- удалил все иерархии в этом измерении, вынес атрибуты этого измерения в отдельные измерения

и все нормально отпроцессилось. Возможно, этот баг мигрировал из старых версий в SSAS 2012.
Чтобы процессить такие измерения быстро, имейте не меньше 64 гига памяти под SSAS, своп-файл под сотню гигов и быстрые диски. Имейте в виду, чтобы просто загрузить только ключи для такого измерения в память, необходимо 150 миллионов * 64 байта = порядка 10 Gb оперативной памяти.

Для борьбы с этим явлением составлял план, и если бы 52 миллиона member-ов не отпроцессится, то хотел попробовать объявить этот dimension как ROLAP, и сделать в базе несколько дополнительны индексов по таблицам, чтобы работало быстрее. Попробуйте, может быть поможет, я тратить время на разбирательство с 250 млн members не захотел.
28 мар 14, 13:02    [15800253]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Проблема с процессингом большого измерения  [new]
кириллk
Member

Откуда:
Сообщений: 1046
У меня есть атрибуты, которые нужны 1 в год.
Я где -то читал, что есть такая настройка , что данные по атрибутам начинают считаться только когда к ним обращаются.
И что это сильно ускоряет процессинг. Можете кинуть ссылкой?
спасибо!
21 янв 18, 00:38    [21123842]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить