Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 SSAS 2016 процессинг order by в факте  [new]
Denis@nk
Member

Откуда:
Сообщений: 179
Добрый день. Заметил неприятную особенность. При процессинге факта в запрос добавляется order by по одному из полей. База данных тратит ресурсы на сортировку многомилионной таблички. Раньше такого не замечал. Нормальное ли это поведение куба? Или я что то не так настроил?
22 фев 18, 17:20    [21212032]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
vikkiv
Member

Откуда: London
Сообщений: 1703
SSAS MD ? ну так поменяй query definition на какой нужно, а так в DSV надо смотреть, может там order by в named query прописан, или в view.

но вообще правильный order by помогает уменьшить размер партиции на диске.
22 фев 18, 18:27    [21212318]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Denis@nk
Member

Откуда:
Сообщений: 179
Так это кубик сам добавляет обертку к моему запросу. Мой запрос в скобках:

SELECT 
"T_0"."PUNTER_KEY" "BREP01_WH_FACTS_WEBTRACKING0_0"
,"T_0"."UA_KEY" "BREP01_WH_FACTS_WEBTRACKING0_1"
,"T_0"."PAGE_KEY" "BREP01_WH_FACTS_WEBTRACKING0_2"
,"T_0"."PREF_KEY" "BREP01_WH_FACTS_WEBTRACKING0_3"
,"T_0"."DOMAIN_KEY" "BREP01_WH_FACTS_WEBTRACKING0_4"
,"T_0"."PROJECT_KEY" "BREP01_WH_FACTS_WEBTRACKING0_5"
,"T_0"."ACTIONEVENT_KEY" "BREP01_WH_FACTS_WEBTRACKING0_6"
,"T_0"."REFERER_KEY" "BREP01_WH_FACTS_WEBTRACKING0_7"
,"T_0"."DT_KEY_HH24" "BREP01_WH_FACTS_WEBTRACKING0_8"
,"T_0"."GEO_KEY" "BREP01_WH_FACTS_WEBTRACKING0_9" 
FROM  
(  SELECT * FROM DEVOLT_PDBREP01.WH_FACTS_WEBTRACKING WHERE DT BETWEEN TO_DATE('20171101', 'yyyymmdd') 
AND TO_DATE('2017113023', 'yyyymmddhh24') AND DT < TRUNC(SYSDATE + 4/24) )  "T_0" 
ORDER BY "T_0"."PUNTER_KEY" ASC
22 фев 18, 18:37    [21212353]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
vikkiv
Member

Откуда: London
Сообщений: 1703
смотрю одни ключи в "факте", а тип агрегации какой?

это твой запрос (который в скобках) он в самой партиции прописан?
22 фев 18, 19:08    [21212449]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2746
Denis@nk
Добрый день. Заметил неприятную особенность. При процессинге факта в запрос добавляется order by по одному из полей. База данных тратит ресурсы на сортировку многомилионной таблички. Раньше такого не замечал. Нормальное ли это поведение куба? Или я что то не так настроил?

Первое - нехорошо делать DS поверх Oracle. Делайте поверх MSSQL Express хотя бы, а там делайте view поверх Oracle таблиц.
Второе - на измерении с ключом PUNTER_KEY стоит привязка не Regular, а reference с галочкой материализации, так ведь?
22 фев 18, 21:02    [21212774]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Alex_496
Member

Откуда:
Сообщений: 3742
Andy_OLAP
Denis@nk
Добрый день. Заметил неприятную особенность. При процессинге факта в запрос добавляется order by по одному из полей. База данных тратит ресурсы на сортировку многомилионной таблички. Раньше такого не замечал. Нормальное ли это поведение куба? Или я что то не так настроил?

Первое - нехорошо делать DS поверх Oracle. Делайте поверх MSSQL Express хотя бы, а там делайте view поверх Oracle таблиц.
Второе - на измерении с ключом PUNTER_KEY стоит привязка не Regular, а reference с галочкой материализации, так ведь?


Спокойно делал DS поверх Oracle. До сих пор MOLAP-кубы работают в тех банках.
22 фев 18, 21:58    [21212875]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2746
Alex_496
Andy_OLAP
пропущено...

Первое - нехорошо делать DS поверх Oracle. Делайте поверх MSSQL Express хотя бы, а там делайте view поверх Oracle таблиц.
Второе - на измерении с ключом PUNTER_KEY стоит привязка не Regular, а reference с галочкой материализации, так ведь?


Спокойно делал DS поверх Oracle. До сих пор MOLAP-кубы работают в тех банках.

Ну а потом Ваши уже бывшие коллеги поставят для дальнейшей работы с такими кубами VS 2017 - и они таки удивятся, но будет поздно :)
22 фев 18, 22:10    [21212900]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2746
Alex_496,

И потом, Александр, ну мы же понимаем, что Вы такие кубы сделать и переделать сможете. А другие?
22 фев 18, 22:11    [21212906]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
vikkiv
Member

Откуда: London
Сообщений: 1703
тоже в банках - кубы из Oracle = обычное дело, с типами данных бывает пошаманить надо, максимум приходилось драйвер от Attunity ставить по запросам их админа (хотя и без него вполне нормально работало)

хотя стоит заметить - по возможности/рекомендациям конечно SSAS лучше всего с MS-SQL работает, но не всегда эта возможность есть (по разным причинам - от усложнения системы такими прокладками и рисков, и до увеличения цикла/времени обработки)
22 фев 18, 22:16    [21212917]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
vikkiv
Member

Откуда: London
Сообщений: 1703
Andy_OLAP
Ну а потом Ваши уже бывшие коллеги поставят для дальнейшей работы с такими кубами VS 2017 - и они таки удивятся, но будет поздно :)
на тех начальных порах VS2017 и SSDT/BI не только с этим проблемы были, там много по чему нареканий/глюков хватало, конкретно это неудобство кажется в сентябре/октябре уже пофиксили
22 фев 18, 22:21    [21212925]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2746
vikkiv
тоже в банках - кубы из Oracle = обычное дело, с типами данных бывает пошаманить надо

Ну вполне возможно. Понятно, что банкам прямо таки словно доктор прописал нормальную работу undo-redo, поэтому кроме оракла и выбора то особо нет.
Я по личным соображениям очень негативно отношусь как к жадному Ларри, так и к его БД. И считаю, что решения Редмонда относительно предсказуемо работают между собой, а любое стороннее решение нужно прикручивать через прокладки :)
23 фев 18, 01:24    [21213127]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Denis@nk
Member

Откуда:
Сообщений: 179
vikkiv,

автор
смотрю одни ключи в "факте", а тип агрегации какой?
это твой запрос (который в скобках) он в самой партиции прописан?


Наверное это запрос из второй группы мер, там DistinctCount по PUNTER_KEY.
Да, запрос в скобках прописывает скрипт при создании новой партиции.
23 фев 18, 11:28    [21213467]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
Denis@nk
Member

Откуда:
Сообщений: 179
Andy_OLAP,

автор
Первое - нехорошо делать DS поверх Oracle. Делайте поверх MSSQL Express хотя бы, а там делайте view поверх Oracle таблиц.
Второе - на измерении с ключом PUNTER_KEY стоит привязка не Regular, а reference с галочкой материализации, так ведь?


Первое - в копании принято решение что хранилище на оракле, я это не могу изменить. Согласен что с MS SQL гораздо лучше SSAS работает, но делать view поверх Oracle как то громоздко звучит. Есть конечно неудобства при работе с ораклом, но не до такой степени.
Второе, все проверил, везеде Regular.
23 фев 18, 11:32    [21213475]     Ответить | Цитировать Сообщить модератору
 Re: SSAS 2016 процессинг order by в факте  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1992
Denis@nk
Добрый день. Заметил неприятную особенность. При процессинге факта в запрос добавляется order by по одному из полей.


у вас же (ниже) во вьюшке не факт, а измерение??
в измерении да,
ORDER BY "T_0"."PUNTER_KEY" ASC
необходим
30 мар 18, 10:27    [21298388]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить