Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 5 6 7 8 9 10 11 12 13 [14]
 Re: BI Сходка  [new]
ShIgor
Member

Откуда: Нижний Новгород
Сообщений: 1955
Birkhoff,

+1
фоток не найду наверное уже, и футболку форумскую затаскал до дыр
15 май 17, 15:40    [20482208]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
OldNov
Member

Откуда:
Сообщений: 244
Юрий всегда здесь :-)
16 май 17, 12:56    [20484617]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
ShIgor
фоток не найду наверное уже, и футболку форумскую затаскал до дыр


а у меня папка сохранилась от Sybase, где Кимбалл был )
16 май 17, 18:17    [20486357]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
ShIgor
Member

Откуда: Нижний Новгород
Сообщений: 1955
Критик,

выкладывай куда-нибудь, многие и не знают кто такой..
16 май 17, 22:13    [20487072]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 672
ShIgor
Критик,

выкладывай куда-нибудь, многие и не знают кто такой..

Это абсолютная правда. В те далекие времена, про BI и не догадывался!)
18 май 17, 09:36    [20491800]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6001
И фотки есть и футболка. Я Ее только по особым случаям надеваю.

А Кимбала я крайний раз слушал в Стокгольме осенью 15 года, на его последнем публичном курсе по продвинутому dimensional Modeling.
20 май 17, 11:23    [20498186]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Юрий Кудрявцев
Member

Откуда: Сидней, Австралия
Сообщений: 755
Birkhoff
Ginsburg
пропущено...


Поддерживаю. Осталось вспомнить об этом через год, разгрести все дела и приехать:)


Прошло ровно 10 лет с легендарной сходки после Кимбала. 15 мая 2007 года.
Интересно, есть тут еще те, кто на ней был тогда?


А как же ) Хорошо посидели тогда )
9 июн 17, 22:32    [20554471]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Birkhoff
Прошло ровно 10 лет с легендарной сходки после Кимбала. 15 мая 2007 года.

С Кимбалла запомнился вопрос из зала про "проблему с исправление данных в хранилище в прошлых периодах задним числом" и ответ мэстро (не дословно) "проблемы нет -- если учет накосячил, то пусть учет и делает сторнирующие транзакции в открытом периоде".

PS. Кимбалла видал, на BI сходке не бывал :(
11 июн 17, 01:04    [20556059]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Voyager_lan
Member

Откуда:
Сообщений: 1437
Roman Kolchin
Birkhoff
Прошло ровно 10 лет с легендарной сходки после Кимбала. 15 мая 2007 года.

С Кимбалла запомнился вопрос из зала про "проблему с исправление данных в хранилище в прошлых периодах задним числом" и ответ мэстро (не дословно) "проблемы нет -- если учет накосячил, то пусть учет и делает сторнирующие транзакции в открытом периоде".

PS. Кимбалла видал, на BI сходке не бывал :(


Ну это возможно, если повезет убедить и бизнес разделяет такую позицию.
11 июн 17, 10:45    [20556279]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3470
Roman Kolchin,

Ну вот залили коллеги в хранилище многие миллионы записей в таблицу фактов по.... (не буду озвучивать)
И с этими данными жили не менее полгода, а потом выяснилось, что 2 мильярда денех потеряли.
Когда обнаружили, пересчитали, перезалили снова эту ТФ. А щетать сторнирующими проводками - это так ТФ разбухнет и запутаться в той таблице.

Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.

К сообщению приложен файл. Размер - 7Kb
11 июн 17, 16:09    [20556674]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
Alex_496
Roman Kolchin,

Ну вот залили коллеги в хранилище многие миллионы записей в таблицу фактов по.... (не буду озвучивать)
И с этими данными жили не менее полгода, а потом выяснилось, что 2 мильярда денех потеряли.
Когда обнаружили, пересчитали, перезалили снова эту ТФ. А щетать сторнирующими проводками - это так ТФ разбухнет и запутаться в той таблице.

Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.


Не об том речь. А о том, что проблема чистоты данных это проблема источника а не ХД, но некоторые почему то упорствуют в своей ериси и пытаются заниматься чисткой данных на загрузке.
11 июн 17, 17:37    [20556773]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 4597
У меня в проекте была ситуация, что заказчика могли обязать по судебному решению внести изменения в базу задним числом и пересчитать с поправкой все последующие транзакции и это должно было выглядеть "как будто так и было", и заднее число могло быть год назад легко, суды у нас неторопливые. Для него это штатная ситуация.
11 июн 17, 18:55    [20556861]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3470
Полковник.
Alex_496
Roman Kolchin,

Ну вот залили коллеги в хранилище многие миллионы записей в таблицу фактов по.... (не буду озвучивать)
И с этими данными жили не менее полгода, а потом выяснилось, что 2 мильярда денех потеряли.
Когда обнаружили, пересчитали, перезалили снова эту ТФ. А щетать сторнирующими проводками - это так ТФ разбухнет и запутаться в той таблице.

Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.


Не об том речь. А о том, что проблема чистоты данных это проблема источника а не ХД, но некоторые почему то упорствуют в своей ериси и пытаются заниматься чисткой данных на загрузке.


А...вон оно про что. Так я только за советску власть и мир во всем мире. Раньше был категоричен, теперь вижу, что не все так просто. Кто бы спорил, исходные учетные системы должны блюсти качество регистрируемых данных. Можно цельный опус на NN страниц по этой теме написать, структурировать все причины и методы как контролировать базовые данные. Например, в одних проектах мои сотрудники вносят одни и те же данные дважды (это при наличии чек-проверок на этапе ввода), потом автомат. сверка, исправления, еще более сложные пост-проверки, а потом приведение к отраслевым стандартам. И всё равно по Протоколу проекта закладывается излишний процент вводимых записей, которыми потом можно откинуть при стат. анализе.
И всё равно не так просто. Порой, на рынке не найти достаточное количество ответственных операторов или
они стоят дороже, а в спускаемый бюджет не вписываетесь. Или, например, нач. производственного отдела вынужден химичить в сметах задним числом. Ну, будете бодаться с министерством, Заказчиком, биться за правду? Океюшки, тогда потеряете заказы, рынок. Как собственник, поднимавший бизнес с 0, готовы упираться, но потерять бизнес? Или будете искать компромиссы, где что можно выправить на этапе загрузки в витрину.
11 июн 17, 19:37    [20556898]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
Alex_496,

Ничего не понял из вашего текста. Можно в нескольких предложениях кратко?
Вы хотите взять на себя ответственность за данные в источниках? Я не хочу, я строю хранилища данных, в которых хранятся данные в том виде в котором они есть на самом деле а не в том в котором их хотят видеть наведя марафет на загрузке. В моем случае заказчик видя проблемы наводит порядок в учётных системах, в вашем случае продолжает жить с помойкой.
В заказчиках недостатка пока не испытываю, кстати.
11 июн 17, 21:06    [20556974]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3470
Полковник.
Alex_496,

Ничего не понял из вашего текста. Можно в нескольких предложениях кратко?
Вы хотите взять на себя ответственность за данные в источниках? Я не хочу, я строю хранилища данных, в которых хранятся данные в том виде в котором они есть на самом деле а не в том в котором их хотят видеть наведя марафет на загрузке. В моем случае заказчик видя проблемы наводит порядок в учётных системах, в вашем случае продолжает жить с помойкой.
В заказчиках недостатка пока не испытываю, кстати.


Там где можно, мы даем обратную связь владельцам источников по исправлению данных, доработке систем.
Так, полностью переделали ODS по Front-системе.
Кстати, согласно новым требованиям ISO менеджмента качества, если не управляете Поставщиками, то не соответствуете ISO, т.е. вы несете ответственность за поставщиков, да.

Однако, не всегда есть возможность требовать. Вам приходят данные из сторонних организаций, приходят такие какие есть. Вы можете просить придерживаться формата, договариваться о формате. Но если у вас нет рычагов требовать, в вас не очень заинтересованы (или ваша компания не того ранга, чтобы требовать) и есть масса других потребителей, то вам поступают данные as is.
12 июн 17, 14:35    [20557999]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 188
Alex_496
Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.

Вот-вот. Это и есть основной десижн поинт :) А случаи перезаливки 100500 миллиардов строк из-за единичной технической ошибки на самом деле очень редки.

А в ответе маэстро подразумевалось именно это:
Полковник.
<...> проблема чистоты данных это проблема источника а не ХД <...>
12 июн 17, 17:51    [20558440]     Ответить | Цитировать Сообщить модератору
 Re: BI Сходка  [new]
Voyager_lan
Member

Откуда:
Сообщений: 1437
Roman Kolchin
Alex_496
Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.

Вот-вот. Это и есть основной десижн поинт :) А случаи перезаливки 100500 миллиардов строк из-за единичной технической ошибки на самом деле очень редки.

А в ответе маэстро подразумевалось именно это:
Полковник.
<...> проблема чистоты данных это проблема источника а не ХД <...>


Это актуально для разграничении ответственности, особенно при работе с Заказчиками.
А вы поработайте с legacy-системами, где изменения только в одну сторону и тогда всё поймете.
-- ИМХО всё не так просто, главное подходить ко всему с умом и без крайностей :)
12 июн 17, 19:39    [20558625]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 5 6 7 8 9 10 11 12 13 [14]
Все форумы / OLAP и DWH Ответить