Блог


Последние записи


Теги

Информация

DWH


Изменение данных за старые периоды

Часто при работе с DWH возникают "необъяснимые" изменения данных за старые периоды.
Пользователи жалуются - "мы ничего не меняли за двухтысячный год", а поддержка сервиса не может объяснить эти изменения, т.к. организация просто не имеет ресурсов для хранения большого числа бэкапов

У этих изменений есть несколько возможных причин:
1) реальное изменение фактов в DWH
2) изменение атрибутов измерений
3) Некорректная работа клиентского ПО

Рассмотрим их более подробно:

Реальное изменение фактов в DWH

Этот случай возникает при проведении/правке документов задним числом.
Чтобы иметь возможность назвать этот фактор как причину изменений данных, требуется соответствующим образом проектировать систему:
- хранить дату добавления факта
- не удалять факты, а отмечать их пометкой "удалено", вместо них добавлять новые
Все это справедливо для инкрементально наполняющегося хранилища данных(ХД), если же ХД каждый раз полностью перезаполняется, то тут только один вариант - резервные копии (много-много копий).
читать дальше...
добавлено: 16 дек 10 просмотры: 3315, комментарии: 3