Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 не забыть и не потерять минувшее  [new]
DDT07
Member

Откуда:
Сообщений: 9
Уважаемые коллеги!
Такая история. В организации накоплены различного вида и периодичности (месяц, квартал, год) отчеты о производственно- хозяйственной деятельности предприятий за несколько лет. Отчетов порядка 50. Каждый, в соответствии с рубриками своей структуры, разбивался на набор таблиц DBF. Показатели из этих отчетов используются в различного рода аналитиках. Годовой объем - (ок. 1000 файлов) не превышает 2Гб. Количество показателей порядка 3К.
НО!
Состав показателей, структура и объем практически всех отчетов от периода к периоду меняется. Следовательно, меняются (добавляются, отменяются) и соответствующие таблицы DBF. Вести такое хозяйство ужасно трудно, бросать жалко ( да и низзя ;-), развивать невозможно.
Спасение, как обещается, на магистрали OWB, хранилище, OLAP, BI,….
НО!
Чтобы попасть в светлое завтра это хозяйство надо описать в OWB!
И что, опять тонуть в тысячах таблиц, сотнях ETL процессов и маппингов?
Плз., кто боролся с такими гидрами и победил – ободрите, подкрепите!
14 ноя 07, 01:37    [4912468]     Ответить | Цитировать Сообщить модератору
 Re: не забыть и не потерять минувшее  [new]
marguren
Member

Откуда:
Сообщений: 1256
DDT07, Вы Юрия Юлиановича любите или яд для крыс? :-))

не волнуйтесь и не переживайте, у Вас все получится, все будет очень хорошо и даже немного лучше, чем Вы предполагали. глаза боятся, а руки делают - все в порядке, беспокоиться не о чем.

(Вы еще не спите? :-)
14 ноя 07, 03:13    [4912518]     Ответить | Цитировать Сообщить модератору
 Re: не забыть и не потерять минувшее  [new]
paradox_addict
Member

Откуда: Москва
Сообщений: 218
В самом простом варианте - закачать один раз.

В сложном - есть такая должность ETL разработчик.
14 ноя 07, 09:22    [4912797]     Ответить | Цитировать Сообщить модератору
 Re: не забыть и не потерять минувшее  [new]
DDT07
Member

Откуда:
Сообщений: 9
Спасибо за добрые рецепты и ободрямс!
ДА, Есть Такая Лабота - хорошо!
ключевые шаги, вроде, известны, их последовательность ясна:
Гликоген

...Надо приложить аналитическое усилие, а именно:
- провести анализ накопленной отчетности на предмет
-- источников
-- измерений
-- показателей
-- потребителей
с консолидацией однородных....


поэтому не представляю как
paradox_addict

В самом простом варианте - закачать один раз.


Мы движемся в указанном направлении со всеми остановками !-(
НО может есть другие пути?

ETL спецы попросили подготовить описания всех источников СНАРУЖИ, для единообразия в ф.DBF, а затем они займутся "магистральными" вопросами в среде ORA-OWB.
А может они не спецы ?-(
14 ноя 07, 23:48    [4918240]     Ответить | Цитировать Сообщить модератору
 Re: не забыть и не потерять минувшее  [new]
EVIL
Member

Откуда: там, где коллайдер
Сообщений: 360
DDT07

Мы движемся в указанном направлении со всеми остановками !-(
НО может есть другие пути?

ETL спецы попросили подготовить описания всех источников СНАРУЖИ, для единообразия в ф.DBF, а затем они займутся "магистральными" вопросами в среде ORA-OWB.
А может они не спецы ?-(


не понимаю ваших сомнений? все выглядит классический:
- ETL специалисты строют вам маппинги и запоняют ваше ХД из описанных вами источников
- BI специалисты строют вам отчеты из полученного хранилища (либо витрины)

формат DBF помоему отомрет в данном процессе

все отлично! может расстраивать только удручающая статистика завершения (незавершения) проектов построения ХД ;-)
15 ноя 07, 01:55    [4918377]     Ответить | Цитировать Сообщить модератору
 Re: не забыть и не потерять минувшее  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 63937
Блог
DDT07
И что, опять тонуть в тысячах таблиц, сотнях ETL процессов и маппингов?

Если это именно "история развития похожих данных", то все терпимо страшно. Конечно, надо продумать процесс так, чтобы не писать свой маппинг для каждого месяца, но это решаемая задача.
15 ноя 07, 02:03    [4918385]     Ответить | Цитировать Сообщить модератору
 Re: не забыть и не потерять минувшее  [new]
DDT07
Member

Откуда:
Сообщений: 9
softwarer
Если это именно "история развития похожих данных",

- да. сейчас формулируем, уточняем и прописываем временнЫе отклонения исходников и проч. дела.
НО предсказание
EVIL
может расстраивать только удручающая статистика завершения (незавершения) проектов построения ХД ;-)

выссказывается/подразумевается довольно часто и стимулирует все "болячки" процесса DW-housingа от извращенной интерпритации ХД до молчаливо-скрытного и прямого саботажа :-(. Вообщем все как положено.

Но Вы ободрили. Всем б.спасибо за +тон!-)
15 ноя 07, 23:18    [4923358]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить