Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 oracle etl  [new]
israelshamir
Member

Откуда:
Сообщений: 197
Всем привет!
Вопрос ораклистам.

На чем вы пишите etl процессы?
13 май 18, 16:55    [21406448]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Полковник.
Member

Откуда:
Сообщений: 1764
israelshamir
Всем привет!
Вопрос ораклистам.

На чем вы пишите etl процессы?


На pl/sql в основном. Разницы нет, все известные etl-и умеют работать с любой базой данных
13 май 18, 18:12    [21406549]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
israelshamir
Member

Откуда:
Сообщений: 197
Полковник.,

Java приходится использовать?
И какие etl тулзы чаще всего используются?
13 май 18, 18:57    [21406594]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Полковник.
Member

Откуда:
Сообщений: 1764
israelshamir
Полковник.,

Java приходится использовать?
И какие etl тулзы чаще всего используются?


Java? А зачем, руками неделю писать то что в etl-e делается за полчаса? Сейчас модно и на python-e писать где непопадя но работать будет раз в 10 медленней бесплатной pentaho data integrator, видел такое убожество.

Список etl инструментов огромен, от родного для ораклa oracle data integrator, informatica, ibm datastage, ms sql server integration services, talend, pentaho data integrator... Это из известных, но есть и другие. Погугли, кроме процедур загрузки ещё нужна оркестровка - управление процессами, логирование, работа по событию или по расписанию и т.д. руками это писать - убьешься
13 май 18, 19:25    [21406625]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
israelshamir
Member

Откуда:
Сообщений: 197
Полковник.,

Полковник
Погугли, кроме процедур загрузки ещё нужна оркестровка - управление процессами, логирование, работа по событию или по расписанию и т.д. руками это писать - убьешься


А ты конкретно что используешь для этих задач?
13 май 18, 19:33    [21406633]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Полковник.
Member

Откуда:
Сообщений: 1764
israelshamir,

Все вышеперечисленные, зависит от того, что куплено заказчиком. Иногда родной pl/sql, если ХД не очень сложное - пара десятков таблиц. Приходим в банк, там говорят -мы купили хренову кучу информатики (как пример), нам нужно что бы на ней, ясно, что со своим мы туда не полезем.
13 май 18, 20:21    [21406651]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2125
в сбере на жабе написано. Вполне себе неплохо. Лучше многих других случаев, что я видел.
14 май 18, 01:31    [21406907]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3498
Бумбараш
в сбере на жабе написано. Вполне себе неплохо. Лучше многих других случаев, что я видел.

что прямо вот во ВСЕМ сбере ??? весь етл??? ха-ха.
на заборе тоже написано
14 май 18, 09:52    [21407212]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Shtock
Member

Откуда: СПб
Сообщений: 3035
В Сбере есть всё, в том числе etl и на java, etl на informatica. Думаю, проще перечислить чего нет....
14 май 18, 10:09    [21407254]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3498
порядка нет
14 май 18, 11:12    [21407471]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2125
Основное хранилище, которое ЦХД.
14 май 18, 13:10    [21407920]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Полковник.
Member

Откуда:
Сообщений: 1764
Бумбараш
Основное хранилище, которое ЦХД.


В сбере есть хранилище? Не смешно. Создатели ETL на джаве из сбера присылают моей старушке маме, ей под 80, пенсия 18 тыс., смс-ки с рекламой открыть вклад "помоги ветерану" с которого полпроцента бы поступало таким вот старушкам как она сама. Убил бы на..., гвоздь в башку забить за такое, что трудно посмотреть год рождения кому ты шлешь? . Поэтому то что в сбере что то слепили на джаве это для меня скорее правило, чем нет ха ха ха
14 май 18, 14:19    [21408191]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2125
логика ок
14 май 18, 15:06    [21408438]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
israelshamir
Member

Откуда:
Сообщений: 197
Мужики, я правильно понимаю, express edition уже не доступна, поэтому надо 28 гб-го динозавра тянуть с https://edelivery.oracle.com?

К сообщению приложен файл. Размер - 78Kb
22 май 18, 21:38    [21430526]     Ответить | Цитировать Сообщить модератору
 Re: oracle etl  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3906
Полковник.
Java? А зачем, руками неделю писать то что в etl-e делается за полчаса? Сейчас модно и на python-e писать где непопадя но работать будет раз в 10 медленней бесплатной pentaho data integrator, видел такое убожество.


Необходимость наличия ГУЯ сильно преувеличина. Тут все зависит от уровня абстракции. Тот же Cascading (RIP) не сильно уступает по лаконичности Pig-скриптам. Spark тоже вполне человеческий API предоставляет и писать маппинги на нем как раз сильно удобнее, чем возить мышей квадратики по экрану. Вот на уровне повыше (workflow management) там да, убоных альтернатив пока немного, хотя Airflow уже потихоньку и эту нишу осваивает.
Из плюсов, наличие готовой инфраструктуры для контроля версий, тестирования, диплоймента и т.д.
31 май 18, 18:40    [21458595]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить