Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Ищу место стажера на SPARK, PySpark, Java в ETL  [new]
Александр Бердышев
Member

Откуда: Санкт-Петербург
Сообщений: 266
Interloper
Александр Бердышев
Из минусов: любят увольнять людей одним днём.

Это законно?

Если ставишь все подписи задним числом - то да.
26 авг 19, 19:44    [21957884]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место стажера на SPARK, PySpark, Java в ETL  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 9280
Дмитрий Дальний
RonibGreat,

Ты абсолютно прав, поэтому и ищу место стажера.
Твою задачу как 2 пальца об асфальт, решу с помощью Informatica BDM (получится гофнокод на спарк), но у меня нет таких задач, а они мне интересны.
Поэтому и ищу место стажера.

Я ведь не писал что знаю стек HADOOP, а написал понимаю :)

допилили инфу что ли? в версии powercenter 10.1 она так и не подружилась с хадупом, формально поддерживает, а реально не работает.
27 авг 19, 22:36    [21958623]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место стажера на SPARK, PySpark, Java в ETL  [new]
Дмитрий Дальний
Member

Откуда: СПб
Сообщений: 59
Sintetik,
Работаю с 10.2.1, сказать поддерживает, не поддерживает не могу, так как не виде другого. Но маппинги в спарк режиме работают. Есть проблемы с реляционными источниками, работа со sqoop, не оптимально инфа с ним работает. пришлось через bash запилить. Основные проблемы это \n\r посреди столбца, ну и классика -> binary, пробовал запилить java трансформацию, но она не поддерживает динамические порты. Основная цель залить 1С (их много) в DWH на M$ SQL, и построить лайнедж в EDC. Технически глупое решение, но управленческий и стратегически решение верное.
29 авг 19, 21:26    [21960147]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / Работа Ответить