Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
 Разработчик BI (удаленно, Москва, МО)  [new]
Soldat
Member

Откуда: Москва
Сообщений: 853
Навыки:
- разработка структуры БД
- разработка хранимых процедур (t-sql)
- оптимизация запросов
- разработка отчетов (SSRS)
- разработка кубов (SSAS/OLAP)
- разработка ETL (SSIS, Bash, Python)

При необходимости, по Москве и области могу подъехать.

Почта в профиле.
____________________________
Копаем отсюда и до обеда ...
3 окт 18, 19:09    [21694495]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Santa89
Member

Откуда:
Сообщений: 1346
ETL на Python?
4 окт 18, 11:00    [21694904]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
aleksrov
Member

Откуда:
Сообщений: 917
Santa89
ETL на Python?


Он в МТС наверно работал :)
5 окт 18, 10:47    [21696089]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3708
Santa89
ETL на Python?


Сейчас пошла мода ETL писать на питоне. Это нормально.
8 окт 18, 12:49    [21697945]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Vyatich
Member

Откуда:
Сообщений: 2649
a_voronin
Santa89
ETL на Python?


Сейчас пошла мода ETL писать на питоне. Это нормально.

Быстро работает, небось?
8 окт 18, 13:11    [21697988]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3708
Vyatich
a_voronin
пропущено...


Сейчас пошла мода ETL писать на питоне. Это нормально.

Быстро работает, небось?


Не факт. Скачать сто лямов строк оттуда сюда -- разницы нет.
SSIS бабок стоит, а opensource бесплатный
8 окт 18, 14:41    [21698159]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
.Евгений
Member

Откуда:
Сообщений: 398
a_voronin
Не факт. Скачать сто лямов строк оттуда сюда -- разницы нет.
SSIS бабок стоит, а opensource бесплатный

Это только если отдать трансформации на откуп БД.
Бесплатные средства ETL есть, а отсутствие типовых возможностей (гуй, лог, обработка ошибок и т.д.) либо необходимость их писать руками - неприятно.
8 окт 18, 21:23    [21698658]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Santa89
Member

Откуда:
Сообщений: 1346
Ужоснах...Я бы пальцем у виска покрутил если бы мне работодатель предложил писать ETL на Python
9 окт 18, 10:25    [21698948]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Полковник.
Member

Откуда:
Сообщений: 1764
Видел такого инвалида - etl на python. В результате он захлебнулся данными не успевал грузить и пришлось все переделывать с нуля на pentaho di. Двойная работа.
У нас как всегда, главное что бы было модно, молодежно, по комсомольски.
9 окт 18, 11:15    [21699013]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Vyatich
Member

Откуда:
Сообщений: 2649
Santa89
Ужоснах...Я бы пальцем у виска покрутил если бы мне работодатель предложил писать ETL на Python

Нынче модно делать ETL на всяких Spark-ах, где можно и на питоне писать, но лучше сразу на Scala.
9 окт 18, 11:17    [21699016]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Alex_496
Member

Откуда:
Сообщений: 3742
как говорил один человек: если вам платить от 500 тыщ. в месяц, то не то что Python, а и Access возлюбите
9 окт 18, 13:18    [21699192]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3708
Полковник.
Видел такого инвалида - etl на python. В результате он захлебнулся данными не успевал грузить и пришлось все переделывать с нуля на pentaho di. Двойная работа.
У нас как всегда, главное что бы было модно, молодежно, по комсомольски.


А я вот второй раз уже слышу, что как дело за 100 лямов переваливает, Пентахо не тянет.
9 окт 18, 13:24    [21699201]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Vyatich
Member

Откуда:
Сообщений: 2649
a_voronin
Полковник.
Видел такого инвалида - etl на python. В результате он захлебнулся данными не успевал грузить и пришлось все переделывать с нуля на pentaho di. Двойная работа.
У нас как всегда, главное что бы было модно, молодежно, по комсомольски.


А я вот второй раз уже слышу, что как дело за 100 лямов переваливает, Пентахо не тянет.

И надо начинать писать ETL на питоне?
9 окт 18, 13:33    [21699217]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
vikkiv
Member

Откуда: London
Сообщений: 1703
Vyatich,

но обязательно обоснованный вывод, с чего это вдруг? почему не на Т-SQL ?
кроме того питон это среда с кучей библиотек и интерпретатором - не более того.
насколько там всё эффективно внутри длинных цепей связей между собой и ресурсами машины взаимодействует и на что заточено - уже другой вопрос.
9 окт 18, 13:45    [21699247]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3060
Нынче модно делать ETL на всяких Spark-ах, где можно и на питоне писать, но лучше сразу на Scala.

А для гурманов - модно не делать ETL, а созерцать, как Исин делает ETL на T-SQL ;)
9 окт 18, 13:59    [21699279]     Ответить | Цитировать Сообщить модератору
 Re: Разработчик BI (удаленно, Москва, МО)  [new]
.Евгений
Member

Откуда:
Сообщений: 398
vikkiv
Vyatich,

но обязательно обоснованный вывод, с чего это вдруг? почему не на Т-SQL ?
кроме того питон это среда с кучей библиотек и интерпретатором - не более того.
насколько там всё эффективно внутри длинных цепей связей между собой и ресурсами машины взаимодействует и на что заточено - уже другой вопрос.

СУБД и SQL работают не с потоком, характерным для ETL, а с пачками, что неизбежно влечет накладные расходы. Где-то это приемлемо, где-то - нет.
Jurii
Нынче модно делать ETL на всяких Spark-ах, где можно и на питоне писать, но лучше сразу на Scala.
А для гурманов - модно не делать ETL, а созерцать, как Исин делает ETL на T-SQL ;)

Не столь давно на форуме DWH я интересовался некоторыми аспектами этого созерцания, но гурманом себя так и не почувствовал.
9 окт 18, 16:31    [21699470]     Ответить | Цитировать Сообщить модератору
Все форумы / Работа Ответить