Добро пожаловать в форум, Guest >> Войти | Регистрация | Поиск | Правила | | В избранное | Подписаться | ||
Все форумы / Работа |
![]() ![]() |
Soldat Member Откуда: Москва Сообщений: 854 |
Навыки: - разработка структуры БД - разработка хранимых процедур (t-sql) - оптимизация запросов - разработка отчетов (SSRS) - разработка кубов (SSAS/OLAP) - разработка ETL (SSIS, Bash, Python) При необходимости, по Москве и области могу подъехать. Почта в профиле. ____________________________ Копаем отсюда и до обеда ... |
3 окт 18, 19:09 [21694495] Ответить | Цитировать Сообщить модератору |
Santa89 Member Откуда: Сообщений: 1497 |
ETL на Python? |
4 окт 18, 11:00 [21694904] Ответить | Цитировать Сообщить модератору |
aleksrov Member Откуда: Сообщений: 948 |
Он в МТС наверно работал :) |
||
5 окт 18, 10:47 [21696089] Ответить | Цитировать Сообщить модератору |
a_voronin Member Откуда: Москва Сообщений: 4805 |
Сейчас пошла мода ETL писать на питоне. Это нормально. |
||
8 окт 18, 12:49 [21697945] Ответить | Цитировать Сообщить модератору |
Vyatich Member Откуда: Сообщений: 3708 |
Быстро работает, небось? |
||||
8 окт 18, 13:11 [21697988] Ответить | Цитировать Сообщить модератору |
a_voronin Member Откуда: Москва Сообщений: 4805 |
Не факт. Скачать сто лямов строк оттуда сюда -- разницы нет. SSIS бабок стоит, а opensource бесплатный |
||||
8 окт 18, 14:41 [21698159] Ответить | Цитировать Сообщить модератору |
.Евгений Member Откуда: Сообщений: 654 |
Это только если отдать трансформации на откуп БД. Бесплатные средства ETL есть, а отсутствие типовых возможностей (гуй, лог, обработка ошибок и т.д.) либо необходимость их писать руками - неприятно. |
||
8 окт 18, 21:23 [21698658] Ответить | Цитировать Сообщить модератору |
Santa89 Member Откуда: Сообщений: 1497 |
Ужоснах...Я бы пальцем у виска покрутил если бы мне работодатель предложил писать ETL на Python |
9 окт 18, 10:25 [21698948] Ответить | Цитировать Сообщить модератору |
Полковник. Member Откуда: Сообщений: 1911 |
Видел такого инвалида - etl на python. В результате он захлебнулся данными не успевал грузить и пришлось все переделывать с нуля на pentaho di. Двойная работа. У нас как всегда, главное что бы было модно, молодежно, по комсомольски. |
9 окт 18, 11:15 [21699013] Ответить | Цитировать Сообщить модератору |
Vyatich Member Откуда: Сообщений: 3708 |
Нынче модно делать ETL на всяких Spark-ах, где можно и на питоне писать, но лучше сразу на Scala. |
||
9 окт 18, 11:17 [21699016] Ответить | Цитировать Сообщить модератору |
Alex_496 Member [заблокирован] Откуда: https://www.dvbi.ru Сообщений: 3869 |
как говорил один человек: если вам платить от 500 тыщ. в месяц, то не то что Python, а и Access возлюбите |
9 окт 18, 13:18 [21699192] Ответить | Цитировать Сообщить модератору |
a_voronin Member Откуда: Москва Сообщений: 4805 |
А я вот второй раз уже слышу, что как дело за 100 лямов переваливает, Пентахо не тянет. |
||
9 окт 18, 13:24 [21699201] Ответить | Цитировать Сообщить модератору |
Vyatich Member Откуда: Сообщений: 3708 |
И надо начинать писать ETL на питоне? |
||||
9 окт 18, 13:33 [21699217] Ответить | Цитировать Сообщить модератору |
vikkiv Member Откуда: EU Сообщений: 2921 |
Vyatich, но обязательно обоснованный вывод, с чего это вдруг? почему не на Т-SQL ? кроме того питон это среда с кучей библиотек и интерпретатором - не более того. насколько там всё эффективно внутри длинных цепей связей между собой и ресурсами машины взаимодействует и на что заточено - уже другой вопрос. |
9 окт 18, 13:45 [21699247] Ответить | Цитировать Сообщить модератору |
Jurii Member Откуда: Moscow http://cognos.narod.ru Сообщений: 3123 |
Нынче модно делать ETL на всяких Spark-ах, где можно и на питоне писать, но лучше сразу на Scala. А для гурманов - модно не делать ETL, а созерцать, как Исин делает ETL на T-SQL ;) |
9 окт 18, 13:59 [21699279] Ответить | Цитировать Сообщить модератору |
.Евгений Member Откуда: Сообщений: 654 |
СУБД и SQL работают не с потоком, характерным для ETL, а с пачками, что неизбежно влечет накладные расходы. Где-то это приемлемо, где-то - нет.
Не столь давно на форуме DWH я интересовался некоторыми аспектами этого созерцания, но гурманом себя так и не почувствовал. |
||||
9 окт 18, 16:31 [21699470] Ответить | Цитировать Сообщить модератору |
Между сообщениями интервал более 1 года. |
Soldat Member Откуда: Москва Сообщений: 854 |
На Win+SSIS свет клином не сошелся. А при прочих равных зачем платить больше... ![]() p.s. сорян за ответ на некропост |
||||||
6 май 20, 05:57 [22127929] Ответить | Цитировать Сообщить модератору |
Все форумы / Работа | ![]() |