Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Вакансии Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 851
У меня в отделе (компания Сеть Связной = Связной + Евросеть) открылось две вакансии “ведущий разработчик ETL”

Отдел состоит из 25 человек.
Основная функция отдела – консолидация информации из разных информационных систем компании и предоставление бизнесу удобных инструментов работы с информацией.

Источники данных: SAP (oracle), 1С (mssql), данные внешних контрагентов (csv, excel).
Интерфейсы получения данных: прямые запросы в базу, разбор файлов, разбор сообщений очередей rabbitmq

"ключевые слова": mssql, python

Сейчас команда разработки хранилища - 11 человек.
Новые сотрудники будут заниматься разработкой обособленной части хранилища – online хранилищем. Архитектура этого блока сейчас разрабатывается, поэтому можно будет принять активное участие в её создании и дальнейшем развитии.
Данные будут использоваться подразделением интеллектуальных систем управления (data scientist)

Если интересно - пишите мне на почту или откликайтесь на вакансию на hh.
https://m.hh.ru/vacancy/30289914


Требования:
• отличные знания mssql
• участие в проектах разработки dwh

Условия:
• Месторасположение офиса: метро Автозаводская, бизнес-центр Симонов Плаза (5-7 минут пешком от метро);
• Заработная плата от 160 000 до 200 000 рублей (net), в зависимости от уровня кандидата;
• Оформление по ТК РФ (отпуск, больничный) + соцпакет;
• Профессиональный коллектив
12 мар 19, 10:53    [21830003]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
DaniilSeryi
Member

Откуда:
Сообщений: 1330
Вроде на эту вакансию ещё в октябре искали???
23 мар 19, 22:52    [21841800]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Пупырышки
Member

Откуда:
Сообщений: 451
DaniilSeryi
Вроде на эту вакансию ещё в октябре искали???


З/п слабовата, вот и ищут до сих пор.
24 мар 19, 14:04    [21842014]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Remind
Member

Откуда: UK
Сообщений: 427
Пупырышки,

200К за 1-3 года опыта нынче мало в мск?
24 мар 19, 15:42    [21842133]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Тимур З
Member

Откуда:
Сообщений: 59
Katy
... разбор сообщений очередей rabbitmq
"ключевые слова": mssql, python...


Привет. Разобранные сообщения в ms sql server вставляете как (pyodbc/pymssql)? Отказался от python, т.к. не нашел нормального bulk insert.

Теме up.
24 мар 19, 22:00    [21842276]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 28315
Remind
Пупырышки,

200К за 1-3 года опыта нынче мало в мск?
Вакансия на ХХ видимо другая, тут же ищут "ведущего" разработчика, который будет вести "неведущих".
24 мар 19, 22:45    [21842291]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 28315
alexeyvg
Remind
Пупырышки,

200К за 1-3 года опыта нынче мало в мск?
Вакансия на ХХ видимо другая, тут же ищут "ведущего" разработчика, который будет вести "неведущих".
Кстати, там и специальность другая. В общем, не имеет отношения к этому посту.
24 мар 19, 23:22    [21842299]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 851
Пупырышки
DaniilSeryi
Вроде на эту вакансию ещё в октябре искали???


З/п слабовата, вот и ищут до сих пор.

В октябре была другая позиция. На неё нашли. Сейчас еще одного ищем.
Относительно большой отдел, поэтому по 1-2 человеку в год уходит/приходит.


alexeyvg
Вакансия на ХХ видимо другая, тут же ищут "ведущего" разработчика, который будет вести "неведущих".

Нет, достаточно чтобы мог вести себя. Это не позиция тим лида.

На самом деле на hh несколько странное описание. Попрошу hr чтоб исправили.
Как минимум версия сервера сейчас 17, а не 14.
24 мар 19, 23:58    [21842306]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 851
Тимур З
Katy
... разбор сообщений очередей rabbitmq
"ключевые слова": mssql, python...


Привет. Разобранные сообщения в ms sql server вставляете как (pyodbc/pymssql)? Отказался от python, т.к. не нашел нормального bulk insert.

Теме up.

ctds умеет bulk insert
но у нас из не так много больших сообщений из очередей
25 мар 19, 09:09    [21842423]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
.Евгений
Member

Откуда:
Сообщений: 481
Katy
ctds умеет bulk insert
но у нас из не так много больших сообщений из очередей

Когда я перевел ХД на bulk insert, максимальная скорость чтения сообщений из шины выросла с 60 до 600 сообщений в секунду. Задержка парсинга и укладки в Stage - считанные секунды. Только SSIS, никакого питона.
25 мар 19, 11:16    [21842530]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
А. Х.
Member

Откуда: Зеленоград
Сообщений: 196
Katy
...от 160 000 до 200 000 рублей (net) ...

То есть в месяц человеку платят денежный эквивалент около одного кв. метра.
В то время как 50 таджиков за ~ год (на самом деле быстрее) строят 150-квартирный дом-башню, пусть там будут крохотные квартирки по 40 м, пусть ещё 50 таджиков пекут для них бетонные плиты на заводе - итого получается в 1 кв метре (50+50) * 365 (будем считать что таджики работают без выходных) / (40 * 150) = 6 таджико-дней

Вопрос : куда уходит разница между 6 таджико-днями и 22 человеко-днями ?
25 мар 19, 12:52    [21842686]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 1510
А. Х.
куда уходит разница между 6 таджико-днями и 22 человеко-днями ?


новый джып директора сам себя не купит
25 мар 19, 13:31    [21842723]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Тимур З
Member

Откуда:
Сообщений: 59
Katy
ctds умеет bulk insert
но у нас из не так много больших сообщений из очередей


Круть, буду всех в ЛК учить делать правильный bulk insert без промежуточных csv файлов и FreeBCP
25 мар 19, 16:18    [21842948]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31490
Блог
А. Х.,

Для разработчика вполне нормальная зп. Тем более модель данных там довольно простая (если сравнить вцелом торговлю и финансы).

Такое впечатление, что если предложить в 2 раза больше - все равно будут недовольные )
25 мар 19, 22:27    [21843236]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Пупырышки
Member

Откуда:
Сообщений: 451
Remind
Пупырышки,

200К за 1-3 года опыта нынче мало в мск?


Ээээ... В заголовке стоит ведущий разработчик. Это как минимум лет 5. Далее, источник сап и 1с. Берут данные непосредственно из их баз или через какие-нить адаптеры или очереди, что ессно скорости не добавляет. А если из баз, то специалист должен иметь представление как устроены регистры 1с в базе, иначе такого можно поначитать. Я уж не говорю про сап. И это все за 200 кило, когда чистым базистом без лазанья в смежные сферы можно столько же поднимать. Нафига грузить себе на шею чужое ярмо?
26 мар 19, 00:01    [21843284]     Ответить | Цитировать Сообщить модератору
 Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
Katy
Member

Откуда: Екатеринбург-Москва
Сообщений: 851
Критик
А. Х.,
Для разработчика вполне нормальная зп. Тем более модель данных там довольно простая (если сравнить вцелом торговлю и финансы).
Такое впечатление, что если предложить в 2 раза больше - все равно будут недовольные )


Основная сложность на мой взгляд как раз в модели данных. Бизнес сложный, это не только "продажи телефонов"
Критик, за последние 5-7 лет хранилище сильно выросло именно по "бизнес доменам".
Именно поэтому команда большая. Есть специализация людей по бизнес блокам.

Пупырышки
Remind
Пупырышки,

200К за 1-3 года опыта нынче мало в мск?


Ээээ... В заголовке стоит ведущий разработчик. Это как минимум лет 5. Далее, источник сап и 1с. Берут данные непосредственно из их баз или через какие-нить адаптеры или очереди, что ессно скорости не добавляет. А если из баз, то специалист должен иметь представление как устроены регистры 1с в базе, иначе такого можно поначитать. Я уж не говорю про сап. И это все за 200 кило, когда чистым базистом без лазанья в смежные сферы можно столько же поднимать. Нафига грузить себе на шею чужое ярмо?


Практика такая, что для всех источников разрабатывается тот или иной контракт силами разработчиков системы источника.
  • Для SAP - это очередь c сообщениями json. Напрямую в oracle (sap) никто не пустит. Опыт интеграции с SAP через конекты к sap bw был бы полезен. Но пока такой способ не используем
  • Для 1С - это view с "говорящими" названиями, которые генеряться автоматически по мета данным 1с

    По поводу ярма, ну как сказать, некоторым такая специализация нравится.

    Вакансии переформатировали:
    https://hh.ru/vacancy/30289914 - ведущий разработчик ETL
    https://hh.ru/vacancy/30731770 - ведущий разработчик ETL (data engineer)
  • 26 мар 19, 08:27    [21843392]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    Пупырышки
    Member

    Откуда:
    Сообщений: 451
    Katy

    По поводу ярма, ну как сказать, некоторым такая специализация нравится.


    Рабство в головах неистребимо, чем и пользуетесь.
    26 мар 19, 09:42    [21843426]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    alexeyvg
    Member

    Откуда: Moscow
    Сообщений: 28315
    Пупырышки
    Katy
    По поводу ярма, ну как сказать, некоторым такая специализация нравится.
    Рабство в головах неистребимо, чем и пользуетесь.
    Рабство - это "чистым базистом" (то есть "простокодером"), кодить, что скажут. А это вполне нормальная работа.
    26 мар 19, 10:25    [21843470]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    AmKad
    Member

    Откуда:
    Сообщений: 4965
    alexeyvg
    Рабство - это "чистым базистом" (то есть "простокодером"), кодить, что скажут. А это вполне нормальная работа.
    А где та граница, которая разделяет наемных программистов-разработчиков БД на "чистых базистов" (т.е. простокодеров, которые, как Вы выражаетесь, кодят "что скажут") и программистов нерабов, которые, видимо, кодят "что хотят"?
    26 мар 19, 11:32    [21843542]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    Пупырышки
    Member

    Откуда:
    Сообщений: 451
    AmKad
    alexeyvg
    Рабство - это "чистым базистом" (то есть "простокодером"), кодить, что скажут. А это вполне нормальная работа.
    А где та граница, которая разделяет наемных программистов-разработчиков БД на "чистых базистов" (т.е. простокодеров, которые, как Вы выражаетесь, кодят "что скажут") и программистов нерабов, которые, видимо, кодят "что хотят"?


    Чот не туда вас понесло. Все просто, если требования превышают з/п, то ну его в задницу такую работу! И никакого рапства.
    26 мар 19, 12:52    [21843640]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    alexeyvg
    Member

    Откуда: Moscow
    Сообщений: 28315
    AmKad
    alexeyvg
    Рабство - это "чистым базистом" (то есть "простокодером"), кодить, что скажут. А это вполне нормальная работа.
    А где та граница, которая разделяет наемных программистов-разработчиков БД на "чистых базистов" (т.е. простокодеров, которые, как Вы выражаетесь, кодят "что скажут") и программистов нерабов, которые, видимо, кодят "что хотят"?
    Ну, чем любой специалист в своей работе ближе к получению результата, а не к осуществлению процесса, тем интереснее его работа, и тем больше она ценится.
    Пупырышки
    Все просто, если требования превышают з/п, то ну его в задницу такую работу! И никакого рапства.
    А, вот оно что, раб перестаёт быть рабом, когда его начинают больше кормить :-)
    А я то всё не понимал, что же вы такое пишите, никак не мог уловить мысль...
    26 мар 19, 13:29    [21843695]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    МодальноеОкно
    Member

    Откуда:
    Сообщений: 1510
    AmKad
    alexeyvg
    Рабство - это "чистым базистом" (то есть "простокодером"), кодить, что скажут. А это вполне нормальная работа.
    А где та граница, которая разделяет наемных программистов-разработчиков БД на "чистых базистов" (т.е. простокодеров, которые, как Вы выражаетесь, кодят "что скажут") и программистов нерабов, которые, видимо, кодят "что хотят"?


    нет.

    рапство это кодить что хотят и скажут. а не рапство это "кодь что хочешь, но баркас мой со дна достань! (с) особенности нац. охоты"
    26 мар 19, 13:34    [21843706]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    Katy
    Member

    Откуда: Екатеринбург-Москва
    Сообщений: 851
    МодальноеОкно
    AmKad
    пропущено...
    А где та граница, которая разделяет наемных программистов-разработчиков БД на "чистых базистов" (т.е. простокодеров, которые, как Вы выражаетесь, кодят "что скажут") и программистов нерабов, которые, видимо, кодят "что хотят"?


    нет.

    рапство это кодить что хотят и скажут. а не рапство это "кодь что хочешь, но баркас мой со дна достань! (с) особенности нац. охоты"


    Классное определение
    У нас второе, но в рамках зафиксированной в wiki архитектуры
    26 мар 19, 13:41    [21843719]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 481
    МодальноеОкно
    рапство это кодить что хотят и скажут. а не рапство это "кодь что хочешь, но баркас мой со дна достань! (с) особенности нац. охоты"

    Ну-ну. Код-стайл - рабство. Ревью кода - тоже рабство. Так, что ли?

    P.S. Перегружать данные из 1С в ХД востребовано. Но противно.
    26 мар 19, 13:42    [21843722]     Ответить | Цитировать Сообщить модератору
     Re: Ищем Ведущего разработчика ETL. Москва. Автозаводская. Связной+Евросеть  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3822
    вакансия называется разРАБотчик, а не руководитель/начальник/директор,
    поэтому сколько отмерили сообразно бюджету, столько и озвучили, тем более их 11 чел. подобных.
    Подними одному планку, всем остальным тоже надо поднимать.

    Retail есть retail, кровавый Enterprise.
    Страждущих много, предложения продавцов в приоритете.

    Классически. Все нормально, нормальная позиция.
    26 мар 19, 14:42    [21843814]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
    Все форумы / Вакансии Ответить