Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Разочарование в новой работе  [new]
without_sad
Member

Откуда:
Сообщений: 3
Всем привет.
Трудоустроился на позицию Data Engineer.
Спустя несколько дней работы я разочаровался в предложенной работе.

Задачи: 90% - это создание ETL-процессов с помощью кастомного приложения, который преобразует SQL код в Scala.
От тебя требуется только настроить внутренние ETL-процесс с помощью местного приложения + Airflow, который уже тоже имеет километровые готовые конфиги.

Данные вообще не нужно анализировать. За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.
Сами сотрудники жалуются, что тратят время не на решение задачи, а на понимание, что им написали. Когда сама задача делается в 2 строки.

Мне казалось, что Data Engineer - это смесь DA/DE. Разве можно годами создавать только ETL процессы? От монотонности с ума не сойдешь? Аналитическими задачками хотя бы мозг держишь в тонусе. Банально понимаешь с какими данными работаешь.

Не говоря о том, что команда состоит из 10+ человек и они хотят разделиться на несколько мелких команд, которые будут заниматься только одним делом(т.к. иногда прилетают разные задачи) - devops задачи, dags для Airflow, scala/java.

Я зря расстраиваюсь и везде так, просто нужно забить и получать свою копейку?
17 ноя 21, 22:50    [22397223]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
priti40
Member

Откуда:
Сообщений: 121
https://www.sql.ru/forum/1340158/ishhem-dataengineer-rf

не сюда случайно ?
17 ноя 21, 23:52    [22397239]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Программист 1с
Member

Откуда: Москва
Сообщений: 9436
А кто Вам запрещает найти удаленно другую работу и там проявлять все свои умения?

А здесь да копеечку за 2 строки получать, раз больше ничего не нужно.
18 ноя 21, 00:11    [22397241]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4129
Программист 1с
А кто Вам запрещает найти удаленно другую работу и там проявлять все свои умения?

А здесь да копеечку за 2 строки получать, раз больше ничего не нужно.

+1
18 ноя 21, 00:16    [22397242]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Sergunka
Member

Откуда: Bay Area, CA
Сообщений: 2603
without_sad,

Airflow очень востребованый скилс на рынке. Там задач можно понапридумывать хоть пруд пруди. Мне лично Аирфло очень вкатило хороший и довольно простой тул и пользы от него дофига.
18 ноя 21, 05:45    [22397272]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ares_ekb
Member

Откуда: Екатеринбург
Сообщений: 1769
without_sad
Спустя несколько дней работы
without_sad
Разве можно годами
:)

Везде по-разному. Наверное аналитики могли бы сразу описывать правила преобразования данных на каком-нибудь DSL или в виде модели, из которой генерятся все нужные скрипты. Очевидно, что описывать это на русском языке, чтобы потом люди тратили время на дешифрацию этих постановок выглядит бредом.

Видимо они или не дошли до того, что рутину можно автоматизировать, или не хотят заморачиваться, проще посадить десяток человек и организовать для них процесс. Многие задачи могут быть решены техническим способом или организационным. У вас видимо пошли по второму пути.

Можно так и спросить планируется ли вообще какая-то интеллектуальная работа кроме этой рутины. Можно предложить какие-то варианты избавления от рутины. А лучше не предлагать, а попробовать сразу реализовать и предложить уже реализацию. Можно попробовать перейти на другую должность в этой же или в другой компании. Можно сначала накопить какое-то количество месяцев стажа на этой должности, чтобы потом было легче найти работу, а пока заниматься чем-то что интересно самому. Вполне возможно, что человек, которого вы будете спрашивать не поймет чего вы хотите. Наверное для многих людей такая работа норм, они не пытаются искать в ней смысл. В любом случае, не нужно воспринимать окружающий идиотизм как данность, всё в ваших руках.
18 ноя 21, 07:45    [22397284]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Дикий Билл
Member

Откуда:
Сообщений: 9652
without_sad
Спустя несколько дней работы я разочаровался в предложенной работе.


Возможно первые дни предлагают самые простые задачи, чтобы втянулся.
18 ноя 21, 09:37    [22397302]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 157
Странные у вас там процессы, конечно. Если аналитики все до мелочей расписывают, то никакие ДЕ не нужны по хорошему. А так попахивает дурдомом.
18 ноя 21, 10:06    [22397311]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 157
without_sad

Мне казалось, что Data Engineer - это смесь DA/DE.

Фигня какая то. Датаинженеры налаживают поставку необходимых данных обычно, но никаким ДА не занимаются. Это работа аналитиков, а работа ДЕ придумать как необходимые данные добыть. Но это в нормальном месте, а у вас дурдом.
18 ноя 21, 10:09    [22397312]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Агрох
Member

Откуда:
Сообщений: 136
without_sad

Задачи: 90% - это создание ETL-процессов с помощью кастомного приложения, который преобразует SQL код в Scala.
От тебя требуется только настроить внутренние ETL-процесс с помощью местного приложения + Airflow, который уже тоже имеет километровые готовые конфиги.

Данные вообще не нужно анализировать. За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.
Сами сотрудники жалуются, что тратят время не на решение задачи, а на понимание, что им написали. Когда сама задача делается в 2 строки.


Работал почти один в один в такой же конторе около 2-х лет. Из плюсов только то, что научился работать с серьёзными ETL процессами с под сотню шагов, с распараллеливанием процессов и т.п. Ну и понял, что такое эта ваша бигдата.
В остальном - кодинг, навыки SQL, сплошная деградация из за отсутствия соответствующих задач.
По началу кормили сказками, что дескать могут появиться задачки на кодинг - по факту раз в несколько месяцев надо что то на питоне написать, за чем в очередь выстраиваются все разработчики команды.

Если фирма это GB - беги оттуда. Перспектив на улучшение нет. Либо попробуй перевестись в группу аналитиков - там хоть SQL будешь трогать. Но опять же - судя по тому, что аналитики нам передавали, там тоже всё готовыми шаблонами.
Другие работодатели, скорее всего, поймут, почему так мало там проработал, т.к. я честно на собесах называл причину увольнения и на желание дать мне оффер отрицательно это не сказывалось. Даже в фирмах с похожими задачами.

without_sad

От монотонности с ума не сойдешь?


Когда сидишь в офисе и хоть иногда с коллегами общаешься - ещё терпимо. Но вот когда нас перевел на удалёнку из-за ковида, я чуть кукухой не отъехал.
18 ноя 21, 10:44    [22397323]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Александр Бердышев
Member

Откуда: Санкт-Петербург
Сообщений: 419
Добро пожаловать в энтерпрайс)
А так да, писали выше отличную идею: можно найти 2ю работу - сплошной профит.
Как вариант - параллельно заниматься личным проектом в свободное время.
18 ноя 21, 11:21    [22397348]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Агрох
Member

Откуда:
Сообщений: 136
Александр Бердышев
Добро пожаловать в энтерпрайс)
А так да, писали выше отличную идею: можно найти 2ю работу - сплошной профит.
Как вариант - параллельно заниматься личным проектом в свободное время.


По опыту работы, идентичной описанной автором, работа рутинная, монотонная, но она есть и занимает полностью всё рабочее время. Скорее всего, как было в моём случае, ещё и по джире за каждый чих надо отчитываться, иногда поминутно.
Параллельно в данном случае, это вечером, после работы вместо отдыха и личных дел.
18 ноя 21, 11:30    [22397352]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4129
Ares_ekb
Можно так и спросить планируется ли вообще какая-то интеллектуальная работа кроме этой рутины. Можно предложить какие-то варианты избавления от рутины.

Можно автоматизировать рутину. Тот же python отлично для этого подходит.
18 ноя 21, 11:32    [22397355]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
Ares_ekb
Можно так и спросить планируется ли вообще какая-то интеллектуальная работа кроме этой рутины. Можно предложить какие-то варианты избавления от рутины.

Можно автоматизировать рутину. Тот же python отлично для этого подходит.

Можно. если она однотипно рутинная. А если каждый раз тупая, но разная -то чаще проще и быстрее руками сделать, чем на каждый раз отдельный скрипт писать
18 ноя 21, 11:53    [22397375]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4129
xerxf
Vyatich
пропущено...

Можно автоматизировать рутину. Тот же python отлично для этого подходит.

Можно. если она однотипно рутинная. А если каждый раз тупая, но разная -то чаще проще и быстрее руками сделать, чем на каждый раз отдельный скрипт писать

А по-моему всё как раз однотипно-тупо.

автор
За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.

Заполнить форму и сгенерить из неё трансформацию. И скорее всего там Аналитики уже присылают свои постановления в каком-то унифицированном формате, который можно распарсить. Поэтому первый этап тоже можно автоматизировать и не тратить на эту работу более двух минут в день.
Люди вон на трёх работах параллельно работают, ещё и на фондовом рынке успевают ворочать и кондо в калифорнии покупают на берегу тёплого тихого океана.
18 ноя 21, 12:11    [22397393]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
А вообще -энтерпрайз - это по моему нескончаемая боль. Особенно когда пошла мода на системных аналитиков. Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят. Не понятно на основание чего - на бизнесовые то требования программистам время тратить не кошерно - по моему их и в природе то зачастую не существует. А задачки нарезать рвутся вплоть до названия таблиц, функций и переменных. А квалификация у них часто... так себе. а задачки утверждены начальством. И то ли постоянно ходить скандалить, то ли плюнуть и писать откровенную лажу, утешая себя тем, что в конце концов это конторские деньги и если она хочет их платить за имитацию бурной деятельности - это её право..
и почему то уже который проект подряд эти аналитики считают себя пупом земли..
вот на текущем проекте - уже четвёртая команда пришла аналитиков. и четвёртая команда начала учить жить и писать требования переписать практически всё.. предыдущие три были такие же и их уже выгнали за полное отсутствие результатов. и где то в середине работы второй команды мне надоело воевать с ветряными мельницами.. по итогу - половину разработчиков свалили, вторая половина ждёт годовой премии, чтобы свалить.
и говорят - сейчас много где такой... волшебный процесс
18 ноя 21, 12:15    [22397394]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
И скорее всего там Аналитики уже присылают свои постановления в каком-то унифицированном формате, который можно распарсить.

ну если в унифиированном -то можно. а если в свободной форме, да ещё каждое постановление не дописано и полдня нужно выяснять, что они сказать хотели..

Сообщение было отредактировано: 18 ноя 21, 12:18
18 ноя 21, 12:18    [22397400]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich

Люди вон на трёх работах параллельно работают, ещё и на фондовом рынке успевают ворочать и кондо в калифорнии покупают на берегу тёплого тихого океана.

"Работать надо не по 16 часов, а головой" :-)
18 ноя 21, 12:21    [22397401]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4129
xerxf
Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят.

Справедливости ради, ещё в советское время в вычислительном центре (ВЦ) одного крупного предприятия существовал целый отдел постановки задач.

Сообщение было отредактировано: 18 ноя 21, 12:28
18 ноя 21, 12:24    [22397405]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Andromeda777
Member

Откуда: Петербург
Сообщений: 67
xerxf
А вообще -энтерпрайз - это по моему нескончаемая боль. Особенно когда пошла мода на системных аналитиков. Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят. Не понятно на основание чего - на бизнесовые то требования программистам время тратить не кошерно - по моему их и в природе то зачастую не существует. А задачки нарезать рвутся вплоть до названия таблиц, функций и переменных. А квалификация у них часто... так себе. а задачки утверждены начальством. И то ли постоянно ходить скандалить, то ли плюнуть и писать откровенную лажу, утешая себя тем, что в конце концов это конторские деньги и если она хочет их платить за имитацию бурной деятельности - это её право..
и почему то уже который проект подряд эти аналитики считают себя пупом земли..
вот на текущем проекте - уже четвёртая команда пришла аналитиков. и четвёртая команда начала учить жить и писать требования переписать практически всё.. предыдущие три были такие же и их уже выгнали за полное отсутствие результатов. и где то в середине работы второй команды мне надоело воевать с ветряными мельницами.. по итогу - половину разработчиков свалили, вторая половина ждёт годовой премии, чтобы свалить.
и говорят - сейчас много где такой... волшебный процесс


Переходите в стартап, правда тут мало денег, много работы. Но зато аналитиков у нас нет. Архитекторов у нас нет. Скрам мастеров у нас нет. Сами придумываем требования, сами рисуем архитектуру, даже иногда сами автотесты пишем, а бывает и вообще не пишем. Сами настраиваем CI/CD. Практически полная свобода самовыражения.
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.
18 ноя 21, 12:30    [22397410]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
xerxf
Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят.

Справедливости ради, ещё в советское время в вычислительном центре (ВЦ) одного крупного предприятия сушествовал отдел постановки задач.

Существовал. Но раньше мне как то всё больше встречались постановки задач с точки зрения бизнеса. А сейчас уже четвёртый проект на второй работе, где аналитики рвутся расписывать задачи с точки зрения программирования и низводить разработчиков до уровня машинистки, перепечатывающих их идеи. В первых двух проектах их удалось вернуть на грешную землю - проекты завершены. в одном не удалось - когда я уходил- уже полгода как все сроки прошли. И по последним сведениям - только сейчас проект сдают, по истечению полутора лет после начальных сроков. и на текущем проекте нет ни желания ни нервов с аналитиками воевать -переписываем третий раз уже ни разу не доведя до прода. но теперь уже под дикие вопли, что у нас нет времени и надо поднапрячься
18 ноя 21, 12:32    [22397412]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Andromeda777


Переходите в стартап, правда тут мало денег, много работы. Но зато аналитиков у нас нет. Архитекторов у нас нет. Скрам мастеров у нас нет. Сами придумываем требования, сами рисуем архитектуру, даже иногда сами автотесты пишем, а бывает и вообще не пишем. Сами настраиваем CI/CD. Практически полная свобода самовыражения.
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.


"Я бы уехал. А корова? А припасы на зиму?" (с) вообще - я думаю периодически об этом. но пока деньги сильно нужны.. ещё лет несколько. Ну я на второй отдыхаю :-) там хоть и тоже энтерпрайз, но начальник адекватный и главное - старомодный. без всех этих новомодных методик. и я вот там работаю набегами по вечерам и не каждый день - а выхлоп в разы больше, чем на основной
18 ноя 21, 12:36    [22397413]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4129
Andromeda777
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.

Это пройдёт. С возрастом приходит понимание, что работать, продавая своё время, лучше за деньги, а не за идею, модные технологии или хипстерский коллектив в режиме 16 часов в сутки, где позволяют самому в очередной 25-й раз настроить CI/CD.

Это однако не относится к случаю, когда вы совладелец или имеете там хорошую долю а также неплохие шансы вывести стартап в успешный успех. Тогда можно и рискнуть временем, нервами и здоровьем.
18 ноя 21, 12:38    [22397417]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
Andromeda777
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.

Это пройдёт. С возрастом приходит понимание, что работать, продавая своё время, лучше за деньги, а не за идею, модные технологии или хипстерский коллектив в режиме 16 часов в сутки, где позволяют самому в очередной 25-й раз настроить CI/CD.

Это однако не относится к случаю, когда вы совладелец или имеете там хорошую долю а также неплохие шансы вывести стартап в успешный успех. Тогда можно и рискнуть временем, нервами и здоровьем.

да, это проходит.. но иногда всё таки тянет назад, в нормальную разработку. Делом заниматься, а не в стотысячный раз сидеть на совещание и согласовывать перенос фронтэндерами кнопочки на 10 пикселей. при том, что ты бек и тебе на эту кнопочку глубоко наплевать..
18 ноя 21, 12:43    [22397420]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Andromeda777
Member

Откуда: Петербург
Сообщений: 67
Vyatich,

Просто деньги нужны, чтобы получать удовольствие от жизни плюс быть защищенным плюс минус.
Если у меня есть деньги для того, чтобы себя спокойно чувствовать, я могу позволить себе работать без всяких менеджеров, бюрократии и в интересной тематике для меня.
Просто для кого-то удовольствие - это провести время с семьей, для этого нужны дополнительные деньги.
Мне интереснее принять участие в чем-то прикольном, чем по парку гулять или в горы ездить.
18 ноя 21, 12:48    [22397422]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Работа Ответить