Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3      [все]
 Разочарование в новой работе  [new]
without_sad
Member

Откуда:
Сообщений: 3
Всем привет.
Трудоустроился на позицию Data Engineer.
Спустя несколько дней работы я разочаровался в предложенной работе.

Задачи: 90% - это создание ETL-процессов с помощью кастомного приложения, который преобразует SQL код в Scala.
От тебя требуется только настроить внутренние ETL-процесс с помощью местного приложения + Airflow, который уже тоже имеет километровые готовые конфиги.

Данные вообще не нужно анализировать. За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.
Сами сотрудники жалуются, что тратят время не на решение задачи, а на понимание, что им написали. Когда сама задача делается в 2 строки.

Мне казалось, что Data Engineer - это смесь DA/DE. Разве можно годами создавать только ETL процессы? От монотонности с ума не сойдешь? Аналитическими задачками хотя бы мозг держишь в тонусе. Банально понимаешь с какими данными работаешь.

Не говоря о том, что команда состоит из 10+ человек и они хотят разделиться на несколько мелких команд, которые будут заниматься только одним делом(т.к. иногда прилетают разные задачи) - devops задачи, dags для Airflow, scala/java.

Я зря расстраиваюсь и везде так, просто нужно забить и получать свою копейку?
17 ноя 21, 22:50    [22397223]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
priti40
Member

Откуда:
Сообщений: 121
https://www.sql.ru/forum/1340158/ishhem-dataengineer-rf

не сюда случайно ?
17 ноя 21, 23:52    [22397239]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Программист 1с
Member

Откуда: Москва
Сообщений: 9436
А кто Вам запрещает найти удаленно другую работу и там проявлять все свои умения?

А здесь да копеечку за 2 строки получать, раз больше ничего не нужно.
18 ноя 21, 00:11    [22397241]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
Программист 1с
А кто Вам запрещает найти удаленно другую работу и там проявлять все свои умения?

А здесь да копеечку за 2 строки получать, раз больше ничего не нужно.

+1
18 ноя 21, 00:16    [22397242]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Sergunka
Member

Откуда: Bay Area, CA
Сообщений: 2603
without_sad,

Airflow очень востребованый скилс на рынке. Там задач можно понапридумывать хоть пруд пруди. Мне лично Аирфло очень вкатило хороший и довольно простой тул и пользы от него дофига.
18 ноя 21, 05:45    [22397272]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ares_ekb
Member

Откуда: Екатеринбург
Сообщений: 1769
without_sad
Спустя несколько дней работы
without_sad
Разве можно годами
:)

Везде по-разному. Наверное аналитики могли бы сразу описывать правила преобразования данных на каком-нибудь DSL или в виде модели, из которой генерятся все нужные скрипты. Очевидно, что описывать это на русском языке, чтобы потом люди тратили время на дешифрацию этих постановок выглядит бредом.

Видимо они или не дошли до того, что рутину можно автоматизировать, или не хотят заморачиваться, проще посадить десяток человек и организовать для них процесс. Многие задачи могут быть решены техническим способом или организационным. У вас видимо пошли по второму пути.

Можно так и спросить планируется ли вообще какая-то интеллектуальная работа кроме этой рутины. Можно предложить какие-то варианты избавления от рутины. А лучше не предлагать, а попробовать сразу реализовать и предложить уже реализацию. Можно попробовать перейти на другую должность в этой же или в другой компании. Можно сначала накопить какое-то количество месяцев стажа на этой должности, чтобы потом было легче найти работу, а пока заниматься чем-то что интересно самому. Вполне возможно, что человек, которого вы будете спрашивать не поймет чего вы хотите. Наверное для многих людей такая работа норм, они не пытаются искать в ней смысл. В любом случае, не нужно воспринимать окружающий идиотизм как данность, всё в ваших руках.
18 ноя 21, 07:45    [22397284]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Дикий Билл
Member

Откуда:
Сообщений: 9652
without_sad
Спустя несколько дней работы я разочаровался в предложенной работе.


Возможно первые дни предлагают самые простые задачи, чтобы втянулся.
18 ноя 21, 09:37    [22397302]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 157
Странные у вас там процессы, конечно. Если аналитики все до мелочей расписывают, то никакие ДЕ не нужны по хорошему. А так попахивает дурдомом.
18 ноя 21, 10:06    [22397311]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 157
without_sad

Мне казалось, что Data Engineer - это смесь DA/DE.

Фигня какая то. Датаинженеры налаживают поставку необходимых данных обычно, но никаким ДА не занимаются. Это работа аналитиков, а работа ДЕ придумать как необходимые данные добыть. Но это в нормальном месте, а у вас дурдом.
18 ноя 21, 10:09    [22397312]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Агрох
Member

Откуда:
Сообщений: 136
without_sad

Задачи: 90% - это создание ETL-процессов с помощью кастомного приложения, который преобразует SQL код в Scala.
От тебя требуется только настроить внутренние ETL-процесс с помощью местного приложения + Airflow, который уже тоже имеет километровые готовые конфиги.

Данные вообще не нужно анализировать. За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.
Сами сотрудники жалуются, что тратят время не на решение задачи, а на понимание, что им написали. Когда сама задача делается в 2 строки.


Работал почти один в один в такой же конторе около 2-х лет. Из плюсов только то, что научился работать с серьёзными ETL процессами с под сотню шагов, с распараллеливанием процессов и т.п. Ну и понял, что такое эта ваша бигдата.
В остальном - кодинг, навыки SQL, сплошная деградация из за отсутствия соответствующих задач.
По началу кормили сказками, что дескать могут появиться задачки на кодинг - по факту раз в несколько месяцев надо что то на питоне написать, за чем в очередь выстраиваются все разработчики команды.

Если фирма это GB - беги оттуда. Перспектив на улучшение нет. Либо попробуй перевестись в группу аналитиков - там хоть SQL будешь трогать. Но опять же - судя по тому, что аналитики нам передавали, там тоже всё готовыми шаблонами.
Другие работодатели, скорее всего, поймут, почему так мало там проработал, т.к. я честно на собесах называл причину увольнения и на желание дать мне оффер отрицательно это не сказывалось. Даже в фирмах с похожими задачами.

without_sad

От монотонности с ума не сойдешь?


Когда сидишь в офисе и хоть иногда с коллегами общаешься - ещё терпимо. Но вот когда нас перевел на удалёнку из-за ковида, я чуть кукухой не отъехал.
18 ноя 21, 10:44    [22397323]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Александр Бердышев
Member

Откуда: Санкт-Петербург
Сообщений: 419
Добро пожаловать в энтерпрайс)
А так да, писали выше отличную идею: можно найти 2ю работу - сплошной профит.
Как вариант - параллельно заниматься личным проектом в свободное время.
18 ноя 21, 11:21    [22397348]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Агрох
Member

Откуда:
Сообщений: 136
Александр Бердышев
Добро пожаловать в энтерпрайс)
А так да, писали выше отличную идею: можно найти 2ю работу - сплошной профит.
Как вариант - параллельно заниматься личным проектом в свободное время.


По опыту работы, идентичной описанной автором, работа рутинная, монотонная, но она есть и занимает полностью всё рабочее время. Скорее всего, как было в моём случае, ещё и по джире за каждый чих надо отчитываться, иногда поминутно.
Параллельно в данном случае, это вечером, после работы вместо отдыха и личных дел.
18 ноя 21, 11:30    [22397352]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
Ares_ekb
Можно так и спросить планируется ли вообще какая-то интеллектуальная работа кроме этой рутины. Можно предложить какие-то варианты избавления от рутины.

Можно автоматизировать рутину. Тот же python отлично для этого подходит.
18 ноя 21, 11:32    [22397355]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
Ares_ekb
Можно так и спросить планируется ли вообще какая-то интеллектуальная работа кроме этой рутины. Можно предложить какие-то варианты избавления от рутины.

Можно автоматизировать рутину. Тот же python отлично для этого подходит.

Можно. если она однотипно рутинная. А если каждый раз тупая, но разная -то чаще проще и быстрее руками сделать, чем на каждый раз отдельный скрипт писать
18 ноя 21, 11:53    [22397375]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
xerxf
Vyatich
пропущено...

Можно автоматизировать рутину. Тот же python отлично для этого подходит.

Можно. если она однотипно рутинная. А если каждый раз тупая, но разная -то чаще проще и быстрее руками сделать, чем на каждый раз отдельный скрипт писать

А по-моему всё как раз однотипно-тупо.

автор
За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.

Заполнить форму и сгенерить из неё трансформацию. И скорее всего там Аналитики уже присылают свои постановления в каком-то унифицированном формате, который можно распарсить. Поэтому первый этап тоже можно автоматизировать и не тратить на эту работу более двух минут в день.
Люди вон на трёх работах параллельно работают, ещё и на фондовом рынке успевают ворочать и кондо в калифорнии покупают на берегу тёплого тихого океана.
18 ноя 21, 12:11    [22397393]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
А вообще -энтерпрайз - это по моему нескончаемая боль. Особенно когда пошла мода на системных аналитиков. Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят. Не понятно на основание чего - на бизнесовые то требования программистам время тратить не кошерно - по моему их и в природе то зачастую не существует. А задачки нарезать рвутся вплоть до названия таблиц, функций и переменных. А квалификация у них часто... так себе. а задачки утверждены начальством. И то ли постоянно ходить скандалить, то ли плюнуть и писать откровенную лажу, утешая себя тем, что в конце концов это конторские деньги и если она хочет их платить за имитацию бурной деятельности - это её право..
и почему то уже который проект подряд эти аналитики считают себя пупом земли..
вот на текущем проекте - уже четвёртая команда пришла аналитиков. и четвёртая команда начала учить жить и писать требования переписать практически всё.. предыдущие три были такие же и их уже выгнали за полное отсутствие результатов. и где то в середине работы второй команды мне надоело воевать с ветряными мельницами.. по итогу - половину разработчиков свалили, вторая половина ждёт годовой премии, чтобы свалить.
и говорят - сейчас много где такой... волшебный процесс
18 ноя 21, 12:15    [22397394]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
И скорее всего там Аналитики уже присылают свои постановления в каком-то унифицированном формате, который можно распарсить.

ну если в унифиированном -то можно. а если в свободной форме, да ещё каждое постановление не дописано и полдня нужно выяснять, что они сказать хотели..

Сообщение было отредактировано: 18 ноя 21, 12:18
18 ноя 21, 12:18    [22397400]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich

Люди вон на трёх работах параллельно работают, ещё и на фондовом рынке успевают ворочать и кондо в калифорнии покупают на берегу тёплого тихого океана.

"Работать надо не по 16 часов, а головой" :-)
18 ноя 21, 12:21    [22397401]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
xerxf
Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят.

Справедливости ради, ещё в советское время в вычислительном центре (ВЦ) одного крупного предприятия существовал целый отдел постановки задач.

Сообщение было отредактировано: 18 ноя 21, 12:28
18 ноя 21, 12:24    [22397405]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Andromeda777
Member

Откуда: Петербург
Сообщений: 68
xerxf
А вообще -энтерпрайз - это по моему нескончаемая боль. Особенно когда пошла мода на системных аналитиков. Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят. Не понятно на основание чего - на бизнесовые то требования программистам время тратить не кошерно - по моему их и в природе то зачастую не существует. А задачки нарезать рвутся вплоть до названия таблиц, функций и переменных. А квалификация у них часто... так себе. а задачки утверждены начальством. И то ли постоянно ходить скандалить, то ли плюнуть и писать откровенную лажу, утешая себя тем, что в конце концов это конторские деньги и если она хочет их платить за имитацию бурной деятельности - это её право..
и почему то уже который проект подряд эти аналитики считают себя пупом земли..
вот на текущем проекте - уже четвёртая команда пришла аналитиков. и четвёртая команда начала учить жить и писать требования переписать практически всё.. предыдущие три были такие же и их уже выгнали за полное отсутствие результатов. и где то в середине работы второй команды мне надоело воевать с ветряными мельницами.. по итогу - половину разработчиков свалили, вторая половина ждёт годовой премии, чтобы свалить.
и говорят - сейчас много где такой... волшебный процесс


Переходите в стартап, правда тут мало денег, много работы. Но зато аналитиков у нас нет. Архитекторов у нас нет. Скрам мастеров у нас нет. Сами придумываем требования, сами рисуем архитектуру, даже иногда сами автотесты пишем, а бывает и вообще не пишем. Сами настраиваем CI/CD. Практически полная свобода самовыражения.
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.
18 ноя 21, 12:30    [22397410]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
xerxf
Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят.

Справедливости ради, ещё в советское время в вычислительном центре (ВЦ) одного крупного предприятия сушествовал отдел постановки задач.

Существовал. Но раньше мне как то всё больше встречались постановки задач с точки зрения бизнеса. А сейчас уже четвёртый проект на второй работе, где аналитики рвутся расписывать задачи с точки зрения программирования и низводить разработчиков до уровня машинистки, перепечатывающих их идеи. В первых двух проектах их удалось вернуть на грешную землю - проекты завершены. в одном не удалось - когда я уходил- уже полгода как все сроки прошли. И по последним сведениям - только сейчас проект сдают, по истечению полутора лет после начальных сроков. и на текущем проекте нет ни желания ни нервов с аналитиками воевать -переписываем третий раз уже ни разу не доведя до прода. но теперь уже под дикие вопли, что у нас нет времени и надо поднапрячься
18 ноя 21, 12:32    [22397412]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Andromeda777


Переходите в стартап, правда тут мало денег, много работы. Но зато аналитиков у нас нет. Архитекторов у нас нет. Скрам мастеров у нас нет. Сами придумываем требования, сами рисуем архитектуру, даже иногда сами автотесты пишем, а бывает и вообще не пишем. Сами настраиваем CI/CD. Практически полная свобода самовыражения.
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.


"Я бы уехал. А корова? А припасы на зиму?" (с) вообще - я думаю периодически об этом. но пока деньги сильно нужны.. ещё лет несколько. Ну я на второй отдыхаю :-) там хоть и тоже энтерпрайз, но начальник адекватный и главное - старомодный. без всех этих новомодных методик. и я вот там работаю набегами по вечерам и не каждый день - а выхлоп в разы больше, чем на основной
18 ноя 21, 12:36    [22397413]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
Andromeda777
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.

Это пройдёт. С возрастом приходит понимание, что работать, продавая своё время, лучше за деньги, а не за идею, модные технологии или хипстерский коллектив в режиме 16 часов в сутки, где позволяют самому в очередной 25-й раз настроить CI/CD.

Это однако не относится к случаю, когда вы совладелец или имеете там хорошую долю а также неплохие шансы вывести стартап в успешный успех. Тогда можно и рискнуть временем, нервами и здоровьем.
18 ноя 21, 12:38    [22397417]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Vyatich
Andromeda777
Иногда мое тело просится обратно в теплое лоно какой-нибудь галеры. Эх, где еще спишешь 15 часов в неделю на проведение интервью.

Это пройдёт. С возрастом приходит понимание, что работать, продавая своё время, лучше за деньги, а не за идею, модные технологии или хипстерский коллектив в режиме 16 часов в сутки, где позволяют самому в очередной 25-й раз настроить CI/CD.

Это однако не относится к случаю, когда вы совладелец или имеете там хорошую долю а также неплохие шансы вывести стартап в успешный успех. Тогда можно и рискнуть временем, нервами и здоровьем.

да, это проходит.. но иногда всё таки тянет назад, в нормальную разработку. Делом заниматься, а не в стотысячный раз сидеть на совещание и согласовывать перенос фронтэндерами кнопочки на 10 пикселей. при том, что ты бек и тебе на эту кнопочку глубоко наплевать..
18 ноя 21, 12:43    [22397420]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Andromeda777
Member

Откуда: Петербург
Сообщений: 68
Vyatich,

Просто деньги нужны, чтобы получать удовольствие от жизни плюс быть защищенным плюс минус.
Если у меня есть деньги для того, чтобы себя спокойно чувствовать, я могу позволить себе работать без всяких менеджеров, бюрократии и в интересной тематике для меня.
Просто для кого-то удовольствие - это провести время с семьей, для этого нужны дополнительные деньги.
Мне интереснее принять участие в чем-то прикольном, чем по парку гулять или в горы ездить.
18 ноя 21, 12:48    [22397422]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
Andromeda777
Мне интереснее принять участие в чем-то прикольном, чем по парку гулять или в горы ездить.

Мне интереснее полетать на планере в выходные или погулять в горы после работы (они тут недалеко), нежели добавлять по вечерам ещё одну killer-фичу для продукта инвестора. А для дополнительной реализации есть open-source проект, недавно вот получил от них даже Contributor Gift.
18 ноя 21, 13:00    [22397430]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
круто, когда мотивации хватает на open-source. мне вот с одной стороны тоскливо в кровавом, а с другой за просто так что то писать лень...по итогу - вся жизнь - сплошной день сурка. взвыл от тоски - нашёл ненапряжную подработку - через некоторое время там вошли во вкус накидывания задач - взвыл от нагрузки - бросил подработки - взвыл от тоски...
18 ноя 21, 13:12    [22397441]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
priti40
Member

Откуда:
Сообщений: 121
Vyatich
есть open-source проект, недавно вот получил от них даже Contributor Gift.


Кинь ссылку на гитхаб
18 ноя 21, 13:13    [22397443]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
priti40
Member

Откуда:
Сообщений: 121
xerxf
взвыл от тоски...


Поныл на форуме - взвыл от тоски :)
18 ноя 21, 13:16    [22397452]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Andromeda777
Member

Откуда: Петербург
Сообщений: 68
xerxf
круто, когда мотивации хватает на open-source. мне вот с одной стороны тоскливо в кровавом, а с другой за просто так что то писать лень...по итогу - вся жизнь - сплошной день сурка. взвыл от тоски - нашёл ненапряжную подработку - через некоторое время там вошли во вкус накидывания задач - взвыл от нагрузки - бросил подработки - взвыл от тоски...

Не обижайтесь, но скорее всего дело в здоровье.
Мне вот в кайф и на бесполезном митинге посидеть на галере, можно почувствовать прямо детскую беззаботность, а иногда здорово и заниматься чем-то сложным и непонятным. Дело не в работе, а в хорошем настроении по жизни. А хорошее здоровье - это обычно хорошее настроение.
18 ноя 21, 13:17    [22397454]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
priti40
Vyatich
есть open-source проект, недавно вот получил от них даже Contributor Gift.


Кинь ссылку на гитхаб

Сразу после ссылки на твой передовой "стартап".
18 ноя 21, 13:23    [22397455]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 9478
как у ТС хорошо настроены процессы, хорошо для бизнеса конечно, а не для него
все чотко, аналитики анализируют, кодеры кодят, админы админят, никаких многоруких шив, можно заменить любой винтик в любой момент, такое большая редкость, мне понравилась такая организация. Но сам бы не стал там работать, не потому что скучно, а потому что за такую рутину обычно мало платят. Как уже сказали выше с возрастом приходит, что за хорошие деньги я даже улицу готов мести, вопрос цены.
18 ноя 21, 13:45    [22397474]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
xerxf
круто, когда мотивации хватает на open-source. мне вот с одной стороны тоскливо в кровавом, а с другой за просто так что то писать лень...по итогу - вся жизнь - сплошной день сурка. взвыл от тоски - нашёл ненапряжную подработку - через некоторое время там вошли во вкус накидывания задач - взвыл от нагрузки - бросил подработки - взвыл от тоски...

У вас есть хобби? Если нет - найдите чем бы вам хотелось заниматься, желательно не связанное с компьютером. Помогает переключаться и не выгорать.
18 ноя 21, 13:48    [22397477]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
priti40
Member

Откуда:
Сообщений: 121
Vyatich
У вас есть хобби?


Твое хобби SQL.RU :)
18 ноя 21, 13:58    [22397485]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
stdio
Member

Откуда:
Сообщений: 4562
without_sad
...
Я зря расстраиваюсь и везде так, просто нужно забить и получать свою копейку?
Мне кажется, что нужно найти нормального клинического психолога.
18 ноя 21, 14:08    [22397493]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
priti40
Member

Откуда:
Сообщений: 121
stdio
without_sad
...
Я зря расстраиваюсь и везде так, просто нужно забить и получать свою копейку?
Мне кажется, что нужно найти нормального клинического психолога.


Угу, впасть от него в зависимость

Потратить уйму денег

И понять что все эти психологи - просто хотят бабла )
18 ноя 21, 14:19    [22397504]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
without_sad
Member

Откуда:
Сообщений: 3
Спасибо за ответы.

Может быть я просто неправильно выбрал направление?
Мне нравится в SQL делать различные аналитические задачи(ad-hoc), превращать данные в единый вид. Применять Python. Например, существует единый реестр банкротов. У нас есть список лиц, который нужно проверить на наличие банкротов в этом реестре. Из этого можно делать DAG в Airflow, т.к. задача периодическая.

Вот таких мелких, различных задач было много. Не даешь утонуть себе в рутине.

Но не хватало денег для жизни, а никто не хотел повышать, поэтому пришлось уйти.

Думал, что Data Engineer выполняет похожие задачи.

Может мне вакансию Data Analyst нужно искать?

Сообщение было отредактировано: 18 ноя 21, 15:10
18 ноя 21, 15:09    [22397535]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
without_sad
Может мне вакансию Data Analyst нужно искать?

Не нужно.
18 ноя 21, 15:14    [22397539]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
without_sad
Member

Откуда:
Сообщений: 3
Vyatich
xerxf
пропущено...

Можно. если она однотипно рутинная. А если каждый раз тупая, но разная -то чаще проще и быстрее руками сделать, чем на каждый раз отдельный скрипт писать

А по-моему всё как раз однотипно-тупо.

автор
За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).
Не говоря о том, что эти аналитические постановления отдельные задачи, которые нужно уметь расшифровывать:
Целью трансформации является формирование в составе результирующей коллекции А элементов, образованных копированием исходных элементов входной коллекции Б. Для этого необходимо для каждого элемента Поле в составе входной коллекции Б сформировать и добавить в состав результирующей коллекции А новый элемент Поле_копия.

Заполнить форму и сгенерить из неё трансформацию. И скорее всего там Аналитики уже присылают свои постановления в каком-то унифицированном формате, который можно распарсить. Поэтому первый этап тоже можно автоматизировать и не тратить на эту работу более двух минут в день.
Люди вон на трёх работах параллельно работают, ещё и на фондовом рынке успевают ворочать и кондо в калифорнии покупают на берегу тёплого тихого океана.


В этом и проблема, что каждый аналитик пишет по своему. Даже наставник в проброс сообщил, что данные в аналитике чаще будут каждый раз по разному описаны. Поспрашивал у коллег на счет всей этой ситуации, кому-то нравится, когда все действия за него написаны.

Ниже видел сообщение, что в таких отлаженных системах платят ниже среднего. Да, тимлид сообщил в самый первый день, что их компания не так много предлагает денег, но я пропустил это мимо ушей. Т.к. предложенная ЗП меня устроила.
18 ноя 21, 15:27    [22397547]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
stdio
Member

Откуда:
Сообщений: 4562
priti40
stdio
пропущено...
Мне кажется, что нужно найти нормального клинического психолога.


Угу, впасть от него в зависимость

Потратить уйму денег

И понять что все эти психологи - просто хотят бабла )
Да-да-да.
Хочешь об этом поговорить?
18 ноя 21, 18:25    [22397662]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
localhost8080
Member [заблокирован]

Откуда:
Сообщений: 193
without_sad


Данные вообще не нужно анализировать. За тебя уже все сделали Аналитики. Расписали какие поля нужны, какие таблицы джойнить и как их джойнить (left, inner).

радуйся этому ,пока не попал туда где например я - помимо разработки бек энд части приложения я наверно половину рабочего времени трачу на аналитику предментых областей.Фактически прокачиваешь скилы не прогера ,а аналитика - ну такое себе
и на ворпос давайте наймем аналитика - категорический отказ- с пояснением - наши разрабы должны разбираться в предментой области

насколько это выгодно для бизнеса не понятно - сидит разраб с достаточно высокой зп и вместо того,чтобы свои знания применять - тыкает в кнопкочки разные - изучает предментую область) - для меня это если честно не очень понятно и да,тебе повезло если у вас сильные аналитики - ты можешь спокойно заниматься тем,кто ты есть - программированием

Сообщение было отредактировано: 18 ноя 21, 21:23
18 ноя 21, 21:20    [22397693]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
localhost8080

радуйся этому ,пока не попал туда где например я - помимо разработки бек энд части приложения я наверно половину рабочего времени трачу на аналитику предментых областей.Фактически прокачиваешь скилы не прогера ,а аналитика - ну такое себе
и на ворпос давайте наймем аналитика - категорический отказ- с пояснением - наши разрабы должны разбираться в предментой области

насколько это выгодно для бизнеса не понятно - сидит разраб с достаточно высокой зп и вместо того,чтобы свои знания применять - тыкает в кнопкочки разные - изучает предментую область) - для меня это если честно не очень понятно и да,тебе повезло если у вас сильные аналитики - ты можешь спокойно заниматься тем,кто ты есть - программированием

хм.... а как же "хаха чего бы я рефлексировал? у меня работа в продуктовой тиме с нулем бюрократии ,с зп выше в два раза чем может предложить твой епум,при этом все мои таски максимально нестандартны - я выполняю по факту роль всей IT цепочки от аналтика до тестировщика
и получаю колосальный опыт ,вместо того чтобы сидеть на банковском проекте епам и быть фактически наборщиком готового кода по спекам ,которые тебе спускают аналитики" ?
18 ноя 21, 21:29    [22397694]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
localhost8080
Member [заблокирован]

Откуда:
Сообщений: 193
xerxf
localhost8080

радуйся этому ,пока не попал туда где например я - помимо разработки бек энд части приложения я наверно половину рабочего времени трачу на аналитику предментых областей.Фактически прокачиваешь скилы не прогера ,а аналитика - ну такое себе
и на ворпос давайте наймем аналитика - категорический отказ- с пояснением - наши разрабы должны разбираться в предментой области

насколько это выгодно для бизнеса не понятно - сидит разраб с достаточно высокой зп и вместо того,чтобы свои знания применять - тыкает в кнопкочки разные - изучает предментую область) - для меня это если честно не очень понятно и да,тебе повезло если у вас сильные аналитики - ты можешь спокойно заниматься тем,кто ты есть - программированием

хм.... а как же "хаха чего бы я рефлексировал? у меня работа в продуктовой тиме с нулем бюрократии ,с зп выше в два раза чем может предложить твой епум,при этом все мои таски максимально нестандартны - я выполняю по факту роль всей IT цепочки от аналтика до тестировщика
и получаю колосальный опыт ,вместо того чтобы сидеть на банковском проекте епам и быть фактически наборщиком готового кода по спекам ,которые тебе спускают аналитики" ?

так ты читал что я пишу то? я со стороны бизнеса не понимаю этого прикола- когда разраба с зп 350 к сажают делать аналитику ,когда аналитик стоит 100
18 ноя 21, 22:01    [22397710]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
localhost8080
Member [заблокирован]

Откуда:
Сообщений: 193
xerxf

и получаю колосальный опыт ,вместо того чтобы сидеть на банковском проекте епам и быть фактически наборщиком готового кода по спекам ,которые тебе спускают аналитики" ?

ну и что тут из написанного неправда? мы реально получаем колосальный опыт,работая в продуктовой тиме- так как через нас проходят все стадии разработки проекта,другое дело что за то ,чтобы делал аналитик за 100 нам платят в 4 раза больше - я не против )
18 ноя 21, 22:05    [22397713]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Агрох
Member

Откуда:
Сообщений: 136
localhost8080
тебе повезло если у вас сильные аналитики - ты можешь спокойно заниматься тем,кто ты есть - программированием


Кхм. По моему ты не понял, как выглядит такая работа.
Опять же, по моему опыту, который насколько я могу судить идентичен примеру ТС, выглядит это так:
- Приходит набор готовых запросов SQL.
- Путём копипасты эти готовые запросы вставляются в ETL (занимает до 30% всей работы из за ограничений системы)
- Затем по определённым шаблонам (буквально с десяток) настраивается ETL - материализации, выделение памяти, приоритеты, и т.д. и т.п. (25% работы)
- Затем создаётся инструкция внедрения, чтобы ничего не забыть самому и чтобы другие знали что и как делать, если внедрять на прод будет другой человек. Отрабатывается внедрение на препроде. (10% работы)
- Собственно внедрение, согласование работ с несколькими службами и т.п. (15% работы)
- Ну и оставшееся время изредка написание каких то примитивных, но объёмных скриптов на внутреннем языке ETL системы, ещё реже на чём то внешнем типа питона.
И это практически 100% всех задач на должности.

Где тут программирование?

Сообщение было отредактировано: 19 ноя 21, 10:08
19 ноя 21, 10:08    [22397818]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
L_argo
Member

Откуда:
Сообщений: 1556
- Если бы я был королём, я бы жил лучше короля !
- ???
- Я бы еще немного шил.
(с) анек про еврея портного
19 ноя 21, 10:24    [22397827]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
bantik
Member

Откуда:
Сообщений: 516
localhost8080

радуйся этому ,пока не попал туда где например я - помимо разработки бек энд части приложения я наверно половину рабочего времени трачу на аналитику предментых областей.Фактически прокачиваешь скилы не прогера ,а аналитика - ну такое себе
и на ворпос давайте наймем аналитика - категорический отказ- с пояснением - наши разрабы должны разбираться в предментой области


Опять "эффективные манагеры" хотят получить молоко без коровы. Казалось бы - ну раскрути задачу от обратного -- чтобы решить то-то надо знать то-то , и когда уже дерево знаний закончится - построй их в правильном порядке - и прокачивай программиста ЗАРАНЕЕ. Будет все последовательно, от простого к сложному и методически верно.. Ну как минимум на самооценку бить не будет. Но получается и сам начальники не могут такой процесс выстроить и просто валят на голову сотрудника в стиле "ты должен..." В конце концов можно без системного обучения заблудиться и искренне пойти не по тому пути.. Попробуйте для примера закрыть глаза и попытаться пройти допустим из кухни в туалет. Шишек соберете массу и скорость будет наошупь как у черепахи, хотя по идее квартира ваша и вам знакома. Так и знание и самообучение - знания - те же открытые глаза, и ими надо пользоваться правильно и вовремя
19 ноя 21, 10:40    [22397837]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
PsyMisha
Member

Откуда: другая столица
Сообщений: 853
Sintetik
как у ТС хорошо настроены процессы, хорошо для бизнеса конечно, а не для него
все чотко, аналитики анализируют, кодеры кодят, админы админят, никаких многоруких шив, можно заменить любой винтик в любой момент


Пожалуй, соглашусь с этим мнением применительно к данной, описываемой позиции
19 ноя 21, 11:56    [22397875]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Ибн Хоттаб
Member

Откуда: Den marsianske sosialistiske sovjetrepublikk
Сообщений: 676
Было у меня когда-то почти такое же. "Если образец не найден в нашей базе, пойди в *список из 16 других баз, в такой то последовательности* и попытайся найти образец там, используя разное написание, большие/маленькие буквы, транслит, замена цифр словами и наоборот, если образец все равно не нашелся, эскалируй на исследователей". Результат: написал скрипты на питоне, которые делали ровно как написано в инструкции, только не час-два на образец, как если ей следовать, а 3 минуты на все образцы утром. Остальное время занимался своими делами, улучшал скрипты, сделал их еще умнее инструкции, в результате эскалации от меня вообще исчезли, поднял Питон, что потом пригодилось, много читал. :)
Когда уходил начальнику отдал наработки, думал он обрадуется, а он наоборот расстроился, покраснел, упер лицо в руки, и причитал "если бы я знал раньше что у нас такие скрипты есть, если бы я знал раньше". Я не приувеличиваю, его натянули буквально перед моим уходом за низкую производительность отдела и низкое качество получаемых данных, образцы то не все через меня шли, а с коллегами я естественно не делился тем что не лажу как обезьяна по базам с утра до вечера.
19 ноя 21, 14:04    [22397947]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
xerxf
Member

Откуда:
Сообщений: 362
Ибн Хоттаб
Было у меня когда-то почти такое же. "Если образец не найден в нашей базе, пойди в *список из 16 других баз, в такой то последовательности* и попытайся найти образец там, используя разное написание, большие/маленькие буквы, транслит, замена цифр словами и наоборот, если образец все равно не нашелся, эскалируй на исследователей". Результат: написал скрипты на питоне, которые делали ровно как написано в инструкции, только не час-два на образец, как если ей следовать, а 3 минуты на все образцы утром. Остальное время занимался своими делами, улучшал скрипты, сделал их еще умнее инструкции, в результате эскалации от меня вообще исчезли, поднял Питон, что потом пригодилось, много читал. :)
Когда уходил начальнику отдал наработки, думал он обрадуется, а он наоборот расстроился, покраснел, упер лицо в руки, и причитал "если бы я знал раньше что у нас такие скрипты есть, если бы я знал раньше". Я не приувеличиваю, его натянули буквально перед моим уходом за низкую производительность отдела и низкое качество получаемых данных, образцы то не все через меня шли, а с коллегами я естественно не делился тем что не лажу как обезьяна по базам с утра до вечера.

ну такую инструкцию не автоматизировать грех. А вот задания типа - у нас было принято решение переделать структуру базы данных, мы уже сходили к начальству и он выдал указание это срочно сделать. а через месяц - да, ты был прав. Структура, которая мы придумали и утвердили абсолютно кривая. Но то, на чём ты настаивал, тоже нам не нравится(зря что ли мы собирали многочасовые совещания с привлечением всех. до кого могли дотянуться и забалтывали тебя до состояния - да делайте что хотите, только отвяжитесь). мы обсудили с начальником и нужно переделать структуру вот так. ну и соответственно поехала логика в нескольких сервисах. Работа абсолютно тупая. Муторная. Как формализовать и автоматизировать - непонятно. нужно ли автоматизировать или желание весь мир разрушить и переделать заново аналитиков и начальство отпустило - непонятно.

Сообщение было отредактировано: 19 ноя 21, 15:35
19 ноя 21, 15:33    [22398006]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
DaniilSeryi
Member

Откуда:
Сообщений: 2088
xerxf
А вообще -энтерпрайз - это по моему нескончаемая боль. Особенно когда пошла мода на системных аналитиков. Раньше были аналитики, которые соберут требование и тз напишут. ну или даже сами собирали требования. а сейчас программисты типа дорогие.. их защищают от не профильной работы. и придумали специально обученных людей, которые уже не ТЗ пишут а задачи ставят. Не понятно на основание чего - на бизнесовые то требования программистам время тратить не кошерно - по моему их и в природе то зачастую не существует. А задачки нарезать рвутся вплоть до названия таблиц, функций и переменных. А квалификация у них часто... так себе. а задачки утверждены начальством. И то ли постоянно ходить скандалить, то ли плюнуть и писать откровенную лажу, утешая себя тем, что в конце концов это конторские деньги и если она хочет их платить за имитацию бурной деятельности - это её право..
и почему то уже который проект подряд эти аналитики считают себя пупом земли..
вот на текущем проекте - уже четвёртая команда пришла аналитиков. и четвёртая команда начала учить жить и писать требования переписать практически всё.. предыдущие три были такие же и их уже выгнали за полное отсутствие результатов. и где то в середине работы второй команды мне надоело воевать с ветряными мельницами.. по итогу - половину разработчиков свалили, вторая половина ждёт годовой премии, чтобы свалить.
и говорят - сейчас много где такой... волшебный процесс


Да пускай бы их нарезали до названий таблиц...
Тут прислали задачу - откуда данные брать - непонятно, имена таблиц-справочников неизвестны, при этом возможно аж несколько толкований того, что заказчик хочет... ПЦ, короче.
19 ноя 21, 17:52    [22398070]     Ответить | Цитировать Сообщить модератору
 Re: Разочарование в новой работе  [new]
Vyatich
Member

Откуда:
Сообщений: 4130
Ибн Хоттаб
Было у меня когда-то почти такое же. "Если образец не найден в нашей базе, пойди в *список из 16 других баз, в такой то последовательности* и попытайся найти образец там, используя разное написание, большие/маленькие буквы, транслит, замена цифр словами и наоборот, если образец все равно не нашелся, эскалируй на исследователей". Результат: написал скрипты на питоне, которые делали ровно как написано в инструкции, только не час-два на образец, как если ей следовать, а 3 минуты на все образцы утром. Остальное время занимался своими делами, улучшал скрипты, сделал их еще умнее инструкции, в результате эскалации от меня вообще исчезли, поднял Питон, что потом пригодилось, много читал. :)
Когда уходил начальнику отдал наработки, думал он обрадуется, а он наоборот расстроился, покраснел, упер лицо в руки, и причитал "если бы я знал раньше что у нас такие скрипты есть, если бы я знал раньше". Я не приувеличиваю, его натянули буквально перед моим уходом за низкую производительность отдела и низкое качество получаемых данных, образцы то не все через меня шли, а с коллегами я естественно не делился тем что не лажу как обезьяна по базам с утра до вечера.

То, что автоматизировал этот шит, написал скрипты и (самое главное) никому не сказал - конечно красавчик, а то "мы тебе щас работу ещё найдём".
Но вот то, что для начальника отдела разработки является откровением, что поиск образца в базе можно автоматизировать (хоть тем же Питоном), говорит о том, что человек явно был не на своём месте и натянули его вполне по делу.
20 ноя 21, 12:50    [22398288]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3      [все]
Все форумы / Работа Ответить