Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
 Data Engineer - что за зверь такой?  [new]
Smita
Member

Откуда:
Сообщений: 103
Что это по факту?
Да, я знаю. Есть в инете куча красивеньких картинок, которые демонстрируют его обязанности и навыки (по сравнению с тем же data analyst или data scientist)

Ребрендинг старого доброго DBA?
Типа как админы всё дружно стали модными и хипстерскими DevOps-ами?

В российских реалиях чем придётся заниматься сабжу?
И насколько денежно и интересно будет по сравнению веб-формошлёпством senior developer
22 окт 19, 11:30    [21999643]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Interloper
Member

Откуда: Москва
Сообщений: 520
Smita,

Data engineer собирает данные, преобразовывает их и обеспечивает к ним доступ для последующей работы с данными аналитиками и дата сайентистами.
22 окт 19, 13:09    [21999775]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 32455
Блог
разработчик ХД
22 окт 19, 13:10    [21999778]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Алекссс
Member

Откуда:
Сообщений: 1985
Interloper
собирает данные, преобразовывает их и обеспечивает к ним доступ

то есть пишет инсерты, апдейты и запросы Картинка с другого сайта.
22 окт 19, 13:12    [21999781]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 29538
Smita
Ребрендинг старого доброго DBA?
Как я понимаю, это DBA и DB Developer в одном лице.
В принципе да, это DBA, как его всегда понимали, то есть занимающийся не только чистым администрированием, но и программированием.
По мере усиления специализации (DBA стали админить сотни серверов, и уже не программируют), придумали роль Data Engineer - он занимается не сотнями систем, а небольшим количеством, или даже одной, которая может быть сложной, и он занимается всей цепочкой.
22 окт 19, 13:19    [21999787]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Wizandr
Member

Откуда: Империя Добра
Сообщений: 36953
Smita,

Data Engineer это что-то вроде эникейщика в области данных
следит за бекапами, за тем что бы не падали etl джобы
делает кастомные выгрузки для пользователей
проверяет отчетики если данные не бьются
мольчик на побегушках в общем
22 окт 19, 13:30    [21999801]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Interloper
Member

Откуда: Москва
Сообщений: 520
alexeyvg
Smita
Ребрендинг старого доброго DBA?
Как я понимаю, это DBA и DB Developer в одном лице.
В принципе да, это DBA, как его всегда понимали, то есть занимающийся не только чистым администрированием, но и программированием.
По мере усиления специализации (DBA стали админить сотни серверов, и уже не программируют), придумали роль Data Engineer - он занимается не сотнями систем, а небольшим количеством, или даже одной, которая может быть сложной, и он занимается всей цепочкой.


Данные это не только про классические БД. В стек дата инженера входят так же все эти хадупы, спарки и тд. Так что это далеко за пределами dba и db dev.
22 окт 19, 13:55    [21999834]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2361
советую пользоваться телегой по всем новым(в последние двадцать лет ) движухам

вот чат дата инженеров

t.me/hadoopusers

на этом форуме последне актуальное, что обсуждается - это Delphi 7
22 окт 19, 14:00    [21999839]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26791
Interloper
alexeyvg
пропущено...
Как я понимаю, это DBA и DB Developer в одном лице.
В принципе да, это DBA, как его всегда понимали, то есть занимающийся не только чистым администрированием, но и программированием.
По мере усиления специализации (DBA стали админить сотни серверов, и уже не программируют), придумали роль Data Engineer - он занимается не сотнями систем, а небольшим количеством, или даже одной, которая может быть сложной, и он занимается всей цепочкой.


Данные это не только про классические БД. В стек дата инженера входят так же все эти хадупы, спарки и тд. Так что это далеко за пределами dba и db dev.

+1

имхо достаточно на HH отобрать вакансии от 300 тыр., чтобы понять, что по сравнению с веб-формошлёпством это более денежно, но с опытом последнего туда просто не возьмут
22 окт 19, 14:13    [21999860]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 29538
Interloper
alexeyvg
пропущено...
Как я понимаю, это DBA и DB Developer в одном лице.
В принципе да, это DBA, как его всегда понимали, то есть занимающийся не только чистым администрированием, но и программированием.
По мере усиления специализации (DBA стали админить сотни серверов, и уже не программируют), придумали роль Data Engineer - он занимается не сотнями систем, а небольшим количеством, или даже одной, которая может быть сложной, и он занимается всей цепочкой.
Данные это не только про классические БД. В стек дата инженера входят так же все эти хадупы, спарки и тд. Так что это далеко за пределами dba и db dev.
Стек дата инженера всё таки зависит от стека, используемого в компании.

И стек DBA тоже: Sr Hadoop DBA
22 окт 19, 14:35    [21999910]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 29538
alexeyvg
Interloper
пропущено...
Данные это не только про классические БД. В стек дата инженера входят так же все эти хадупы, спарки и тд. Так что это далеко за пределами dba и db dev.
Стек дата инженера всё таки зависит от стека, используемого в компании.

И стек DBA тоже: Sr Hadoop DBA
Подчеркну, Data Engineer - это именно реакция на появление узкоспециализированных DBA

DBA всегда занимался, как пишет skyANA, формошлёпством. IBM-формошлёпы, Oracle-формошлёпы, Hadoop-формошлёпы. Он отвечал за всю цепочку - диски, процессоры, запросы, выгрузки, процессы обслуживания, аналитические запросы для начальства. Такой "дата-эникейщик".

Но потом, для снижения издержек, появились дешёвые DBA, которые кнопочкой администрируют сотни типовых серверов, притом все проблемы решаются накатом зеркала, переустановкой и т.п., потому что даже дешёвый DBA стоит намного дороже дорогого железа. Они не делают запросы для начальства, потому что для этого требуется универсал, пенсионер, с опытом, и с соотв. зарплатой.

А классические высокооплачиваемые DBA-формошлёпы остались на штучных проектах, и их всё чаще называют Data Engineer (хотя название DBA на западных работных сайтах, возможно, пока преобладает).
22 окт 19, 14:45    [21999930]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
vikkiv
Member

Откуда: London
Сообщений: 2498
BI Engineer/ETL --->>> Data Engineer

Ссылка на позицию в клипе: https://youtu.be/Tlc3zlA3wTQ?t=1676
22 окт 19, 15:34    [22000010]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26791
alexeyvg
DBA всегда занимался, как пишет skyANA, формошлёпством.
Я этого не писал.

ТС-а интересует, цитирую:
Smita
насколько денежно и интересно будет по сравнению веб-формошлёпством senior developer
22 окт 19, 15:35    [22000011]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 29538
skyANA
alexeyvg
DBA всегда занимался, как пишет skyANA, формошлёпством.
Я этого не писал.

ТС-а интересует, цитирую:
Smita
насколько денежно и интересно будет по сравнению веб-формошлёпством senior developer
А, я думал, вы про тот текст Interloper-а, который процитировали.
22 окт 19, 15:38    [22000015]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26791
alexeyvg
skyANA
пропущено...
Я этого не писал.

ТС-а интересует, цитирую:
пропущено...
А, я думал, вы про тот текст Interloper-а, который процитировали.
да, про него
в контексте вопроса ТС
22 окт 19, 16:03    [22000048]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Orions
Member

Откуда:
Сообщений: 28
Тред прямо вовремя, как раз думаю перейти в это направление с опытом работы ETL разработчика, какие скилзы прокачивать важно, то знает? Часто вижу в вакансиях питон, Хадуп, DWH
22 окт 19, 21:52    [22000262]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
Remind
Member

Откуда: UK
Сообщений: 453
Orions,

В первую очередь стоит проверить зрения. Парой постов выше vikkiv скинул отличное видео по теме.
22 окт 19, 22:37    [22000293]     Ответить | Цитировать Сообщить модератору
 Re: Data Engineer - что за зверь такой?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 247
Orions
Тред прямо вовремя, как раз думаю перейти в это направление с опытом работы ETL разработчика, какие скилзы прокачивать важно, то знает? Часто вижу в вакансиях питон, Хадуп, DWH

Kafka, spark, map reduce patterns +всякие nifi, airflow
22 окт 19, 23:51    [22000338]     Ответить | Цитировать Сообщить модератору
Все форумы / Работа Ответить