Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Вакансии Новый топик    Ответить
 Архитектор Data Lake, Москва  [new]
KarinaKhar
Member

Откуда:
Сообщений: 47
Компания из финансового сектора в поисках Архитектора

Проект построение Data Lake с нуля.

Основные задачи:

• Разработка архитектуры хранилища
• Интеграция ХД с другими системами
• Взаимодействие с отделами разработки, аналитики, тестирования и другое
• Выстраивание стратегии развития хранилища, оптимизация работы

Требования:

• Опыт участия в проектах по разработке Data Lake в качестве архитектора/разработки
• Опыт проектирования хранилища
• Опыт оптимизации сложных запросов

Преимущества работы в компании:

• построение Data Lake с нуля
• Все согласно ТК РФ;
• Годовая премия;
• Хороший социальный пакет;
• Современный офис в шаговой доступности от метро.

В случае заинтересованности, за всеми подробностями просьба писать на почту kondakova.irena@yandex.ru (по возможности просьба прикреплять резюме)
10 июл 18, 16:56    [21560009]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 9029
KarinaKhar
Опыт участия в проектах по разработке Data Lake в качестве архитектора/разработки

вы бы еще попросили в успешных проектах, я бы тоже хотел на такие взглянуть
12 июл 18, 18:13    [21566916]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
Полковник.
Member

Откуда:
Сообщений: 1722
Sintetik,

Это ещё одни "чудаки" , которые хотят заменить нормальные структурированные данные хранилища данных помойкой дата лайка. Флаг им в руки и барабан на шею.
15 июл 18, 10:10    [21571691]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
Vyatich
Member

Откуда:
Сообщений: 2277
Полковник.
Sintetik,

Это ещё одни "чудаки" , которые хотят заменить нормальные структурированные данные хранилища данных помойкой дата лайка. Флаг им в руки и барабан на шею.

Зато модно, стильно, молодёжно. Можно потом в резюме хвастаться, что построил Data Lake с нуля.
15 июл 18, 11:05    [21571731]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 33348
Блог
Vyatich
Можно потом в резюме хвастаться, что построил Data Lake с нуля.


в молодом дружном коллективе
15 июл 18, 11:50    [21571778]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
rim8
Member

Откуда:
Сообщений: 299
Ещё одни ищут волшебного эльфийского специалиста, а найдут орка сказочника.
15 июл 18, 12:28    [21571813]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
H5N1
Member

Откуда: Yo.!
Сообщений: 23
Полковник.
Sintetik,

Это ещё одни "чудаки" , которые хотят заменить нормальные структурированные данные хранилища данных помойкой дата лайка. Флаг им в руки и барабан на шею.

мы заменили и довольны. кроме пары спецов никто и не понял что под низом не оракл а паркет файлы на хадупе. современная религия не запрещает структурированные данные хранить в структурированных структурах хадупа.
16 июл 18, 08:27    [21573062]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 26762
H5N1
Полковник.
Sintetik,

Это ещё одни "чудаки" , которые хотят заменить нормальные структурированные данные хранилища данных помойкой дата лайка. Флаг им в руки и барабан на шею.

мы заменили и довольны. кроме пары спецов никто и не понял что под низом не оракл а паркет файлы на хадупе. современная религия не запрещает структурированные данные хранить в структурированных структурах хадупа.
А раскройте, чем вы "довольны"? Серверы теперь достаточны в 5 раз слабее, вернули деньги за неиспользованное оборудование? Специалисты дешевле, и их нужно в 2 раза меньше, итого после сокращения команды экономия в 4 раза?

Как то это странно выглядит.
Получается, что для структурированных данных лучше подходит не специальный движок для структурированных данных, а некий движок для неструктурированных данных, он более эффективен.
И специалисты по новейшей технологии на рынке дешевле, чем по старой, широко распространённой.

H5N1
кроме пары спецов никто и не понял
Да в общем можно и на машине Тьюринга сделать? :-) Вопрос только в том, будет ли это дешевле?
16 июл 18, 09:09    [21573152]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
H5N1
Member

Откуда: Yo.!
Сообщений: 23
alexeyvg
А раскройте, чем вы "довольны"? Серверы теперь достаточны в 5 раз слабее, вернули деньги за неиспользованное оборудование? Специалисты дешевле, и их нужно в 2 раза меньше, итого после сокращения команды экономия в 4 раза?

пока выглядит всем довольны и новыми возможностями, которые были недоступны и экономия, которая измеряется не разами а порядком. у нас в кластере 300 ядер, лицензировать под оракл хотя бы треть из них под rac, partitioning, compression и прочее стоило бы миллионы. 24 ядра в экзадате миллион баксов. а клоудера хадуп канторе не стоила ничего, даже супорт у них не взяли. экономия по команде тоже заметна, может зарплаты и повыше, но оракловая команда генерила тучи тасков DBA команде, а теперь если я хочу скопировать "схему" я просто беру и копирую, без всякого согласования.

alexeyvg
Как то это странно выглядит.
Получается, что для структурированных данных лучше подходит не специальный движок для структурированных данных, а некий движок для неструктурированных данных, он более эффективен.

да. потому что ты избавлен от бреда который тянет типичная рсубд, типа типа отключения констрейнтов перед заливкой данных, коммиты каждые 100500 записей, при этом грусно наблюдая что большую часть ресурсов эта штука просто не может утилизировать. в бигдата свои тараканы, но многие остаются довольны, ведь результат во многом тот же, но при этом без миллионых выплат ораклу
16 июл 18, 10:05    [21573307]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
Vyatich
Member

Откуда:
Сообщений: 2277
Биг дата головного мозга
16 июл 18, 11:20    [21573662]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 33348
Блог
H5N1
а теперь если я хочу скопировать "схему" я просто беру и копирую, без всякого согласования


если есть хотя-бы пяток человек, котоыре делают то же самое, то через годик будет натуральное Data Swamp
16 июл 18, 13:28    [21574466]     Ответить | Цитировать Сообщить модератору
 Re: Архитектор Data Lake, Москва  [new]
H5N1
Member

Откуда: Yo.!
Сообщений: 23
Критик
H5N1
а теперь если я хочу скопировать "схему" я просто беру и копирую, без всякого согласования


если есть хотя-бы пяток человек, котоыре делают то же самое, то через годик будет натуральное Data Swamp

если это девелоперы, которым нужно лишь нужно отладить софт на реальных/приближенным к реальным данным то не превратиться. у нас не превратилось.
16 июл 18, 13:38    [21574532]     Ответить | Цитировать Сообщить модератору
Все форумы / Вакансии Ответить