Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
Дмитрий Дальний
Member

Откуда: СПб
Сообщений: 51
Семен.Семенович,

Спасибо, написал.


Сегодня общался по монго :) Скажем так прикольно, если знать unix и не использовать дефолтные параметры ОС , то можно помочь людям :) Linux рулит, особено вместе с гууглом :)
19 окт 17, 12:45    [20882144]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
Дмитрий Дальний
Member

Откуда: СПб
Сообщений: 51
И тишина.
Продолжим после нового года
11 янв 18, 14:03    [21097178]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
Дмитрий Дальний
Member

Откуда: СПб
Сообщений: 51
Прошел почти год :) Бигдата переросла в T-SQL, на MS SQL :) Перебрался ближе к нерезиновой.

В общем говнокожу ETL на T-SQL + SSIS :) Как говорится вспомнил былое.

Решил что буду рыть скалу ...
4 дек 18, 21:37    [21753727]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
Дмитрий Дальний
Member

Откуда: СПб
Сообщений: 51
казинак
Дмитрий Дальний,


ты чо чувак реально думаешь, что ети бигдаты и носкл - это новые технологии?

бигдата - это тупа распаралеливание без блокировок, map reduce разделяет входной массив данных на сколь угодно параллельных потоков и обрабатывает на разных ядрах. Вопрос одновременной работы с одним и тем же блоком данных не стоит. Соответственно блокировки похер. Это не бухгалтерия, где одну проводку могут править несколько людей, и потому надо защищаться. Это просто большой массив данных который можно разделить и параллельно обработать.


После перехода на разработку ETL на стек HADOOP, Informatica BDM, NiFi, HiveQL, Spark - оценил твой комментарий. Очень тяжело к такому привыкнуть после повсеместного применения ACID, полностью меняется подход, 2 недели ломал стереотипы. В общем для меня это виток спирали парсинuf текстовых файлов поначалу на awk, затем на perl, а сейчас это просто Informatica BDM (со всей этой BigData) ... В общем перестраиваюсь ... Заодно ML/DL на питоне :) в качестве хобби .. Но классно смотреть в амбаре как твой пакет использует кластер :)
9 июн 19, 21:07    [21905529]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
PsyMisha
Member

Откуда: другая столица
Сообщений: 234
Дмитрий Дальний,

Дак всё-таки - все эти новые веяния - были для себя, для личностного саморазвития, - не отстать от трендов, или для модных, стильных, молодёжных (С) слов в резюме?
10 июн 19, 08:57    [21905660]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 210
Дмитрий Дальний
После перехода на разработку ETL на стек HADOOP, Informatica BDM, NiFi, HiveQL, Spark - оценил твой комментарий. Очень тяжело к такому привыкнуть после повсеместного применения ACID, полностью меняется подход, 2 недели ломал стереотипы. В общем для меня это виток спирали парсинuf текстовых файлов поначалу на awk, затем на perl, а сейчас это просто Informatica BDM (со всей этой BigData) ... В общем перестраиваюсь ... Заодно ML/DL на питоне :) в качестве хобби .. Но классно смотреть в амбаре как твой пакет использует кластер :)

ну так это сугубо от опыта команды зависит. команды что на коленках скриптиками автоматизировали до эпохи бигдаты и на бигдате скриптии фигачат. но это не отменяет более взрослый подход. в том же спарке можно sql скриптики рисовать, но можно и взрослые приложения поверх dataframe api рисовать, с юнит/интегрейшен тестами и где компилятор проверит каждую колонку и ее тип. и с acid можно делать по взрослому, делая аля "снепшоты" которые обеспечат консистентность кое в чем даже интересней чем рсубд. на больших данных, к примеру, рсубд не грузит все сущности одной транзакцией.
10 июн 19, 10:25    [21905728]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
Vyatich
Member

Откуда:
Сообщений: 3094
H5N1
Дмитрий Дальний
После перехода на разработку ETL на стек HADOOP, Informatica BDM, NiFi, HiveQL, Spark - оценил твой комментарий. Очень тяжело к такому привыкнуть после повсеместного применения ACID, полностью меняется подход, 2 недели ломал стереотипы. В общем для меня это виток спирали парсинuf текстовых файлов поначалу на awk, затем на perl, а сейчас это просто Informatica BDM (со всей этой BigData) ... В общем перестраиваюсь ... Заодно ML/DL на питоне :) в качестве хобби .. Но классно смотреть в амбаре как твой пакет использует кластер :)

ну так это сугубо от опыта команды зависит. команды что на коленках скриптиками автоматизировали до эпохи бигдаты и на бигдате скриптии фигачат. но это не отменяет более взрослый подход. в том же спарке можно sql скриптики рисовать, но можно и взрослые приложения поверх dataframe api рисовать, с юнит/интегрейшен тестами и где компилятор проверит каждую колонку и ее тип. и с acid можно делать по взрослому, делая аля "снепшоты" которые обеспечат консистентность кое в чем даже интересней чем рсубд. на больших данных, к примеру, рсубд не грузит все сущности одной транзакцией.

Безусловно, очень интересное занятие -- изобретать собственный велосипед. Можно ещё реализовать собственные кострайнты и индексацию, потом дойти до чего-то подобного транзакциям и написать собственные джойны с нестедлупом и мерджами. Огромный простор для творчества.
10 июн 19, 10:47    [21905750]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 210
Vyatich
Безусловно, очень интересное занятие -- изобретать собственный велосипед. Можно ещё реализовать собственные кострайнты и индексацию, потом дойти до чего-то подобного транзакциям и написать собственные джойны с нестедлупом и мерджами. Огромный простор для творчества.

если бы в рсубд можно было навешать на 3NF ключей и грузить терабайты в одной транзакции можно было бы порассуждать о велосипедах.
на больших данных рсубд давно примерно к тому же уже пришли. тотальная денормализация и табу на суровые джоины, танцы с отключением FK как минимум на время загрузки. извраты со стейджинг. acid давно в рсубд уже нет, вместо него танцы с exchange partition.
я не вижу чем танцы в рсубд сегодня уж так принципиально отличаются.
10 июн 19, 12:20    [21905844]     Ответить | Цитировать Сообщить модератору
 Re: Ищу место джуниора на новые технологии, удаленно  [new]
Дмитрий Дальний
Member

Откуда: СПб
Сообщений: 51
PsyMisha
Дмитрий Дальний,

Дак всё-таки - все эти новые веяния - были для себя, для личностного саморазвития, - не отстать от трендов, или для модных, стильных, молодёжных (С) слов в резюме?


Задумывалось как для себя, как хобби. Получилось немного по другому. Но сейчас рою Иформатику BDM.
10 июн 19, 18:06    [21906118]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
Все форумы / Работа Ответить