Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
Bormotuhin
Member

Откуда:
Сообщений: 17
Добрый день!

Ищу работу по специальностям machine learning, big data или data mining в СПб. Опыта в этом совсем немного, поэтому хочу найти место, где нужен человек без большого опыта, но с большим желанием учиться.

Коротко о знаниях и умениях
  • Знаю Python и его библиотеки pandas, numpy, scikit-learn. Работал с ними, когда проходил курс по машинному обучению на coursera.org. Соответственно знаю основы машинного обучения. Сейчас изучаю нейронный сети по книге Хайкина - Нейронный сети полный курс.
  • Опыт промышленной разработки уже семь лет. Основной рабочий язык - C#.
  • В нерабочее время изучаю и пишу на других языка программирования. Перечислю языки, которые знаю и на которых хотя бы немного умею писать (от языков, на которых могут прилично писать до тех, на которых только написал пару простых приложений - Common Lisp, Scala, Kawa, Python, F#, Nemerle, C, C++.
  • По Scala прошел курс на coursera.org, прочитал книгу Мартина Одерски и написал пару приложений под Андроид.
  • Здесь простой игровой движок, написанный на Common Lisp и OpenGL 2.0, а здесь игра, написанная на Common Lisp и использующая этот движок, плюс редактор карт на Gtk3+.
  • 17 май 17, 12:19    [20489183]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Бумбараш
    Member

    Откуда: никем не победимая, самая любимая
    Сообщений: 2609
    Прочитал в интернете много хайпа про AI. Прочитал в блумберге, что дата сайентист профессия будующего, туда идут все бабки, вкладываются все Accel Parters и другие андерсены хоровитцы вкладывают сотни нефти в ML.

    Стал крутым спецом по ML.

    Но в России работы нет. Что делать?
    17 май 17, 16:00    [20490310]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Crocode
    Member

    Откуда:
    Сообщений: 248
    Бумбараш
    Прочитал в интернете много хайпа про AI. Прочитал в блумберге, что дата сайентист профессия будующего, туда идут все бабки, вкладываются все Accel Parters и другие андерсены хоровитцы вкладывают сотни нефти в ML.

    Стал крутым спецом по ML.

    Но в России работы нет. Что делать?


    Иметь мозги надо, мозги:
    1) Все транзакции Сбербанка за год помещаются на один жесткий диск. Где тут место Биг-Дате? То-то!
    2) Значит, Биг-Биг-Биг-дата применяется для чего-то другого? АГА. Логи парсить - вот ваша перспектива на будущее.
    17 май 17, 16:12    [20490385]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Bormotuhin
    Member

    Откуда:
    Сообщений: 17
    Бумбараш,

    В России тоже есть работа в этой области. К сожалению, туда нужны уже готовые специалисты с опытом работы и, желательно, научной степенью.
    17 май 17, 16:51    [20490582]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    NePZ
    Member

    Откуда:
    Сообщений: 742
    Бумбараш
    Стал крутым спецом по ML

    В чем это заключается? (я без сарказма спрашиваю, мы людей постоянно ищем)

    Бумбараш
    Но в России работы нет. Что делать?

    GridGain прямо сейчас пилит алгоритмы ML для своей платформы, насколько знаю, ищут людей для усиления укрепления.
    Так что такая работа не просто есть, она даже в Питере есть. Причем это не работа вида "вызвать готовый метод и поиграться с настройками", а самый хардкор, т.к. алгоритмы не просто надо с нуля выпилить, а выпилить для работы в оперативе в распределенной среде.

    Crocode
    Иметь мозги надо, мозги:
    1) Все транзакции Сбербанка за год помещаются на один жесткий диск. Где тут место Биг-Дате? То-то!
    2) Значит, Биг-Биг-Биг-дата применяется для чего-то другого? АГА. Логи парсить - вот ваша перспектива на будущее.


    1. Путаете с месячными срезами аналитической витрины на данных кредитных систем (для задач кредитного скоринга). Эти да, уместятся, если диск приличный. Чему там умещаться то, после того, как из проводок собрана витрина с десятком содержательными цифрами (текущая и просроченная задолженность по основному долгу и процентам, длительность просрочки, флаги и т.д.) в месяц по договору ? А вот дневные срезы уже на диск не влезут (это нужно для моделирования сборов), их на порядок с хвостиком больше.
    Транзакций за год даже по CNP-каналам (все, что не ATM и POS грубо) десятки терабайт. Если брать CP-транзакции - умножаем на ~10. Если делать месячные срезы для разработки и применения поведенческих моделей - умножаем еще раз на 10 (для разработки можно с выборками работать). И это за год. И вот это вполне себе большие данные.
    Можно и дневные, это еще в ~ 10 раз больше, но тогда у негров ласты отвалятся (инфраструктура пока не позволяет десятки петабайт ворочать). Да и нужно такое разве что для очень продвинутого событийного маркетинга в режиме реального времени (в смысле пытаться угадать СПОНТАННЫЕ желания клиента раньше, чем он сам их осознает, или МЕЛКИЕ желания, т.к. факт крупной или спланированной покупки предсказать можно и без таких извращений) или очень продвинутых моделей антифрод (для чего нужна платформа с космическими характеристиками - как только так сразу, как говорится)

    2. Автоматизированный анализ телеметрии и логов, к слову, довольно интересная и нетривиальная математическая задача. И хорошо монетизируется, если от этого зависит стабильность работы, положим, процессинга.
    При этом решение такого рода задач, особенно с жесткими требованиями по доступности и отказоустойчивости, позволяет развиваться в России компетенциям, которые могут быть полезны далеко за пределами большого банка или поисковика. И не только в мирных целях.
    18 май 17, 12:48    [20492569]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Bormotuhin
    Member

    Откуда:
    Сообщений: 17
    NePZ
    В чем это заключается? (я без сарказма спрашиваю, мы людей постоянно ищем)


    Скажите, пожалуйста, вы уже готовых спецов ищете, которые имеют большой опыт работы или берете того, кого можно научить?
    18 май 17, 14:24    [20493043]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Zashibis
    Member

    Откуда: +2 жизни
    Сообщений: 14222
    Crocode
    Бумбараш
    Прочитал в интернете много хайпа про AI. Прочитал в блумберге, что дата сайентист профессия будующего, туда идут все бабки, вкладываются все Accel Parters и другие андерсены хоровитцы вкладывают сотни нефти в ML.

    Стал крутым спецом по ML.

    Но в России работы нет. Что делать?

    1) Все транзакции Сбербанка за год помещаются на один жесткий диск. Где тут место Биг-Дате? То-то!

    Но почему-то никто не хранит все транзакции на одном диске, странно, да?
    Видимо проседает надежность и производительность. И тут два пути: купить дорогущее железо, которое поддерживает репликацию Active-Active на аппаратном уровне, либо купить много дешевых серверов и развернуть на них BigData. Неожиданно, да?
    Правда BigData не имеет прямого отношения к AI, поэтому данную дискуссию здесь лучше не продолжать.
    18 май 17, 14:54    [20493127]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Дедушка
    Member

    Откуда: Город трёх революций
    Сообщений: 5111
    NePZ
    Так что такая работа не просто есть, она даже в Питере есть.
    Причем это не работа вида "вызвать готовый метод и поиграться с настройками",
    а самый хардкор, т.к. алгоритмы не просто надо с нуля выпилить,
    а выпилить для работы в оперативе в распределенной среде.
    это страшная правда которую узнают люди приходя в BigData\ML за модой и\или деньгами... там "хардкор матан".
    18 май 17, 17:44    [20493784]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Bormotuhin
    Member

    Откуда:
    Сообщений: 17
    Дедушка,

    А вы крутитесь в этой среде?:) Может быть вы подскажете где поискать работу тому, кто любит математику, но уже подзабыл ее за давностью лет.
    18 май 17, 17:55    [20493811]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    MaxNevermind
    Member

    Откуда: Москва
    Сообщений: 206
    Crocode
    Бумбараш
    Прочитал в интернете много хайпа про AI. Прочитал в блумберге, что дата сайентист профессия будующего, туда идут все бабки, вкладываются все Accel Parters и другие андерсены хоровитцы вкладывают сотни нефти в ML.

    Стал крутым спецом по ML.

    Но в России работы нет. Что делать?

    ...
    1) Все транзакции Сбербанка за год помещаются на один жесткий диск. Где тут место Биг-Дате? То-то!
    ....


    Поэтому не читаю этот раздел форума, свалка помоев.
    18 май 17, 17:58    [20493819]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    NePZ
    Member

    Откуда:
    Сообщений: 742
    Bormotuhin
    NePZ
    В чем это заключается? (я без сарказма спрашиваю, мы людей постоянно ищем)


    Скажите, пожалуйста, вы уже готовых спецов ищете, которые имеют большой опыт работы или берете того, кого можно научить?


    1. Смотря ЧЕМУ надо учить. Есть большая разница между "есть теоретические знания и навыки, занимаюсь темой уже пару лет, но нет практического опыта" (это и люди, которые удачно выстрелили на Kaggle хотя бы в отдельных конкурсах и много месяцев к этому шли, и молодежь с профильных кафедр и лабораторий ФКН ВШЭ, ММП ВМК МГУ, ШПМиИ МФТИ, которая много лет посвятила этой теме, но в индустрии еще не работала и т.п.) и "мне кажется, мне это интересно"
    2. Смотря куда. Что у нас, что в Яндексе, что в других интересных местах с развитой компетенцией есть разные группы в разных местах с разными требованиями к квалификации:
    2.1. создание новых, передовых алгоритмов или воспроизведение то, что на переднем крае науки делается (задел для 2.2. или 2.3)
    2.2. разработка моделей для бизнес- процесса, который контору реально кормит (может быть больше 1)
    2.3. статусные проекты (которые денег особо не приносят, но на контроле у топов)
    2.4. создание простых типовых моделей для вспомогательных задач бизнеса или для задач с низкой монетизацией
    2.5. прочее (от сферически конеобразных задач, порожденных фантазиями ЛПР, акционеров, модой, до консалтинга внутреннего и внешнего). Сюда же входят группы, которые годами занимаются пилотами без шансов на внедрение в пром

    Реальная наука в 2.1, это буквально горстка людей, проф. математиков в основном и их учеников.
    Все держится на 2.2, эти группы чаще всего напрямую подчиняются топам (если не де юре, то де факто) и там сильно все по другому и по условиям труда и по отношению к людям. Группы 2.2 чаще всего и порождают существование 2.1. Впрочем, групп типа 2.2 в банке может быть несколько, вообще говоря.Даже в крупнейших интернет-компаниях все очень неоднородно. Поиск отдельно, соцсети сами по себе, почтовые сервисы имеют свое царство государство, доп.сервисы где-то сбоку. В банках то же самое в общем-то (универсальные банки, если кто не в курсе, имеют несколько основных источников дохода и там разные представления о прекрасном, как правило). Ну и как у классика, все животные равны, но некоторые равнее других. В смысле, кто бабла больше приносит, у того и веса больше.
    2.3 иногда существуют в отрыве от 2.2 и 2.1, иногда этим занимаются люди из 2.2, иногда людей из 2.2 бросают разгребать то, что налепили в 2.3. По разному в разных компаниях в разное время. В целом топы, даже вменяемые, иногда хотят странного или имеют какие-то своим политические соображения (продемонстрировать что-то акционерам, например)
    2.4 могут быть рядом с 2.2, могут быть как-то отдельно выделены. Иногда одно, впрочем, не мешает другому.
    2.5 ...ну живут-живут и умирают. Вместе с изменениями на политическом олимпе отдельно взятой корпорации

    Zashibis
    Правда BigData не имеет прямого отношения к AI, поэтому данную дискуссию здесь лучше не продолжать.

    Как раз к AI BigData имеет куда больше отношения, чем к классическому ML. Потому что большую часть ML алгоритмов можно обучать с немалой пользой и на сравнительно небольших наборах данных (семплы на десятки-сотни тысяч строк), более того, значительная часть этих ML алгоритмов абсолютно не выигрывает от радикального увеличения объема анализируемых данных. Ну будет их в 100 раз больше, ну добавите еще один верный знак после запятой к оценке параметров модели. Рост метрик качества модели от этого такой "большой", что смысл имеет разве что на Kaggle, где борьба идет за N знак после запятой по имя сейлормун. Финреза там не будет.
    А вот если обучать глубинные сети (тот самый AI, как подмножество ML), то, во-первых, на малом (те самые сотни тысяч строк) количестве данных они переобучаются шоЁмаЁ, а в-вторых, что чем больше данных, тем лучше нейронки работают, так как они умеют находить очень слабые связи или нелинейности и по сути ограниченно способы к feature engineering (только результаты их изысканий невозможно интерпретировать, ога, но это второй вопрос). Ну и небольшие технические проблемы возникают...С GPU-мощностями, например. И тем как нейронки правильно в распределенной среде обучать. И так "по мелочи". Яндекс с этими мелочами хренову кучу времени провозился, пока хоть что-то заработало. Делать такие вещи несколько сложнее, чем писать статьи в глянцевые журналы про то, как роботы изменят мир.

    P.S. Как любит шутить Григорий Бакунов: "В переводе AI как "искусственный интеллект" две ошибки - это не интеллект, и он не искусственный".
    Если без шуток, то "Искусственный интеллект" действительно очень неудачная калька с английского. Этот термин совершенно неверно понимают
    P.P.S У российских управленцев обычно рвутся шаблоны и возникает когнитивный диссонанс, когда им пытаешься рассказать, что регрессионный анализ, это ML (cюрприз), и что он может быть очень продвинутым и давать результаты не сильно уступающие модным подходам по формальным метрикам, и вообще не уступающий (а часто превосходящий их) по финрезу (особенно с учетом костов) во многих типовых задачах, не связанных с обработкой текста, фото или аудио
    Что AI (методы DL, RL и TL) это, в общем-то тоже ML, только другой раздел. Что нейронные сети и байесовские сети это все-таки разные вещи и что байесовская сеть это ориентированный граф, вообще говоря. И что ML это еще не вся математика (графы, теория алгоритмов, теория оптимизации, теория игр, вейвлеты, дифуры, стохастическое моделирование и далее по списку), причем некоторые из этих разделов вообще не связаны особо с мат.стастистикой
    18 май 17, 19:39    [20494015]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Критик
    Member

    Откуда: Москва / Калуга
    Сообщений: 33366
    Блог
    Zashibis
    И тут два пути: купить дорогущее железо, которое поддерживает репликацию Active-Active на аппаратном уровне, либо купить много дешевых дорогих серверов и развернуть на них BigData.


    Так вернее.
    Ps ознакомился недавно со спецификациями одного проекта, подробностей не скажу, но суть в поправленном
    18 май 17, 20:33    [20494141]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Bormotuhin
    Member

    Откуда:
    Сообщений: 17
    NePZ, большое спасибо за развернутый ответ.

    Пойду дальше грызть гранит науки. Вспоминать теорию вероятностей, производные, интегралы. И изучать матстатистику.
    19 май 17, 11:15    [20495484]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Zashibis
    Member

    Откуда: +2 жизни
    Сообщений: 14222
    Критик
    Zashibis
    И тут два пути: купить дорогущее железо, которое поддерживает репликацию Active-Active на аппаратном уровне, либо купить много дешевых дорогих серверов и развернуть на них BigData.


    Так вернее.
    Ps ознакомился недавно со спецификациями одного проекта, подробностей не скажу, но суть в поправленном
    По факту да, покупают серваки с 1ТБ ОЗУ и сетевыми карточками от 10Гбит/с. Но можно хотя бы обойтись без дорогущих дисковых массивов.
    Правда и их всегда тоже покупают
    19 май 17, 11:17    [20495498]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    natanabrahamjr
    Member [заблокирован]

    Откуда: Ukraine
    Сообщений: 593
    у меня на прошлом проекте бигдата начиналась с рассылкой 60-ти участникам группы уведомлений ))
    19 май 17, 12:29    [20495859]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    mini.weblab
    Member

    Откуда:
    Сообщений: 834
    Bormotuhin
    Добрый день!

    Ищу работу по специальностям machine learning, big data или data mining в СПб.


    1) попробуйте выбрать что нибудь одно, буде легче
    2) посмотрите объявления на Линкедине, чтобы понять, что требуется и чем занимаются в каждом из направлений
    3) я думаю, что для России (да и не только), выбранные вами направления это экзотика
    4) а big data это вообще марктинговый термин (придуманный для ответа на вопрос "а на что были потрачены все деньги инвесторов?") =)
    19 май 17, 13:41    [20496360]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    JJZ
    Member

    Откуда:
    Сообщений: 93
    NePZ
    Bormotuhin
    пропущено...


    Скажите, пожалуйста, вы уже готовых спецов ищете, которые имеют большой опыт работы или берете того, кого можно научить?


    1. Смотря ЧЕМУ надо учить. Есть большая разница между "есть теоретические знания и навыки, занимаюсь темой уже пару лет, но нет практического опыта" (это и люди, которые удачно выстрелили на Kaggle хотя бы в отдельных конкурсах и много месяцев к этому шли, и молодежь с профильных кафедр и лабораторий ФКН ВШЭ, ММП ВМК МГУ, ШПМиИ МФТИ, которая много лет посвятила этой теме, но в индустрии еще не работала и т.п.) и "мне кажется, мне это интересно"
    2. Смотря куда. Что у нас, что в Яндексе, что в других интересных местах с развитой компетенцией есть разные группы в разных местах с разными требованиями к квалификации:
    2.1. создание новых, передовых алгоритмов или воспроизведение то, что на переднем крае науки делается (задел для 2.2. или 2.3)
    2.2. разработка моделей для бизнес- процесса, который контору реально кормит (может быть больше 1)
    2.3. статусные проекты (которые денег особо не приносят, но на контроле у топов)
    2.4. создание простых типовых моделей для вспомогательных задач бизнеса или для задач с низкой монетизацией
    2.5. прочее (от сферически конеобразных задач, порожденных фантазиями ЛПР, акционеров, модой, до консалтинга внутреннего и внешнего). Сюда же входят группы, которые годами занимаются пилотами без шансов на внедрение в пром

    Реальная наука в 2.1, это буквально горстка людей, проф. математиков в основном и их учеников.
    Все держится на 2.2, эти группы чаще всего напрямую подчиняются топам (если не де юре, то де факто) и там сильно все по другому и по условиям труда и по отношению к людям. Группы 2.2 чаще всего и порождают существование 2.1. Впрочем, групп типа 2.2 в банке может быть несколько, вообще говоря.Даже в крупнейших интернет-компаниях все очень неоднородно. Поиск отдельно, соцсети сами по себе, почтовые сервисы имеют свое царство государство, доп.сервисы где-то сбоку. В банках то же самое в общем-то (универсальные банки, если кто не в курсе, имеют несколько основных источников дохода и там разные представления о прекрасном, как правило). Ну и как у классика, все животные равны, но некоторые равнее других. В смысле, кто бабла больше приносит, у того и веса больше.
    2.3 иногда существуют в отрыве от 2.2 и 2.1, иногда этим занимаются люди из 2.2, иногда людей из 2.2 бросают разгребать то, что налепили в 2.3. По разному в разных компаниях в разное время. В целом топы, даже вменяемые, иногда хотят странного или имеют какие-то своим политические соображения (продемонстрировать что-то акционерам, например)
    2.4 могут быть рядом с 2.2, могут быть как-то отдельно выделены. Иногда одно, впрочем, не мешает другому.
    2.5 ...ну живут-живут и умирают. Вместе с изменениями на политическом олимпе отдельно взятой корпорации

    Zashibis
    Правда BigData не имеет прямого отношения к AI, поэтому данную дискуссию здесь лучше не продолжать.

    Как раз к AI BigData имеет куда больше отношения, чем к классическому ML. Потому что большую часть ML алгоритмов можно обучать с немалой пользой и на сравнительно небольших наборах данных (семплы на десятки-сотни тысяч строк), более того, значительная часть этих ML алгоритмов абсолютно не выигрывает от радикального увеличения объема анализируемых данных. Ну будет их в 100 раз больше, ну добавите еще один верный знак после запятой к оценке параметров модели. Рост метрик качества модели от этого такой "большой", что смысл имеет разве что на Kaggle, где борьба идет за N знак после запятой по имя сейлормун. Финреза там не будет.
    А вот если обучать глубинные сети (тот самый AI, как подмножество ML), то, во-первых, на малом (те самые сотни тысяч строк) количестве данных они переобучаются шоЁмаЁ, а в-вторых, что чем больше данных, тем лучше нейронки работают, так как они умеют находить очень слабые связи или нелинейности и по сути ограниченно способы к feature engineering (только результаты их изысканий невозможно интерпретировать, ога, но это второй вопрос). Ну и небольшие технические проблемы возникают...С GPU-мощностями, например. И тем как нейронки правильно в распределенной среде обучать. И так "по мелочи". Яндекс с этими мелочами хренову кучу времени провозился, пока хоть что-то заработало. Делать такие вещи несколько сложнее, чем писать статьи в глянцевые журналы про то, как роботы изменят мир.

    P.S. Как любит шутить Григорий Бакунов: "В переводе AI как "искусственный интеллект" две ошибки - это не интеллект, и он не искусственный".
    Если без шуток, то "Искусственный интеллект" действительно очень неудачная калька с английского. Этот термин совершенно неверно понимают
    P.P.S У российских управленцев обычно рвутся шаблоны и возникает когнитивный диссонанс, когда им пытаешься рассказать, что регрессионный анализ, это ML (cюрприз), и что он может быть очень продвинутым и давать результаты не сильно уступающие модным подходам по формальным метрикам, и вообще не уступающий (а часто превосходящий их) по финрезу (особенно с учетом костов) во многих типовых задачах, не связанных с обработкой текста, фото или аудио
    Что AI (методы DL, RL и TL) это, в общем-то тоже ML, только другой раздел. Что нейронные сети и байесовские сети это все-таки разные вещи и что байесовская сеть это ориентированный граф, вообще говоря. И что ML это еще не вся математика (графы, теория алгоритмов, теория оптимизации, теория игр, вейвлеты, дифуры, стохастическое моделирование и далее по списку), причем некоторые из этих разделов вообще не связаны особо с мат.стастистикой


    То, что я вижу в близлежайщих проектах по Big Data в России - это в основном процессинг (а-ля ETL) с использованием инфраструктуры распараллеливания обработки Hadoop, Spark(Scala).
    ML и прочих сложных алгоритмов там очень мало или нет вообще.

    Так что похоже ML будет не очень востребован в России, будут только инфраструктуру BigData использовать вместо ETL на дорогих решениях Oracle, Informatica. Ну и ценник на спецов по Big Data упадет
    19 май 17, 13:58    [20496423]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Bormotuhin
    Member

    Откуда:
    Сообщений: 17
    mini.weblab
    1) попробуйте выбрать что нибудь одно, буде легче
    2) посмотрите объявления на Линкедине, чтобы понять, что требуется и чем занимаются в каждом из направлений
    3) я думаю, что для России (да и не только), выбранные вами направления это экзотика
    4) а big data это вообще марктинговый термин (придуманный для ответа на вопрос "а на что были потрачены все деньги инвесторов?") =)


    Спасибо за ваши советы.:)

    1) Если выбрать только одно, то число компаний (и так очень небольшое) уменьшится до четырех-пяти.
    2) Линкдин и хедхантер уже раз по пять прошерстил, чтобы найти компании, которым нужен не специалист, а человек с начальными знаниями, но, к сожалению, не нашел таких.
    3) Судя по тому, что я читал, за рубежом это совсем не экзотика.:)
    4) Big Data - это Data mining или machine learning, но на большом количестве данных.
    19 май 17, 14:17    [20496528]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Bormotuhin
    Member

    Откуда:
    Сообщений: 17
    Кстати, может быть, есть небольшие команды, а не компании, которым нужен человек не на полный рабочий день, а в свободное время? Может быть, у кого-нибудь есть такие на примете?:)
    19 май 17, 14:24    [20496553]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    mini.weblab
    Member

    Откуда:
    Сообщений: 834
    1) рассматривайте направление Биг даты, как инвестицию, а не как направление, которое уже сегодня приносит деньги
    2) нужно было шерстить Германию, США, Великобританию, т.е потенциальных инвесторов, притом не на вакансии, а на то, чем они занимаются, и какие требования выдвигают к специалистам
    3) за рубежом направление Биг дата это прежде всего инвестиции и маркетинг,
    поэтому если вам больше 25-27 даже не начинайте, ну разве что уж очень сильно хочется
    4) ну и еще подумайте о том, кто же эти самые потенциальные заказчики биг-дата изысканий :)
    19 май 17, 19:02    [20497447]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    JJZ
    Member

    Откуда:
    Сообщений: 93
    mini.weblab
    4) ну и еще подумайте о том, кто же эти самые потенциальные заказчики биг-дата изысканий :)


    Спасибо
    А можете прокомментировать эту фразу. Что Вы имеете ввиду ?
    19 май 17, 19:31    [20497480]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    Дедушка
    Member

    Откуда: Город трёх революций
    Сообщений: 5111
    Bormotuhin
    Big Data - это Data mining или machine learning, но на большом количестве данных.
    что правда? :)
    19 май 17, 20:51    [20497664]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    mini.weblab
    Member

    Откуда:
    Сообщений: 834
    JJZ,
    я имею ввиду, что нужно и важно знать своих потенциальных клиентов, и уметь извлекать информацию из собранных данных
    =)
    19 май 17, 21:14    [20497696]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    NePZ
    Member

    Откуда:
    Сообщений: 742
    JJZ

    То, что я вижу в близлежайщих проектах по Big Data в России - это в основном процессинг (а-ля ETL) с использованием инфраструктуры распараллеливания обработки Hadoop, Spark(Scala).
    ML и прочих сложных алгоритмов там очень мало или нет вообще.

    Так что похоже ML будет не очень востребован в России, будут только инфраструктуру BigData использовать вместо ETL на дорогих решениях Oracle, Informatica. Ну и ценник на спецов по Big Data упадет


    "Полезная " BigData, как и ML, реально может быть только там, где есть причесанная Data. Это, например, 2 крупнейшие интернет-компании (поиск, соцсети и почтовые сервисы и т.п.): Яндекс и Mail.ru, несколько дюжин других интернет компаний - от DMP-платформ и всем известной цифровой доски объявлений Avito до пары федеральных работных порталов (HH, SJ) и крупнейших игровых платформ, но там, за редким исключением, часто буквально 1-2 интересные задачи
    Добавляем полдюжины платежных систем разных видов, также большую четверку ОСС (в порядке убывания зрелости компетенции: Мегафон, Tele2, Билайн, МТС), крупнейшие и наиболее технологичные универсальные и розничные банки (СБРФ, ТКС, Альфа и т.д. - их даже при нестрогом отборе меньше десятка наберется), специализированные агрегаторы финансовой и подобной информации (от бюро кредитных историй до облачных околофинансовых и околобухгалтерских сервисов), федеральный телеком (Ростелеком и т.п.), пару околонефтяных контор, связанных с геологической разведкой, государство (Спутник, портал гос.услуг, экосистема ФНС, АЦ при Правительстве РФ и т .д. причем реальными делами с внятным финрезом только в ФНС, ИМХО, занимаются), и еще один сильно специальный центр сильно некоммерческого характера, скажем так.
    Если говорить про ML, добавляем компании, работающие в области технического зрения, от лицевой биометрии до OCR/ODR, голосовой аналитики всех видов, обработки сигналов и анализа сцен (для роботизированных танков КАМАЗов). От ЦРТ до NTechLab, ABBYY и пары юрморд ИППИ РАН. Добавляем несколько компаний, работающих в области кибербезопасности.
    Добавляем метеорологов (которые в России делают странные вещи ИМХО), авиапром (внезапно), энергетику (электрогенерация и т .д., а не нефтянка), ГазМяс с нефтянко, вспоминаем про потуги работать со спутниковыми данными в МЧС и Роскосмосе (которые успешны ровно в той же мере, что и Роскосмос в целом и видны невооруженным взглядом, включая спутники ДЗЗ на нерасчетных орбитах), российский биотех и остатки российской науки (ускорители, телескопия, белковые молекулы и т.п.)

    Рынок, я бы сказал, узкий, хотя и денежный, если точно знать, где именно деньги лежатЪ.
    19 май 17, 22:49    [20497791]     Ответить | Цитировать Сообщить модератору
     Re: Ищу работу Machine learning/Big data/Data mining Developer в СПб  [new]
    kealon(Ruslan)
    Member

    Откуда: Нижневартовск
    Сообщений: 5923
    Bormotuhin,

    в большинстве случаев вам будут нагло врать 21108662, у нас таких мест, что даже пальцев одной руки хватит посчитать.и им никому рядовые бойцы спецы не нужны
    15 янв 18, 20:06    [21108937]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
    Все форумы / Работа Ответить