Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
 Spark. SQL или SCALA  [new]
sysn1k
Member

Откуда:
Сообщений: 131
Есть две компании. MediaScope и Beeline.
Медиаскоп пишет на Spark SQL, ETL на Apache Airflow.
Проект в Beeline полностью на Spark Scala, ETL на Nifi.
Я учился Spark-у на Python (PySpark).

Задачи в компания одинаковые. Создание Витрин данных. Данные тоже практический одинаковые: первая компания помогает телевидению узнать о клиентах, вторая компания работает с данными для HR отдела (инф-а о потенциальных сотрудниках). Оба проекта интересны.

Меня смущает Spark SQL тем, что ты пишешь на SQL. А мне понравился PySpark своей лаконичностью.
А Scala меня смущает своей сложностью, плюс мне придется снова изучать новые инструменты - Scala, Nifi. Когда Airflow и SQL мне знакомы.

По ЗП Beeline предлагает на 20% больше (по словам, оффера еще нет), но Media уже давно предоставили оффер и я его подписал, т.к. я уже один раз обжегся(Прошел все собеседования в международную компанию, осталось только с руководителем пообщаться, но его не устроили некоторые моменты, а других проектов не оказалось под мой уровень - отказали, а я уже другим компаниям отказал).

Медиаскоп - это уже 100% работа, знакомый стек-технологий, есть возможность потом изучить Scala.
Beeline - это очередное изучение технологий (а я уже немного морально устал от нового), возможность не прохождения Испыт. срока (если не осилю Scala), нет оффера. Но перспектива на западный рынок (там пишут на Spark Scala), предлагают больше денег.

Интересны мнения со стороны. Насколько Scala отличается от PySpark по синтаксису, если не писать UDF?

PS. Люблю деньги, но предпочитаю Ж/Б варианты.

Сообщение было отредактировано: 10 ноя 21, 14:21
10 ноя 21, 14:18    [22394197]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
sysn1k
Member

Откуда:
Сообщений: 131
sysn1k,

Модераторы, переместите, пожалуйста, в Работа. Перепутал каналы.
10 ноя 21, 14:23    [22394204]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Andromeda777
Member

Откуда: Петербург
Сообщений: 68
sysn1k,

Так вы же джуниор, в Билайне полное болото, тем более и в Медиаскопе есть возможность Scala изучить.
По мне так лучше в начале пути выбрать развитие. Реально как айти компания Билайн не очень, конечно как попадешь, но что-то я сомневаюсь.

Модератор: Тема перенесена из форума "Вакансии".


Сообщение было отредактировано: 10 ноя 21, 15:24
10 ноя 21, 14:24    [22394205]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 157
sysn1k

Интересны мнения со стороны. Насколько Scala отличается от PySpark по синтаксису, если не писать UDF?

Апи спарка для питона и для скалы очень похожи (естественно, есть свои особенности). Но с чего вы взяли, что будете пользоваться только им, и даже UDF писать не будете?
10 ноя 21, 16:11    [22394304]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Santa89
Member

Откуда:
Сообщений: 1551
Джуниор, но уже устал от изучения нового))
10 ноя 21, 16:31    [22394318]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
sysn1k
Member

Откуда:
Сообщений: 131
Ржавый гвоздь
sysn1k

Интересны мнения со стороны. Насколько Scala отличается от PySpark по синтаксису, если не писать UDF?

Апи спарка для питона и для скалы очень похожи (естественно, есть свои особенности). Но с чего вы взяли, что будете пользоваться только им, и даже UDF писать не будете?


Это я прекрасно понимаю, что без UDF никуда. Поэтому и пишу, что нужно будет Scala плотно изучать.
А на чем пишут UDF для SQL Spark?
10 ноя 21, 16:39    [22394324]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
sysn1k
Member

Откуда:
Сообщений: 131
Santa89
Джуниор, но уже устал от изучения нового))


А что, Джуны не люди? Они не могут ментально устать от получения новой инф-ы каждый день?
Хотел бы я посмотреть на бегуна, который пробежал 1.5км на скорость и вместо того, чтобы отдышаться, он сразу пошел курить.
10 ноя 21, 17:00    [22394340]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Андрей Юниор
Member

Откуда: Москва
Сообщений: 810
sysn1k
а я уже немного морально устал от нового

Я в таком состоянии почти всегда. Мало того, что я всегда выжат, так ещё и не развиваюсь. Скачки с технологии на технологию к развитию не приводят. Мозг имеет ограничение на усвоение новой информации. Если постоянно изучать новые технологии, то вы рискуете остаться вечным джуном. Настоящее развитие я получал только в те моменты, когда работал с одной и той же технологией продолжительное время.

Советую остановиться на чём-то одном и только им заниматься. Со временем поток новой информации иссякнет и появятся моральные силы и желание развиваться куда-то ещё. Вот тогда уже выбирать.
10 ноя 21, 18:29    [22394368]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 157
sysn1k

А на чем пишут UDF для SQL Spark?

На любом поддерживаемом языке. Т. е. те же скала, питон,... Пишете UDF, регистрируете, после этого можете из SQL дёргать.
10 ноя 21, 20:06    [22394404]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 602
Ржавый гвоздь
sysn1k

А на чем пишут UDF для SQL Spark?

На любом поддерживаемом языке. Т. е. те же скала, питон,... Пишете UDF, регистрируете, после этого можете из SQL дёргать.

писать можно на любом, но за питон можно и в глаз получить. питон это не jvm язык, т.е. udf вытянет данные из jvm процесса, запроцессит в питончике и начнет назад в jvm к спарку толкать. мягко говоря не самая оптимальная схема.

Сообщение было отредактировано: 10 ноя 21, 20:39
10 ноя 21, 20:38    [22394420]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Александр Бердышев
Member

Откуда: Санкт-Петербург
Сообщений: 419
Scala, Python, SQL - не сильно большая разница. Scala простой, но непривычный/неудобный язык ===.
Airfliw удобнее NiFi.
Beeline жуткая параша - рекомендую 100 раз подумать, прежде чем идти в любой опсос (оператор сотовой связи) - в любом будет жопа.
А так сейчас ВТБ всех хантит на деньги выше рынка - рекомендую ещё в него попробовать...
12 ноя 21, 14:43    [22395123]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
sysn1k
Member

Откуда:
Сообщений: 131
Александр Бердышев
Scala, Python, SQL - не сильно большая разница. Scala простой, но непривычный/неудобный язык ===.
Airfliw удобнее NiFi.
Beeline жуткая параша - рекомендую 100 раз подумать, прежде чем идти в любой опсос (оператор сотовой связи) - в любом будет жопа.
А так сейчас ВТБ всех хантит на деньги выше рынка - рекомендую ещё в него попробовать...


Медиаскоп выбрал. Всегда хотел поработать с медиа данными. Хоть и Билайн предложил 150, а медиа 120.
ВТБ вообще не нравится, хоть и предлагали.
Роль сыграло время решений. Медиаскоп предоставил оффер через 2-ое суток после собеседования, а Билайн засуетился только тогда, когда было озвучено, что уже имею оффер на руках от другой компании.

Сообщение было отредактировано: 12 ноя 21, 16:58
12 ноя 21, 16:52    [22395209]     Ответить | Цитировать Сообщить модератору
 Re: Spark. SQL или SCALA  [new]
Dmitrii V
Member

Откуда:
Сообщений: 6
Чем хорош Spark тем что он многогранен, а внутри каталист сидит.
SparkSQL это DSL поверх DataFrame.
PySpark и Scala Spark это фактически биндинги к SPARK. PySpark конечно хуже так как это биндинг через Py4J.

Можно писать на SQL языке как в PySpark, Scala Spark, R Spark так и в Java Spark.

Сообщение было отредактировано: 20 ноя 21, 21:46
20 ноя 21, 21:45    [22398469]     Ответить | Цитировать Сообщить модератору
Все форумы / Работа Ответить