Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Снова про Ignite/GridGain  [new]
brotherdetjr
Member

Откуда:
Сообщений: 4
Дамы-господа,

А нет ли какой-то конкретики, почему от GridGain'а в Сбере отказались (частично)? Я читал прошлогоднее обсуждение, но там все слишком абстрактно. Вообще я правильно понимаю, что основная "высокоуровневая" проблема GG - это позиционирование продукта: от очередного (пусть и хорошего) распределенного стораджа ждали, что он решит вообще все проблемы ИТ банка?
Но мне все-таки больше интересны технические детали каких-нибудь характерных факапов и саксесс сториз, если NDA позволяет, ну и альтруизм ;)
25 май 19, 01:04    [21893597]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
brotherdetjr
Member

Откуда:
Сообщений: 4
Блин. С управлением не справился. Не туда запулил. С калькулятора сижу. Простите милостиво.
25 май 19, 01:07    [21893598]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
rfq
Member

Откуда: Санкт-Петербург
Сообщений: 227
brotherdetjr
Блин. С управлением не справился. Не туда запулил.

и что, запулили куда надо? И куда же?
25 май 19, 05:10    [21893623]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member [заблокирован]

Откуда:
Сообщений: 2129
brotherdetjr
Вообще я правильно понимаю, что основная "высокоуровневая" проблема GG - это позиционирование продукта: от очередного (пусть и хорошего) распределенного стораджа ждали, что он решит вообще все проблемы ИТ банка?

Скорее всего именно так. Манагеры верят в серебряную пулю и иногда пробуют её купить. Но уровень качества управления эта пуля исправить не в состоянии.
25 май 19, 11:24    [21893690]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
brotherdetjr
Member

Откуда:
Сообщений: 4
alex55555,

Да, спасибо. Но, такой промах обычно выражается в ряде конкретных технических историй. Вот про них бы. Да, понимаю, что хрен кто поделится. Но вдруг.
25 май 19, 21:52    [21893955]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
Тема - супер. Самому интересно. Собеседовался в грид гейн и показалось, что у них наплохой софт и адекватные разработчики. Почему не взлетело?
27 май 19, 11:37    [21894554]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member [заблокирован]

Откуда:
Сообщений: 2129
unregestered
Почему не взлетело?

Там одна идея интересная, остальное - ну фиг его знает, может и дерьмецо то ещё.

А сберчик же никогда не имел вменяемых манагеров, поэтому там просто нет среды для прорастания интересных идей. Всё убивается на корню бюрократией и ленью высших манагеров.
27 май 19, 12:23    [21894639]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
И чо, заглохла тема? Вот тебе и айтишный форум. Да уж ...
28 май 19, 12:05    [21895538]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
leader
Member

Откуда:
Сообщений: 264
Видимо, результаты внедрения GG настолько впечатляющи, что их решили засекретить
28 май 19, 18:45    [21896001]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
vikkiv
Member

Откуда: London
Сообщений: 2117
unregestered
И чо, заглохла тема? Вот тебе и айтишный форум. Да уж ...
Чего там "дауж"-кать? Элементарно ведь: довольно большая часть ITшников с интеллектом намного выше среднего,
следовательно и втягиваются только если выгода есть, а такую экзотику монетизировать шансов практически
около нуля т.к. рынка собственно и нет (всё где вакансий на hh.ru <50, ну или скорей <100 на всю РФ)
т.е. подписываться на эту хрень, тратить время на освоение, получение опыта - довольно рискованная затея,
(а ещё есть испытательный срок, урезание бюджетов, закрытие проектов, внутриполитические игры и пр. муть)
да и финансовая премия по сравнению с другими технологиями (по которым предложений работы куча) - вообще смешная.
мутные перспективы в будущем, денег минимум, предложений практически нет - ну какой разумный ITшник в это полезет?
разве что по обстоятельствам, случайно, либо по предварительной договорённости когда есть какие-то серьёзные гарантии.
иначе потом будет очень жалко за безвозвратно потерянное время и усилия на то что никому не нужно.
28 май 19, 19:17    [21896007]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
Довольно большая часть айтишников с интеллектом намного выше среднегосами выбирают чо юзать.
29 май 19, 02:26    [21896167]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
schwa
Member

Откуда: IT gulag
Сообщений: 7637
unregestered
Тема - супер. Самому интересно. Собеседовался в грид гейн и показалось, что у них наплохой софт и адекватные разработчики. Почему не взлетело?


Они начинали как PaaS... тогда все хотели PaaS построить. Стоит набрать в поисковике Paas companies и сразу можно понять, что ресурсов на тако у них в принципе не могло найтись. Поэтому дело не пошло и появился Gridgain и его opensource родственник Apache Ignite.

unregestered
Довольно большая часть айтишников с интеллектом намного выше среднегосами выбирают чо юзать.

Сейчас из GG/Apache Ignite можно собрать некий микро PaaS на java в котором работает нормально только то, что в основном используют клиенты (как зачастую в другом софте) - кэш. Можете рискнуть с перситенсом, SQL запросами (которые очень себя забавно ведут в некоторых случаях, забавно натыкаться на баги, когда проаннотирован SQL хз сколько лет назад). Ну есть куча интеграций (даже TensorFlow есть) - вопрос только для чего все это?

Если хочется PaaS - то в AWS, GCP и Azure можно наделать такого о чем GG не сможет никогда. + Спецов на много порядков больше (значит не будет проблем с поддержкой), материалов для обучения на порядки больше (можно легко обучать специалистов которые с этим не работали вообще - просто дай им тот же Гугл и они сами найдут), клиентов больше (значит больше исправленных и найденных проблем). Наверное даже дешевле в итоге получится.

Если же хочется использовать как базу данных - ну захотелось нового... Возьмите какой-нибудь Aerospike и не мучайтесь (Думаю даже по нему спецов больше ;) ).

Есть брать просто как сторедж непонятно каких объектов где-то там то ли в памяти то ли на диске (забыв о том, что писалось выше) в AWS/GCP/Azure то как бы зачем? Managed решение вашего Cloud provider-а точно дороже выйдет? (У меня вот дешевле выходит уж раза 3-4 наверное, а может и больше)
29 май 19, 21:36    [21897223]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
Немного странно видеть сравнения с AWS это как бы разные вещи. Если мне нужно собрать кластер с distributed ExecutorService который мне удобно из джавы дёргать что из AWS должен юзать?

И да AWS -э то очень дорого почти всегда выгодне у себя держать оборудование (если загрузка 100%) и спользовать свои сервисы.
Вот пример: мы сравнивали транскодинг используя амазон и используя ffmpeg работающий на EC2. Оказалось разница по стоимости 10 раз.
Пытались юзать EC2 для периодического батч процессинга. Оказалось стоимость SSD операций на амазон хостинге убивает всю идею.
Так что выгоднее оказалось держать свой кластер пусить и не работающий 90% времени
30 май 19, 02:28    [21897344]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
schwa,

наркомания детектед. у Aerospike нет транзакций, а у aws нет сервиса с acid бд способной на 2000 нод промасштабироватся. а сбер говорил что у них кластер GG на 2000 узлов.
GG должен был полноценные оракловые транзакции заменить в сбере, со всеми уровнями изолированности транзакций, консистентностью и прочим. в мире noSql этого в принципе пока нет
30 май 19, 08:00    [21897395]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Alexey Tomin
Member

Откуда: Самара
Сообщений: 1704
H5N1
наркомания детектед. у Aerospike нет транзакций, а у aws нет сервиса с acid бд способной на 2000 нод промасштабироватся. а сбер говорил что у них кластер GG на 2000 узлов.
GG должен был полноценные оракловые транзакции заменить в сбере, со всеми уровнями изолированности транзакций, консистентностью и прочим. в мире noSql этого в принципе пока нет


Они точно Оракла менять собирались? Вообще-то заменой может быть PostgreSQL/Greenplum.
А GG это скорее про распределённые вычисления и замена hadoop/hdfs/spark.
Я просто знаком с пропритерианским аналогом GG - там он именно для быстрых вычислений по огромным объёмам данных (DMP).
30 май 19, 08:28    [21897412]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
Alexey Tomin,

Точно. Им oltp надо с оракла уводить, пока им санкции не вырубили ibm power сервера. Аналитика там и так на хадупах
30 май 19, 08:36    [21897417]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 28531
H5N1
Им oltp надо с оракла уводить, пока им санкции не вырубили ibm power сервера.
Тогда вроде бы нужно уходить с ibm power серверов, при чём тут оракл?
30 май 19, 08:47    [21897424]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
schwa
Member

Откуда: IT gulag
Сообщений: 7637
H5N1
schwa,

наркомания детектед. у Aerospike нет транзакций, а у aws нет сервиса с acid бд способной на 2000 нод промасштабироватся. а сбер говорил что у них кластер GG на 2000 узлов.
GG должен был полноценные оракловые транзакции заменить в сбере (2), со всеми уровнями изолированности транзакций, консистентностью и прочим. в мире noSql этого в принципе пока нет (3)

1. Говорил, в сбере много чего говорят.
2. Не заменят. Т.к. еще долго не сможет уметь, что может Oracle + у GG нет ресурсов на саппорт.
3. Google Cloud Spanner
30 май 19, 08:52    [21897426]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
alexeyvg
H5N1
Им oltp надо с оракла уводить, пока им санкции не вырубили ibm power сервера.
Тогда вроде бы нужно уходить с ibm power серверов, при чём тут оракл?

Оракл тоже американский, как минимум вырубят поддержку. А судя по инциндентам без поддержки сберу никак. Все помнят как у них rac грохнулся и они у населения помощь просили?

Им надо сваливать. Rac на тяжелом олтп тоже массу сюрпризов преподносит. GG единственное что хотя бы в теории могло бы вытянуть такие нагрузки. Жаль теория разошлась с практикой. Но сваливать все равно придется
30 май 19, 09:02    [21897438]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
Оракл выдерживал как-то. Почему постгрес не потянул бы.
я так понимаю apache ignite это больше всё-таки именно распределенные рессурсоёмкие вычисления, а всяки SQL и прочие БД примочки вроде и не задумывались даже.
По идее Apache Ignite должен был юзаться для какой-то аналитики. Использовать кластерный фреймворк в качестве боевой БД как-то ммм .... необычно.
30 май 19, 09:30    [21897465]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
schwa
3. Google Cloud Spanner


Это БД, а GG это фреймворк для распределённых вычислений.
Более того, CAP теорема подсказывавет мне что где-то на вашей странице маркетинговый булшит.
И что такое "Traditional DB", из той же серии что и "обычный порошок"?
30 май 19, 09:33    [21897468]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
unregestered
Оракл выдерживал как-то. Почему постгрес не потянул бы.

хотя бы потому что постгрес пихает устаревшие версии строк пряма в датафайлы и под нагрузкой встает раком из-за сборки мусора. ну и не имеет кластера, от слова совсем.

unregestered
я так понимаю apache ignite это больше всё-таки именно распределенные рессурсоёмкие вычисления, а всяки SQL и прочие БД примочки вроде и не задумывались даже.
По идее Apache Ignite должен был юзаться для какой-то аналитики. Использовать кластерный фреймворк в качестве боевой БД как-то ммм .... необычно.

потому и мог бы быть прорывом. 2000 нод и банковская нагрузка. такое могло бы пошатнуть рынок. SQL дело десятое, понятно что там все пришлось бы переписывать. у GG есть и жаба api и со spark есть интеграция. вся вижка в консистентных запросах и полноценных acid транзакциях.
30 май 19, 09:37    [21897471]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
schwa
3. Google Cloud Spanner


не факт что это не развод хомячков, как с их cloud sql. я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.
30 май 19, 09:41    [21897477]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3603
H5N1
потому и мог бы быть прорывом. 2000 нод и банковская нагрузка. такое могло бы пошатнуть рынок. SQL дело десятое, понятно что там все пришлось бы переписывать. у GG есть и жаба api и со spark есть интеграция. вся вижка в консистентных запросах и полноценных acid транзакциях.

это настолько шапкозакидательский подход, что попахивает откатами
30 май 19, 10:58    [21897527]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3603
а сберу надо проллобировать снятие санкций, а не уходить с оракла. Это же технологческий тупик.
30 май 19, 10:59    [21897528]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Работа Ответить