Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Снова про Ignite/GridGain  [new]
brotherdetjr
Member

Откуда:
Сообщений: 4
Дамы-господа,

А нет ли какой-то конкретики, почему от GridGain'а в Сбере отказались (частично)? Я читал прошлогоднее обсуждение, но там все слишком абстрактно. Вообще я правильно понимаю, что основная "высокоуровневая" проблема GG - это позиционирование продукта: от очередного (пусть и хорошего) распределенного стораджа ждали, что он решит вообще все проблемы ИТ банка?
Но мне все-таки больше интересны технические детали каких-нибудь характерных факапов и саксесс сториз, если NDA позволяет, ну и альтруизм ;)
25 май 19, 01:04    [21893597]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
brotherdetjr
Member

Откуда:
Сообщений: 4
Блин. С управлением не справился. Не туда запулил. С калькулятора сижу. Простите милостиво.
25 май 19, 01:07    [21893598]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
rfq
Member

Откуда: Санкт-Петербург
Сообщений: 228
brotherdetjr
Блин. С управлением не справился. Не туда запулил.

и что, запулили куда надо? И куда же?
25 май 19, 05:10    [21893623]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member

Откуда:
Сообщений: 2129
brotherdetjr
Вообще я правильно понимаю, что основная "высокоуровневая" проблема GG - это позиционирование продукта: от очередного (пусть и хорошего) распределенного стораджа ждали, что он решит вообще все проблемы ИТ банка?

Скорее всего именно так. Манагеры верят в серебряную пулю и иногда пробуют её купить. Но уровень качества управления эта пуля исправить не в состоянии.
25 май 19, 11:24    [21893690]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
brotherdetjr
Member

Откуда:
Сообщений: 4
alex55555,

Да, спасибо. Но, такой промах обычно выражается в ряде конкретных технических историй. Вот про них бы. Да, понимаю, что хрен кто поделится. Но вдруг.
25 май 19, 21:52    [21893955]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
Тема - супер. Самому интересно. Собеседовался в грид гейн и показалось, что у них наплохой софт и адекватные разработчики. Почему не взлетело?
27 май 19, 11:37    [21894554]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member

Откуда:
Сообщений: 2129
unregestered
Почему не взлетело?

Там одна идея интересная, остальное - ну фиг его знает, может и дерьмецо то ещё.

А сберчик же никогда не имел вменяемых манагеров, поэтому там просто нет среды для прорастания интересных идей. Всё убивается на корню бюрократией и ленью высших манагеров.
27 май 19, 12:23    [21894639]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
И чо, заглохла тема? Вот тебе и айтишный форум. Да уж ...
28 май 19, 12:05    [21895538]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
leader
Member

Откуда:
Сообщений: 264
Видимо, результаты внедрения GG настолько впечатляющи, что их решили засекретить
28 май 19, 18:45    [21896001]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
vikkiv
Member

Откуда: London
Сообщений: 2409
unregestered
И чо, заглохла тема? Вот тебе и айтишный форум. Да уж ...
Чего там "дауж"-кать? Элементарно ведь: довольно большая часть ITшников с интеллектом намного выше среднего,
следовательно и втягиваются только если выгода есть, а такую экзотику монетизировать шансов практически
около нуля т.к. рынка собственно и нет (всё где вакансий на hh.ru <50, ну или скорей <100 на всю РФ)
т.е. подписываться на эту хрень, тратить время на освоение, получение опыта - довольно рискованная затея,
(а ещё есть испытательный срок, урезание бюджетов, закрытие проектов, внутриполитические игры и пр. муть)
да и финансовая премия по сравнению с другими технологиями (по которым предложений работы куча) - вообще смешная.
мутные перспективы в будущем, денег минимум, предложений практически нет - ну какой разумный ITшник в это полезет?
разве что по обстоятельствам, случайно, либо по предварительной договорённости когда есть какие-то серьёзные гарантии.
иначе потом будет очень жалко за безвозвратно потерянное время и усилия на то что никому не нужно.
28 май 19, 19:17    [21896007]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
Довольно большая часть айтишников с интеллектом намного выше среднегосами выбирают чо юзать.
29 май 19, 02:26    [21896167]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
schwa
Member

Откуда: IT gulag
Сообщений: 7637
unregestered
Тема - супер. Самому интересно. Собеседовался в грид гейн и показалось, что у них наплохой софт и адекватные разработчики. Почему не взлетело?


Они начинали как PaaS... тогда все хотели PaaS построить. Стоит набрать в поисковике Paas companies и сразу можно понять, что ресурсов на тако у них в принципе не могло найтись. Поэтому дело не пошло и появился Gridgain и его opensource родственник Apache Ignite.

unregestered
Довольно большая часть айтишников с интеллектом намного выше среднегосами выбирают чо юзать.

Сейчас из GG/Apache Ignite можно собрать некий микро PaaS на java в котором работает нормально только то, что в основном используют клиенты (как зачастую в другом софте) - кэш. Можете рискнуть с перситенсом, SQL запросами (которые очень себя забавно ведут в некоторых случаях, забавно натыкаться на баги, когда проаннотирован SQL хз сколько лет назад). Ну есть куча интеграций (даже TensorFlow есть) - вопрос только для чего все это?

Если хочется PaaS - то в AWS, GCP и Azure можно наделать такого о чем GG не сможет никогда. + Спецов на много порядков больше (значит не будет проблем с поддержкой), материалов для обучения на порядки больше (можно легко обучать специалистов которые с этим не работали вообще - просто дай им тот же Гугл и они сами найдут), клиентов больше (значит больше исправленных и найденных проблем). Наверное даже дешевле в итоге получится.

Если же хочется использовать как базу данных - ну захотелось нового... Возьмите какой-нибудь Aerospike и не мучайтесь (Думаю даже по нему спецов больше ;) ).

Есть брать просто как сторедж непонятно каких объектов где-то там то ли в памяти то ли на диске (забыв о том, что писалось выше) в AWS/GCP/Azure то как бы зачем? Managed решение вашего Cloud provider-а точно дороже выйдет? (У меня вот дешевле выходит уж раза 3-4 наверное, а может и больше)
29 май 19, 21:36    [21897223]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
Немного странно видеть сравнения с AWS это как бы разные вещи. Если мне нужно собрать кластер с distributed ExecutorService который мне удобно из джавы дёргать что из AWS должен юзать?

И да AWS -э то очень дорого почти всегда выгодне у себя держать оборудование (если загрузка 100%) и спользовать свои сервисы.
Вот пример: мы сравнивали транскодинг используя амазон и используя ffmpeg работающий на EC2. Оказалось разница по стоимости 10 раз.
Пытались юзать EC2 для периодического батч процессинга. Оказалось стоимость SSD операций на амазон хостинге убивает всю идею.
Так что выгоднее оказалось держать свой кластер пусить и не работающий 90% времени
30 май 19, 02:28    [21897344]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
schwa,

наркомания детектед. у Aerospike нет транзакций, а у aws нет сервиса с acid бд способной на 2000 нод промасштабироватся. а сбер говорил что у них кластер GG на 2000 узлов.
GG должен был полноценные оракловые транзакции заменить в сбере, со всеми уровнями изолированности транзакций, консистентностью и прочим. в мире noSql этого в принципе пока нет
30 май 19, 08:00    [21897395]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Alexey Tomin
Member

Откуда: Самара
Сообщений: 1750
H5N1
наркомания детектед. у Aerospike нет транзакций, а у aws нет сервиса с acid бд способной на 2000 нод промасштабироватся. а сбер говорил что у них кластер GG на 2000 узлов.
GG должен был полноценные оракловые транзакции заменить в сбере, со всеми уровнями изолированности транзакций, консистентностью и прочим. в мире noSql этого в принципе пока нет


Они точно Оракла менять собирались? Вообще-то заменой может быть PostgreSQL/Greenplum.
А GG это скорее про распределённые вычисления и замена hadoop/hdfs/spark.
Я просто знаком с пропритерианским аналогом GG - там он именно для быстрых вычислений по огромным объёмам данных (DMP).
30 май 19, 08:28    [21897412]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
Alexey Tomin,

Точно. Им oltp надо с оракла уводить, пока им санкции не вырубили ibm power сервера. Аналитика там и так на хадупах
30 май 19, 08:36    [21897417]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 29037
H5N1
Им oltp надо с оракла уводить, пока им санкции не вырубили ibm power сервера.
Тогда вроде бы нужно уходить с ibm power серверов, при чём тут оракл?
30 май 19, 08:47    [21897424]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
schwa
Member

Откуда: IT gulag
Сообщений: 7637
H5N1
schwa,

наркомания детектед. у Aerospike нет транзакций, а у aws нет сервиса с acid бд способной на 2000 нод промасштабироватся. а сбер говорил что у них кластер GG на 2000 узлов.
GG должен был полноценные оракловые транзакции заменить в сбере (2), со всеми уровнями изолированности транзакций, консистентностью и прочим. в мире noSql этого в принципе пока нет (3)

1. Говорил, в сбере много чего говорят.
2. Не заменят. Т.к. еще долго не сможет уметь, что может Oracle + у GG нет ресурсов на саппорт.
3. Google Cloud Spanner
30 май 19, 08:52    [21897426]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
alexeyvg
H5N1
Им oltp надо с оракла уводить, пока им санкции не вырубили ibm power сервера.
Тогда вроде бы нужно уходить с ibm power серверов, при чём тут оракл?

Оракл тоже американский, как минимум вырубят поддержку. А судя по инциндентам без поддержки сберу никак. Все помнят как у них rac грохнулся и они у населения помощь просили?

Им надо сваливать. Rac на тяжелом олтп тоже массу сюрпризов преподносит. GG единственное что хотя бы в теории могло бы вытянуть такие нагрузки. Жаль теория разошлась с практикой. Но сваливать все равно придется
30 май 19, 09:02    [21897438]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
Оракл выдерживал как-то. Почему постгрес не потянул бы.
я так понимаю apache ignite это больше всё-таки именно распределенные рессурсоёмкие вычисления, а всяки SQL и прочие БД примочки вроде и не задумывались даже.
По идее Apache Ignite должен был юзаться для какой-то аналитики. Использовать кластерный фреймворк в качестве боевой БД как-то ммм .... необычно.
30 май 19, 09:30    [21897465]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
schwa
3. Google Cloud Spanner


Это БД, а GG это фреймворк для распределённых вычислений.
Более того, CAP теорема подсказывавет мне что где-то на вашей странице маркетинговый булшит.
И что такое "Traditional DB", из той же серии что и "обычный порошок"?
30 май 19, 09:33    [21897468]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
unregestered
Оракл выдерживал как-то. Почему постгрес не потянул бы.

хотя бы потому что постгрес пихает устаревшие версии строк пряма в датафайлы и под нагрузкой встает раком из-за сборки мусора. ну и не имеет кластера, от слова совсем.

unregestered
я так понимаю apache ignite это больше всё-таки именно распределенные рессурсоёмкие вычисления, а всяки SQL и прочие БД примочки вроде и не задумывались даже.
По идее Apache Ignite должен был юзаться для какой-то аналитики. Использовать кластерный фреймворк в качестве боевой БД как-то ммм .... необычно.

потому и мог бы быть прорывом. 2000 нод и банковская нагрузка. такое могло бы пошатнуть рынок. SQL дело десятое, понятно что там все пришлось бы переписывать. у GG есть и жаба api и со spark есть интеграция. вся вижка в консистентных запросах и полноценных acid транзакциях.
30 май 19, 09:37    [21897471]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
schwa
3. Google Cloud Spanner


не факт что это не развод хомячков, как с их cloud sql. я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.
30 май 19, 09:41    [21897477]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
H5N1
потому и мог бы быть прорывом. 2000 нод и банковская нагрузка. такое могло бы пошатнуть рынок. SQL дело десятое, понятно что там все пришлось бы переписывать. у GG есть и жаба api и со spark есть интеграция. вся вижка в консистентных запросах и полноценных acid транзакциях.

это настолько шапкозакидательский подход, что попахивает откатами
30 май 19, 10:58    [21897527]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
а сберу надо проллобировать снятие санкций, а не уходить с оракла. Это же технологческий тупик.
30 май 19, 10:59    [21897528]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 397
H5N1
не факт что это не развод хомячков, как с их cloud sql. я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.


Я бы поостерёгся вообще с гуглом дело иметь. Все знают какая у них поддержка
30 май 19, 11:26    [21897550]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
vimba
Member

Откуда: Санкт-Петербург
Сообщений: 2205
Что там у сбера я не знаю, но рискну предположить, что все проблемы у сбера с GG от архитекторов, которые решили построить на базе него вундервафлю, которая умеет всё и сразу, и решает все проблемы, и не нашлось авторитетных девелоперов, которые бы послали архитекторов куда подальше. У нас в Ringcentral то же есть такой один, обкурится там в калифорнии конопли на хакатонах и давай фантазировать как он GG кластера на сотни нод будет строить, и на одном кластер шарить между всеми микросервисами. Его естественно никто не слушает, все кластера компактные в пределах 10 нод и решают каждый свою задачу, в итоге бед с GG мы всё равно нахлебались не мало(и до сих пор хлебаем), но не решаемых проблем не возникает и результатом по крайней мере наша команда довольна, могу четыре с минусом ему поставить.
30 май 19, 11:30    [21897555]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
Ivan Durak
H5N1
потому и мог бы быть прорывом. 2000 нод и банковская нагрузка. такое могло бы пошатнуть рынок. SQL дело десятое, понятно что там все пришлось бы переписывать. у GG есть и жаба api и со spark есть интеграция. вся вижка в консистентных запросах и полноценных acid транзакциях.

это настолько шапкозакидательский подход, что попахивает откатами

с чего бы ? мы юзаем spark + cloudera kudu. там нет полноценных транзакций но уже есть UNDO, REDO логи прямо как у оракла, есть консистентное чтение на указанный таймстемп. при этом дребедень типа масштабируемый на сотни узлов. т.е. до полноценных транзакций не столь уж далеко. у GG на сколько я смотрел была достаточно схожие подходы и тоже со спарком интеграция.
30 май 19, 11:34    [21897561]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
H5N1
с чего бы ? мы юзаем spark + cloudera kudu. там нет полноценных транзакций но уже есть UNDO, REDO логи прямо как у оракла, есть консистентное чтение на указанный таймстемп. при этом дребедень типа масштабируемый на сотни узлов. т.е. до полноценных транзакций не столь уж далеко. у GG на сколько я смотрел была достаточно схожие подходы и тоже со спарком интеграция.

да, забыл. раз у GG есть интеграция со спарк, значит есть его оптимизатор. значит умеет и SQL кушать вполне прилично. там и аналитические запросы и CTE. но если переписывать, понятно что там dataframe api должен использоваться.
30 май 19, 11:45    [21897572]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member

Откуда:
Сообщений: 2129
H5N1
я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.

А они простой совет ночью запускать чистку мусора не предлагали? Или предлагали, но пропущено мимо ушей?
30 май 19, 12:47    [21897624]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2285
H5N1
Ivan Durak
пропущено...

это настолько шапкозакидательский подход, что попахивает откатами

с чего бы ?

Ну может быть с того, что в совете директоров гридгейна сидит Орловский, бывший директор СБТ и сбер один из основных инвесторов ГГ. Кроме сбера никто больше ГГ в РФ натянуть на всё не пытается, все остальные используют его в своей узкой специализации. Из 13-ти вакансий на HH с упоминанием ГГ - 7 вакансий в сбер, две в сам ГГ, еще две агенства/интеграторы, которые ищут в сбер.
30 май 19, 13:02    [21897640]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
alex55555
H5N1
я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.

А они простой совет ночью запускать чистку мусора не предлагали? Или предлагали, но пропущено мимо ушей?

какой мусор у innodb с полноценным UNDO логом ? даже если бы был мусор, читать 2 минуты 100 мб не выйдет даже на IDE дисках.

Бумбараш
Кроме сбера никто больше ГГ в РФ натянуть на всё не пытается, все остальные используют его в своей узкой специализации.

а потом, когда у остальных перестанет запукасться оракл будут делать круглые глаза и говорить что они же не втб, они не хуавей. они не думали что ...
сбер хотя бы что-то делает,пусть и бесплодные, но попытки.
30 май 19, 13:40    [21897675]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
H5N1
H5N1
с чего бы ? мы юзаем spark + cloudera kudu. там нет полноценных транзакций но уже есть UNDO, REDO логи прямо как у оракла, есть консистентное чтение на указанный таймстемп. при этом дребедень типа масштабируемый на сотни узлов. т.е. до полноценных транзакций не столь уж далеко. у GG на сколько я смотрел была достаточно схожие подходы и тоже со спарком интеграция.

да, забыл. раз у GG есть интеграция со спарк, значит есть его оптимизатор. значит умеет и SQL кушать вполне прилично. там и аналитические запросы и CTE. но если переписывать, понятно что там dataframe api должен использоваться.

"раз у GG есть интеграция со спарк, значит есть его оптимизатор. значит умеет и SQL кушать вполне прилично. "
Рассуждения уровня CEO не меньше. Ибо кто по-меньше уровнем, такой булшит бездоказательно не несут, а проверяют.
30 май 19, 14:17    [21897711]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Вован Барабан
Member

Откуда:
Сообщений: 73
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач
30 май 19, 16:06    [21897810]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
qasta
Member

Откуда:
Сообщений: 74
Ivan Durak
а сберу надо проллобировать снятие санкций, а не уходить с оракла. Это же технологческий тупик.

Долго искал тег "сарказм", но потом взглянул на ник... Или вы это серьёзно написали?
30 май 19, 16:42    [21897854]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
leader
Member

Откуда:
Сообщений: 264
Вован Барабан
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач


Кривую Гартнера видел? Там как раз про "хайп начался, хайп прошел"
30 май 19, 16:46    [21897858]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 29037
H5N1
alexeyvg
Тогда вроде бы нужно уходить с ibm power серверов, при чём тут оракл?

Оракл тоже американский, как минимум вырубят поддержку. А судя по инциндентам без поддержки сберу никак. Все помнят как у них rac грохнулся и они у населения помощь просили?
Так GG тоже американский, как минимум вырубят поддержку.
30 май 19, 17:07    [21897891]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
Ivan Durak
спакк для oltp ???

да, spark streaming читает с кафки и процессит события аля реалтайм. но нужны acid транзакции и консистентное чтение на единый момент времени.

Вован Барабан
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач

втб вырубили sap, хуавею вырубили андройд. но сбер конечно же в домике.
30 май 19, 17:13    [21897897]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
H5N1
втб вырубили sap

не втб, силовым машинам https://roem.ru/07-05-2018/270749/sap-otklyuchila-silovye-mashiny-ot-hybris/
30 май 19, 17:41    [21897913]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2285
H5N1
а потом, когда у остальных перестанет запукасться оракл будут делать круглые глаза и говорить что они же не втб, они не хуавей. они не думали что ...
сбер хотя бы что-то делает,пусть и бесплодные, но попытки.

Так все делают, везде пытаются заменить оракл в каких-то местах. Только более подходящими продуктами. А не натягивают ежа на глобус, как в случае Сбера и ГГ.
30 май 19, 18:01    [21897927]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
Бумбараш
H5N1
а потом, когда у остальных перестанет запукасться оракл будут делать круглые глаза и говорить что они же не втб, они не хуавей. они не думали что ...
сбер хотя бы что-то делает,пусть и бесплодные, но попытки.

Так все делают, везде пытаются заменить оракл в каких-то местах. Только более подходящими продуктами. А не натягивают ежа на глобус, как в случае Сбера и ГГ.

ну расскажи где заменили олтп размером с 64 power ?
меняют dwh и аналитику. олтп банка хрен ты заменишь.
30 май 19, 18:54    [21897948]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Вован Барабан
Member

Откуда:
Сообщений: 73
leader
Вован Барабан
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач


Кривую Гартнера видел? Там как раз про "хайп начался, хайп прошел"

гартнера вашего на одном месте вертел, в 2006 году внедрял с их подачи новый класс систем, нанимали их консультантов, хайп начался, через 2 года прошёл, консалтинг такой консалтинг
30 май 19, 21:44    [21898031]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Вован Барабан
Member

Откуда:
Сообщений: 73
в втб игнита больше нет и не будет, ogm под игнит лютый треш
какая платформа для бизнеса в втб внедряется - ti+, это типа сапа. а дбо на микросеовисах даже в продакшн не пошло, а это релиз 1.0, сейчас уже 1.3 делают, наверно

с сбере все системы для бизнеса что сейчас внедряются на оракле, но сбер большой, могу не знать всего
30 май 19, 21:56    [21898045]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member

Откуда:
Сообщений: 2129
Бумбараш
Ну может быть с того, что в совете директоров гридгейна сидит Орловский, бывший директор СБТ

То есть сберчик вложился в этот гейн как в стартап? Вообще-то похоже на правду, ибо именно так большие конторы поступают - скупают подающих надежды и пытаются как-то к себе прикрутить. Но сберчик не имеет на эту тему компетенций, а потому весьма вероятно, что скупил откровенное г. Ну да не он один такой, в единорогов и прочих розовых пони сегодня весь большой бизнес сотни миллиардов вкладывает.
31 май 19, 13:21    [21898669]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2285
Яндекс услышал Yo!

https://events.yandex.ru/events/meetings/jun-10/

10 июня мы проведём встречу, посвященную Yandex Database (YDB) — новой распределённой отказоустойчивой СУБД. Preview-версия этой newSQL базы данных вскоре будет доступна пользователям Яндекс.Облака.

На встрече мы обсудим архитектуру YDB, её возможности и преимущества перед другими СУБД. Кроме того, мы поделимся своим опытом работы с YDB внутри Яндекса.

Мероприятие будет интересно всем, кто работает с высоконагруженными OLTP-системами и распределенными базами данных.


К слову у яндекса уже давно есть свой хадуп под названием YT. Правда за пределами яндекса он не получил распространения. Не знаю, выпускали ли его наружу.
2 июн 19, 02:19    [21899685]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
Бумбараш
Яндекс услышал Yo!

https://events.yandex.ru/events/meetings/jun-10/

10 июня мы проведём встречу, посвященную Yandex Database (YDB) — новой распределённой отказоустойчивой СУБД. Preview-версия этой newSQL базы данных вскоре будет доступна пользователям Яндекс.Облака.

На встрече мы обсудим архитектуру YDB, её возможности и преимущества перед другими СУБД. Кроме того, мы поделимся своим опытом работы с YDB внутри Яндекса.

Мероприятие будет интересно всем, кто работает с высоконагруженными OLTP-системами и распределенными базами данных.


К слову у яндекса уже давно есть свой хадуп под названием YT. Правда за пределами яндекса он не получил распространения. Не знаю, выпускали ли его наружу.

выглядит интересно. судя по этому концепции напоминают cloudera kudu. тоже таблеты и raft consensus. подождем деталей ...
2 июн 19, 12:27    [21899749]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
vimba
Member

Откуда: Санкт-Петербург
Сообщений: 2205
H5N1

А можете для ещё более тупых разжевать три следующих пункта:
  • Если в Mysql мусора нет, то зачем тогда команда OPTIMIZE TABLE? Осталась для легаси движков типа MyIsam и для InnoDb не актуальна?
  • Как в redo log помогает избавиться от мусорных записей при UPDATE для случая когда In-Place UPDATE невозможен? То есть апдейтится столбец переменной длины, раньше в нём лежало 20 байт, а после аптейта стало 200 байт. В моём наивном понимании жизни, старую строчку нужно пометить удаленной, скопировать на новое место выделив под неё больше памяти, вот старая версия строки и породила мусор. Как с эти бороться? Теоритически табличка хранится по страничкам, страничка не большая и всё равно должна быть сохранена вся целиком, поэтому казалось бы можно было сразу подвинуть влево все записи стоящии после старой версии, но тогда изменяться их физические адреса и получается, что даже первичный ключ в InnoDb не может содержать физический адрес строки а может только идентификатор страницы, и нужно внутри страницы хранить маппинг ключей на физицескую позицию отъедая эффективно доступное пространство, что-то я сомневаюсь что таким путём пошли, там же ещё при ролбэке нужно всё это хозяйство взад возвращать, а как это сделать если паралельная транзакция уже успела захватить освободившиеся на странице пространство, страницы блочить при апдейтах, а не строки?
  • Этот вопрос сильно похож на предидущий, но хочется понять механику, как redo log помогает избавиться от мусорных записей при DELETE?
  • 3 июн 19, 09:30    [21900128]     Ответить | Цитировать Сообщить модератору
     Re: Снова про Ignite/GridGain  [new]
    H5N1
    Member

    Откуда: Yo.! из "Сравнения субд"
    Сообщений: 218
    vimba,

    redo это wal лог, от мусора избавляет другая структура - undo лог. измененные записи уходят в undo лог, который по кругу со временем перезаписывается. соответственно в датафайлах лишь актуальные строки и никакого мусора. делит, да. может оставлять "дыры". я деталей по mysql не знаю, но в оракле место освобожденное делитами прекрасно перериспользуется следующими инсертами.
    но у гула явно не с этим проблема. у меня эта табличка уже 3 минуты читает 1 строку при этом датафайл таблички порядка 180 мб. на ванильном mysql такой хрени не добиться.
    3 июн 19, 09:59    [21900152]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: 1 2      [все]
    Все форумы / Работа Ответить