Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Снова про Ignite/GridGain  [new]
unregestered
Member

Откуда:
Сообщений: 392
H5N1
не факт что это не развод хомячков, как с их cloud sql. я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.


Я бы поостерёгся вообще с гуглом дело иметь. Все знают какая у них поддержка
30 май 19, 11:26    [21897550]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
vimba
Member

Откуда: Санкт-Петербург
Сообщений: 2199
Что там у сбера я не знаю, но рискну предположить, что все проблемы у сбера с GG от архитекторов, которые решили построить на базе него вундервафлю, которая умеет всё и сразу, и решает все проблемы, и не нашлось авторитетных девелоперов, которые бы послали архитекторов куда подальше. У нас в Ringcentral то же есть такой один, обкурится там в калифорнии конопли на хакатонах и давай фантазировать как он GG кластера на сотни нод будет строить, и на одном кластер шарить между всеми микросервисами. Его естественно никто не слушает, все кластера компактные в пределах 10 нод и решают каждый свою задачу, в итоге бед с GG мы всё равно нахлебались не мало(и до сих пор хлебаем), но не решаемых проблем не возникает и результатом по крайней мере наша команда довольна, могу четыре с минусом ему поставить.
30 май 19, 11:30    [21897555]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
Ivan Durak
H5N1
потому и мог бы быть прорывом. 2000 нод и банковская нагрузка. такое могло бы пошатнуть рынок. SQL дело десятое, понятно что там все пришлось бы переписывать. у GG есть и жаба api и со spark есть интеграция. вся вижка в консистентных запросах и полноценных acid транзакциях.

это настолько шапкозакидательский подход, что попахивает откатами

с чего бы ? мы юзаем spark + cloudera kudu. там нет полноценных транзакций но уже есть UNDO, REDO логи прямо как у оракла, есть консистентное чтение на указанный таймстемп. при этом дребедень типа масштабируемый на сотни узлов. т.е. до полноценных транзакций не столь уж далеко. у GG на сколько я смотрел была достаточно схожие подходы и тоже со спарком интеграция.
30 май 19, 11:34    [21897561]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
H5N1
с чего бы ? мы юзаем spark + cloudera kudu. там нет полноценных транзакций но уже есть UNDO, REDO логи прямо как у оракла, есть консистентное чтение на указанный таймстемп. при этом дребедень типа масштабируемый на сотни узлов. т.е. до полноценных транзакций не столь уж далеко. у GG на сколько я смотрел была достаточно схожие подходы и тоже со спарком интеграция.

да, забыл. раз у GG есть интеграция со спарк, значит есть его оптимизатор. значит умеет и SQL кушать вполне прилично. там и аналитические запросы и CTE. но если переписывать, понятно что там dataframe api должен использоваться.
30 май 19, 11:45    [21897572]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member [заблокирован]

Откуда:
Сообщений: 2129
H5N1
я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.

А они простой совет ночью запускать чистку мусора не предлагали? Или предлагали, но пропущено мимо ушей?
30 май 19, 12:47    [21897624]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2214
H5N1
Ivan Durak
пропущено...

это настолько шапкозакидательский подход, что попахивает откатами

с чего бы ?

Ну может быть с того, что в совете директоров гридгейна сидит Орловский, бывший директор СБТ и сбер один из основных инвесторов ГГ. Кроме сбера никто больше ГГ в РФ натянуть на всё не пытается, все остальные используют его в своей узкой специализации. Из 13-ти вакансий на HH с упоминанием ГГ - 7 вакансий в сбер, две в сам ГГ, еще две агенства/интеграторы, которые ищут в сбер.
30 май 19, 13:02    [21897640]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
alex55555
H5N1
я попробовал mysql gen 1. заинсертил 1М записией, удалил весь миллион оставил 1 запись. теперь выборка этой одной записи занимает 2 минуты. ну и куда с такими поделками ? причем супорт не понимает чем я недоволен. считает фуллскан одной записи 2 минуты это ок, ведь дата файл раздуло аж на 100 мб.
я бы таким бизнес не доверил.

А они простой совет ночью запускать чистку мусора не предлагали? Или предлагали, но пропущено мимо ушей?

какой мусор у innodb с полноценным UNDO логом ? даже если бы был мусор, читать 2 минуты 100 мб не выйдет даже на IDE дисках.

Бумбараш
Кроме сбера никто больше ГГ в РФ натянуть на всё не пытается, все остальные используют его в своей узкой специализации.

а потом, когда у остальных перестанет запукасться оракл будут делать круглые глаза и говорить что они же не втб, они не хуавей. они не думали что ...
сбер хотя бы что-то делает,пусть и бесплодные, но попытки.
30 май 19, 13:40    [21897675]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3603
H5N1
H5N1
с чего бы ? мы юзаем spark + cloudera kudu. там нет полноценных транзакций но уже есть UNDO, REDO логи прямо как у оракла, есть консистентное чтение на указанный таймстемп. при этом дребедень типа масштабируемый на сотни узлов. т.е. до полноценных транзакций не столь уж далеко. у GG на сколько я смотрел была достаточно схожие подходы и тоже со спарком интеграция.

да, забыл. раз у GG есть интеграция со спарк, значит есть его оптимизатор. значит умеет и SQL кушать вполне прилично. там и аналитические запросы и CTE. но если переписывать, понятно что там dataframe api должен использоваться.

"раз у GG есть интеграция со спарк, значит есть его оптимизатор. значит умеет и SQL кушать вполне прилично. "
Рассуждения уровня CEO не меньше. Ибо кто по-меньше уровнем, такой булшит бездоказательно не несут, а проверяют.
30 май 19, 14:17    [21897711]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Вован Барабан
Member

Откуда:
Сообщений: 52
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач
30 май 19, 16:06    [21897810]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
qasta
Member

Откуда:
Сообщений: 66
Ivan Durak
а сберу надо проллобировать снятие санкций, а не уходить с оракла. Это же технологческий тупик.

Долго искал тег "сарказм", но потом взглянул на ник... Или вы это серьёзно написали?
30 май 19, 16:42    [21897854]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
leader
Member

Откуда:
Сообщений: 264
Вован Барабан
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач


Кривую Гартнера видел? Там как раз про "хайп начался, хайп прошел"
30 май 19, 16:46    [21897858]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 28531
H5N1
alexeyvg
Тогда вроде бы нужно уходить с ibm power серверов, при чём тут оракл?

Оракл тоже американский, как минимум вырубят поддержку. А судя по инциндентам без поддержки сберу никак. Все помнят как у них rac грохнулся и они у населения помощь просили?
Так GG тоже американский, как минимум вырубят поддержку.
30 май 19, 17:07    [21897891]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
Ivan Durak
спакк для oltp ???

да, spark streaming читает с кафки и процессит события аля реалтайм. но нужны acid транзакции и консистентное чтение на единый момент времени.

Вован Барабан
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач

втб вырубили sap, хуавею вырубили андройд. но сбер конечно же в домике.
30 май 19, 17:13    [21897897]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
H5N1
втб вырубили sap

не втб, силовым машинам https://roem.ru/07-05-2018/270749/sap-otklyuchila-silovye-mashiny-ot-hybris/
30 май 19, 17:41    [21897913]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2214
H5N1
а потом, когда у остальных перестанет запукасться оракл будут делать круглые глаза и говорить что они же не втб, они не хуавей. они не думали что ...
сбер хотя бы что-то делает,пусть и бесплодные, но попытки.

Так все делают, везде пытаются заменить оракл в каких-то местах. Только более подходящими продуктами. А не натягивают ежа на глобус, как в случае Сбера и ГГ.
30 май 19, 18:01    [21897927]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
Бумбараш
H5N1
а потом, когда у остальных перестанет запукасться оракл будут делать круглые глаза и говорить что они же не втб, они не хуавей. они не думали что ...
сбер хотя бы что-то делает,пусть и бесплодные, но попытки.

Так все делают, везде пытаются заменить оракл в каких-то местах. Только более подходящими продуктами. А не натягивают ежа на глобус, как в случае Сбера и ГГ.

ну расскажи где заменили олтп размером с 64 power ?
меняют dwh и аналитику. олтп банка хрен ты заменишь.
30 май 19, 18:54    [21897948]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Вован Барабан
Member

Откуда:
Сообщений: 52
leader
Вован Барабан
бизнесу особенно в банках нужна консистентность, так что нечего больше обсуждать, хайп начался, хайп прошел, ораклы будут работать еще 100 лет для реальных бизнес-задач


Кривую Гартнера видел? Там как раз про "хайп начался, хайп прошел"

гартнера вашего на одном месте вертел, в 2006 году внедрял с их подачи новый класс систем, нанимали их консультантов, хайп начался, через 2 года прошёл, консалтинг такой консалтинг
30 май 19, 21:44    [21898031]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Вован Барабан
Member

Откуда:
Сообщений: 52
в втб игнита больше нет и не будет, ogm под игнит лютый треш
какая платформа для бизнеса в втб внедряется - ti+, это типа сапа. а дбо на микросеовисах даже в продакшн не пошло, а это релиз 1.0, сейчас уже 1.3 делают, наверно

с сбере все системы для бизнеса что сейчас внедряются на оракле, но сбер большой, могу не знать всего
30 май 19, 21:56    [21898045]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
alex55555
Member [заблокирован]

Откуда:
Сообщений: 2129
Бумбараш
Ну может быть с того, что в совете директоров гридгейна сидит Орловский, бывший директор СБТ

То есть сберчик вложился в этот гейн как в стартап? Вообще-то похоже на правду, ибо именно так большие конторы поступают - скупают подающих надежды и пытаются как-то к себе прикрутить. Но сберчик не имеет на эту тему компетенций, а потому весьма вероятно, что скупил откровенное г. Ну да не он один такой, в единорогов и прочих розовых пони сегодня весь большой бизнес сотни миллиардов вкладывает.
31 май 19, 13:21    [21898669]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2214
Яндекс услышал Yo!

https://events.yandex.ru/events/meetings/jun-10/

10 июня мы проведём встречу, посвященную Yandex Database (YDB) — новой распределённой отказоустойчивой СУБД. Preview-версия этой newSQL базы данных вскоре будет доступна пользователям Яндекс.Облака.

На встрече мы обсудим архитектуру YDB, её возможности и преимущества перед другими СУБД. Кроме того, мы поделимся своим опытом работы с YDB внутри Яндекса.

Мероприятие будет интересно всем, кто работает с высоконагруженными OLTP-системами и распределенными базами данных.


К слову у яндекса уже давно есть свой хадуп под названием YT. Правда за пределами яндекса он не получил распространения. Не знаю, выпускали ли его наружу.
2 июн 19, 02:19    [21899685]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 209
Бумбараш
Яндекс услышал Yo!

https://events.yandex.ru/events/meetings/jun-10/

10 июня мы проведём встречу, посвященную Yandex Database (YDB) — новой распределённой отказоустойчивой СУБД. Preview-версия этой newSQL базы данных вскоре будет доступна пользователям Яндекс.Облака.

На встрече мы обсудим архитектуру YDB, её возможности и преимущества перед другими СУБД. Кроме того, мы поделимся своим опытом работы с YDB внутри Яндекса.

Мероприятие будет интересно всем, кто работает с высоконагруженными OLTP-системами и распределенными базами данных.


К слову у яндекса уже давно есть свой хадуп под названием YT. Правда за пределами яндекса он не получил распространения. Не знаю, выпускали ли его наружу.

выглядит интересно. судя по этому концепции напоминают cloudera kudu. тоже таблеты и raft consensus. подождем деталей ...
2 июн 19, 12:27    [21899749]     Ответить | Цитировать Сообщить модератору
 Re: Снова про Ignite/GridGain  [new]
vimba
Member

Откуда: Санкт-Петербург
Сообщений: 2199
H5N1

А можете для ещё более тупых разжевать три следующих пункта:
  • Если в Mysql мусора нет, то зачем тогда команда OPTIMIZE TABLE? Осталась для легаси движков типа MyIsam и для InnoDb не актуальна?
  • Как в redo log помогает избавиться от мусорных записей при UPDATE для случая когда In-Place UPDATE невозможен? То есть апдейтится столбец переменной длины, раньше в нём лежало 20 байт, а после аптейта стало 200 байт. В моём наивном понимании жизни, старую строчку нужно пометить удаленной, скопировать на новое место выделив под неё больше памяти, вот старая версия строки и породила мусор. Как с эти бороться? Теоритически табличка хранится по страничкам, страничка не большая и всё равно должна быть сохранена вся целиком, поэтому казалось бы можно было сразу подвинуть влево все записи стоящии после старой версии, но тогда изменяться их физические адреса и получается, что даже первичный ключ в InnoDb не может содержать физический адрес строки а может только идентификатор страницы, и нужно внутри страницы хранить маппинг ключей на физицескую позицию отъедая эффективно доступное пространство, что-то я сомневаюсь что таким путём пошли, там же ещё при ролбэке нужно всё это хозяйство взад возвращать, а как это сделать если паралельная транзакция уже успела захватить освободившиеся на странице пространство, страницы блочить при апдейтах, а не строки?
  • Этот вопрос сильно похож на предидущий, но хочется понять механику, как redo log помогает избавиться от мусорных записей при DELETE?
  • 3 июн 19, 09:30    [21900128]     Ответить | Цитировать Сообщить модератору
     Re: Снова про Ignite/GridGain  [new]
    H5N1
    Member

    Откуда: Yo.! из "Сравнения субд"
    Сообщений: 209
    vimba,

    redo это wal лог, от мусора избавляет другая структура - undo лог. измененные записи уходят в undo лог, который по кругу со временем перезаписывается. соответственно в датафайлах лишь актуальные строки и никакого мусора. делит, да. может оставлять "дыры". я деталей по mysql не знаю, но в оракле место освобожденное делитами прекрасно перериспользуется следующими инсертами.
    но у гула явно не с этим проблема. у меня эта табличка уже 3 минуты читает 1 строку при этом датафайл таблички порядка 180 мб. на ванильном mysql такой хрени не добиться.
    3 июн 19, 09:59    [21900152]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
    Все форумы / Работа Ответить