Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 MPP Databases  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4806
Господа,
если говорить о MPP (Massively parallel) базах. Какие стоит рассматривать?

Vertica, Greenplum, Teradata, Clickhouse.

Есть ещё какое-то кандидаты достойные рассмотрения?

Teradata все сеперкруто за запредельльные деньги.

Vertica все круто за разумные деньги.

GreenPlum -- бесплатно и неплохо, но надо админить и функционал на среднем уровне.

Clickhouse -- бесплатно, но для довольно ограниченного круга задач.

Есть где-то обзоры и сравнения внятные?
20 авг 20, 15:08    [22184992]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34263
Блог
a_voronin,

Рассматривать с точки зрения вакансий можно так:

Clickhouse - 49%
Teradata - 20%
Greenplum - 17%
Vertica - 14%
20 авг 20, 17:13    [22185068]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
ShIgor
Member

Откуда: Нижний Новгород
Сообщений: 2355
Exasol, на хабре поищите.
неплохие обзоры.
20 авг 20, 18:39    [22185084]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 9313
если терадата для вас запредельно, я бы смотрел
Netezza если готовы раскошелится на железку
Vertica если хотите рабочий, неглючний софт, ну а железо как получится

больше ничего, имхо из опыта
20 авг 20, 20:27    [22185110]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
5+ лет назад рынок(на Роисси) был поделен между Vertica и Teradata

после 14 года Teradata стала мегадорогая. Основные клиенты начали пытаться с неё слезть. В России распустили часть офиса терадаты.

В это же время начал расти Greenplum. Сейчас у него самая большая доля рынка, особенно по новым внедрениям. Самое активное развитие, коммьюнити и т.п. + он бесплатный. Я бы выбрал его.

Clickhouse хорошая высокопроизводительная штука, но напрямую сравнивать с другими нельзя, так как узкий функционал.
Часто используют Greenplum + Clickhouse.
20 авг 20, 20:39    [22185118]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
T87
Member

Откуда:
Сообщений: 169
a_voronin,

Azure Synapse
21 авг 20, 00:06    [22185174]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
T87
Member

Откуда:
Сообщений: 169
AWS Redshift
21 авг 20, 00:11    [22185175]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4806
T87
AWS Redshift


Это облачные, а я скорее веду речь о земных MPP.
21 авг 20, 08:01    [22185245]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1167
T87
AWS Redshift
Тогда уж и Snowflake, в копилочку.
ShIgor
Exasol, на хабре поищите.неплохие обзоры.
+1 за Exasol. К тому же, скоро на Россию выйдет отдельный человек.
Отличается от Вертики тем, что сам греет кэш. Скорость дисков не принципиальная. Но, насколько я понял, что в узле кластера хранится всего несколько сотен миллионов, максимум - несколько миллиардов записей. Да, и платная.
Из моих партнеров АТК консталтинг данным продуктом занимались.

Clickhouse - хорош для хранения и анализа логов. В общем, она изначально была для этого и предназначена.
GreenPlum - да, есть хорошие проекты. но если говорить про промышленное применение, то там поддержка нужна всё-таки, а она весьма не бесплатная.

С Уважением,
Георгий.
21 авг 20, 12:22    [22185361]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
George Nordic
+1 за Exasol.

где он работает в продакшене в России?

откуда такие советы? вы работали с ним? или только статью на хабре прочитали?

Сообщение было отредактировано: 21 авг 20, 14:07
21 авг 20, 14:10    [22185412]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4806
Прислали мне вакансию сегодня (РосШтрафы) вот с таким зверем.

MariaDB ColumnStore
MariaDB ColumnStore is a columnar storage engine that utilizes a massively parallel distributed data architecture. It's a columnar storage system built by porting InfiniDB 4.6.7 to MariaDB, and released under the GPL license.
21 авг 20, 14:52    [22185432]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1167
Бумбараш, партнеры рыли и внедряют. Рассказывали. Так как они смотрели несколько вышеуказанных платформ (кроме teradata), они их сравнивали и решили остановиться на exasol, как на оптимальном сочетании цена / требуемая функциональность. Но проекты больше по чековой аналитике / аналитика маркетинга, под другие задачи, возможно, лучше будет другая платформа.

Смотрю, даже подборку обучающих материалов сделали.

А что человек выходит - это инсайт :) но не в продакшен, это сейл.

С Уважением,
Георгий
21 авг 20, 15:05    [22185444]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34263
Блог
Бумбараш
George Nordic
+1 за Exasol.

где он работает в продакшене в России?

откуда такие советы? вы работали с ним? или только статью на хабре прочитали?


7 вакансий с этим Exasol, из них только 2 вакансии разработчика от Ситимобил и Badoo - это социальная сеть 18+ (из их описания на hh). Имхо, бесперспективно.
21 авг 20, 15:08    [22185446]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1167
Критик, вариант оценки по вакансиям - очень здравый. Но иногда на новом продукте можно неплохо заработать. Сейчас по snowflake спецов нет от слова совсем. А на западе - вполне себе востребованная технология, но у них и к облакам отношения другое. Так что на новой технологии можно иногда неплохо заработать.
a_voronin
Прислали мне вакансию сегодня (РосШтрафы)
Ну, если гос.сектор, то надо что-нибудь скрепное:
* Arenadata DB (ADB) – распределенная масштабируемая отказоустойчивая СУБД на базе аналитической массивно-параллельной системы с открытым исходным кодом Greenplum, адаптированная для российского использования и зарегистрированная в государственном реестре программ для ЭВМ;
* Arenadata Grid (ADG) — платформа вычислений в памяти, которая позволяет значительно ускорить приложения без необходимости замены существующих СУБД.
* Arenadata QuickMarts (ADQM) — кластерная колоночная система управления базами данных (СУБД) для быстрого анализа больших объёмов данных при одновременном снижении нагрузки на системы их хранения.
21 авг 20, 15:32    [22185468]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
londinium
Member

Откуда: Киев
Сообщений: 1181
автор
Teradata все сеперкруто за запредельльные деньги.

Всегда интересовал вопрос: сколько это весьма сомнительное счастье (Teradata) стоит
21 авг 20, 15:41    [22185477]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4806
Критик
Бумбараш
пропущено...

где он работает в продакшене в России?

откуда такие советы? вы работали с ним? или только статью на хабре прочитали?


7 вакансий с этим Exasol, из них только 2 вакансии разработчика от Ситимобил и Badoo - это социальная сеть 18+ (из их описания на hh). Имхо, бесперспективно.


Вы все вакансии смотрите, а они там напишут
"SAP BW/HANA,Vertica, Teradata, Hadoop, GreenPlum. "
И какая на самом деле есть непонятно.
21 авг 20, 17:01    [22185522]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34263
Блог
a_voronin,

Все так, но в первой прикидке оценить перспективность можно.

Я согласен George Nordic, что денег можно поднять, т.к. у работодателя нет особого выбора, но при этом есть и обратная сторона - работнику придется становиться заложником этого работодателя, ибо наработанный опыт сложно будет применить где-то еще.
21 авг 20, 17:10    [22185527]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1167
Критик
...но при этом есть и обратная сторона - работнику придется становиться заложником этого работодателя, ибо наработанный опыт сложно будет применить где-то еще.
Однако, если технология стрельнет, то можно писать себе овергодов опыта и выгодно отличаться (для того же HR) от прочих кандидатов.
a_voronin
Вы все вакансии смотрите, а они там напишут
"SAP BW/HANA,Vertica, Teradata, Hadoop, GreenPlum. "
И какая на самом деле есть непонятно.
Да Excel, ясен пень. Чем больше систем указано, тем больше подозрений, что ничего из них толком не запущено.
21 авг 20, 17:21    [22185534]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
George Nordic
Бумбараш, партнеры рыли и внедряют.

Так я тоже много чего рыл, и знаю, как происходит рытьё.
Делается конкурс на хранилище, туда набивается штук десять претендентов. Большая часть для массы или лицом поторговать. Делают костыльный пилот и убывают в закат. Я таким образом рыл штук двадцать движков, но в проде используют в итоге только движки четырех видов. Остальные так и продолжают рыться по конкурсам годами.

Вопрос-то простой - где Exasol является ядром хранилища в РФ в продакшене?

По всей видимости, нигде. Либо используется как Кликхаус в узкой части. Но и о таких случаях мне неизвестно.
21 авг 20, 19:26    [22185591]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34263
Блог
Бумбараш,

https://www.tadviser.ru/index.php/Проект:Ситимобил_(Exasol)
21 авг 20, 20:10    [22185604]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
Критик
a_voronin,

Все так, но в первой прикидке оценить перспективность можно.

Я согласен George Nordic, что денег можно поднять, т.к. у работодателя нет особого выбора, но при этом есть и обратная сторона - работнику придется становиться заложником этого работодателя, ибо наработанный опыт сложно будет применить где-то еще.

я по такому пути однажды пошел. Когда в России появилась Терадата, и на нашей галере в ней проекты начались, я туда пошел. Думал получу уникальный востребованный скил. Я в ней прокачался, наполучал сертификатов, знал архитектуру и т.п. Сидел думал щас меня будут разрывать.
Терадата в свою очередь начала окукливаться и потихоньку сворачиваться. Сейчас никаких проектов развития на ней нет. Только легаси. По деньгам тоже ничего особенного. Гораздо интереснее в популярные технологии идти. Тот мой полученный опыт, на что я немало потратил, сейчас не востребован.

Сейчас даже сотрудники самой терадаты как интегратор сидят пилят проекты по витринам на оракле и гринпламе. Как рядовые галеристы.

Сообщение было отредактировано: 21 авг 20, 20:10
21 авг 20, 20:13    [22185606]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34263
Блог
Бумбараш,

Аналогично, но относительно Cognos TM1, только 2 года зря потерял.
Сейчас по нему 5 вакансий на всю Москву (если исключить всяких контролеров, методологов и стажеров)
21 авг 20, 21:23    [22185616]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
T87
Member

Откуда:
Сообщений: 169
Прочитав тред, можно сделать вывод, что всё фигня. Так куда же идут современные DWH в РФ?
22 авг 20, 21:33    [22185779]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34263
Блог
T87,

сейчас основной тренд - это бигдата,
суют везде, даже там, где она совсем не нужна
и совершенно не задумываются о стоимости поддержки решения
22 авг 20, 21:52    [22185783]     Ответить | Цитировать Сообщить модератору
 Re: MPP Databases  [new]
T87
Member

Откуда:
Сообщений: 169
Критик
T87,

сейчас основной тренд - это бигдата,
суют везде, даже там, где она совсем не нужна
и совершенно не задумываются о стоимости поддержки решения

Но че-то всю эту бигдату сливают потом в терадату, гринплам и т.п.
23 авг 20, 14:01    [22185878]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить