Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Украина - вперёд с Vertica!  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Компания Supportio сообщает о завершении первого в Украине, по ее данным, проекта внедрения аналитического хранилища HP Vertica 7, реализованного в коммерческом банке BitBank.
...
«Учитывая объемы и специфику работы с данными, а это, в первую очередь, постоянная актуализация и анализ в режиме реального времени, BitBank остановился на решении Vertica от HP, которое не только показало лучшие результаты benchmark тестов среди лидеров решений (Oracle, IBM Netezza, EMC Greenplum, Sybase IQ), но и наиболее оптимально подошло заказчику по своим возможностям».

http://ko.com.ua/supportio_realizovala_dlya_bitbank_proekt_vnedreniya_hp_vertica_7_104822
17 апр 14, 20:20    [15898162]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
Я уж испугался - думал про политику внутри)

Интересно зачем банку реал-тайм интеграция с социальными сетями?
17 апр 14, 23:05    [15898640]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54800

SergSuper
Интересно зачем банку реал-тайм интеграция с социальными сетями?

Должников искать.

Posted via ActualForum NNTP Server 1.5

17 апр 14, 23:19    [15898678]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
Dimitry Sibiryakov
SergSuper
Интересно зачем банку реал-тайм интеграция с социальными сетями?

Должников искать.
ну если толь через форксквер ловить
18 апр 14, 00:00    [15898814]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
SergSuper
Я уж испугался - думал про политику внутри)

Интересно зачем банку реал-тайм интеграция с социальными сетями?


Знаю один, который использует для принятия решения по кредиту такие данные тоже.
18 апр 14, 07:03    [15899136]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
Vovaka
SergSuper
Я уж испугался - думал про политику внутри)

Интересно зачем банку реал-тайм интеграция с социальными сетями?


Знаю один, который использует для принятия решения по кредиту такие данные тоже.
да наверное все используют, но реал-тайм то зачем?
и вообще зачем интеграция - это же надо для потенциального клиента, если он не подходит - то и не будет клиентом и нечего интегрировать, а если подошел - то уже и не важно

наверное для чего-то другого, может какая-нибудь рассылка сообщений или типа просмотр баланса вконтакте
18 апр 14, 10:07    [15899633]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
Dimitry Sibiryakov
SergSuper
Интересно зачем банку реал-тайм интеграция с социальными сетями?

Должников искать.

реал-тайм?

реал-тайм там с соц сетями 100% для рекламы контекстной.
18 апр 14, 10:58    [15899961]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
SergSuper
Vovaka
пропущено...


Знаю один, который использует для принятия решения по кредиту такие данные тоже.
да наверное все используют, но реал-тайм то зачем?

есть и реал-тайм принятия решений по выдаче кредитов
18 апр 14, 11:01    [15899984]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54800

Ivan Durak
реал-тайм?

Залогинился человек на одноквасниках - групзах выезжает сразу.

Posted via ActualForum NNTP Server 1.5

18 апр 14, 11:35    [15900214]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
Dimitry Sibiryakov
Ivan Durak
реал-тайм?

Залогинился человек на одноквасниках - групзах выезжает сразу.

КУДА ВЫЕЗЖАЮТ?
18 апр 14, 18:38    [15902901]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54800

Ivan Durak
КУДА ВЫЕЗЖАЮТ?

К месту предполагаемого нахождения цели.

Posted via ActualForum NNTP Server 1.5

18 апр 14, 18:43    [15902918]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Очередной маркетинговый булшит. Без детализации вот этого вот:

Vovaka
«Учитывая объемы и специфику работы с данными


вааще ниочем...

ЗЫ. Объемы, коммерческий банк, Украина - выберите любые два.
18 апр 14, 23:27    [15903728]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
И, да, собственно, о "банке":

http://ain.ua/2013/10/11/497702
11 Октября 2013. Запустился первый в Украине банк без отделений BitBank.
18 апр 14, 23:41    [15903761]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
pkarklin
И, да, собственно, о "банке":

http://ain.ua/2013/10/11/497702
11 Октября 2013. Запустился первый в Украине банк без отделений BitBank.
+1.

Мне кажется, что у банка, открывшегося полгода назад, должны быть сильно другие проблемы. Ну и как-то странно звучит аналитическое хранилище, внедренное в первые полгода работы банка (это значит, что его внедрили за месяц-два). Тем боле странно звучит "... которое не только показало лучшие результаты benchmark тестов среди лидеров решений (Oracle, IBM Netezza, EMC Greenplum, Sybase IQ)...". Я ведь тоже могу левой ногой поставить Vertica так, что ее даже MS Access обойдет по производительности, а сроки внедрения ясно дают понять, что специалистов по обруганным системам не привлекали.

Вот над этой фразой тоже поржал "В рамках проекта, была проведена интеграция HP Vertica... а также с экосистемой Cloudera Hadoop, отвечающей за real-time интеграцию с социальными сетями". Правда что ли с помощью Hadoop? Всегда считал, что Hadoop предназначен для обработки большого объема данных в пакетном режиме, но никак не для real-time.

Короче, мое мнение, что там внедрена витринка данных, и, скорее всего, на бесплатной версии Vertica.
19 апр 14, 10:56    [15904319]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Alexander Ryndin,

Саш, не буду с тобой спорить насчет витрин, целесообразности и прочего (маркетинг он такой), но вот насчет левой ноги ты явно погорячился, со всей серьезностью уверяю тебя. Можешь хоть обоими ногами становится на Вертику, но затормозить ее работу просто так не получится, придется постараться и очень извернуться ;)
22 апр 14, 16:56    [15917663]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
ASCRUS
Alexander Ryndin,

Саш, не буду с тобой спорить насчет витрин, целесообразности и прочего (маркетинг он такой), но вот насчет левой ноги ты явно погорячился, со всей серьезностью уверяю тебя. Можешь хоть обоими ногами становится на Вертику, но затормозить ее работу просто так не получится, придется постараться и очень извернуться ;)
возможно вертика что то придумала интересное, но больное место всех мрр это ключ распределения данных. Что у терадаты, что у хадупа... Без разницы.

Но поинт мой был не в том чтобы принизить заслуги какого то из решений, а в том, что вряд ли тот банк за полгода смог наработать репрезентативноый набор требований, а тем более вряд ли привлекали нормальных партнёров от оракл, терадата и т.д.
23 апр 14, 02:19    [15919970]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
P.s. так все таки на бесплатной версии вертики сделано?
23 апр 14, 02:21    [15919973]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Alexander Ryndin
P.s. так все таки на бесплатной версии вертики сделано?


Насколько я знаю, продажа была. Да и вчера на HP World Tour упомянули про это внедрение, бесплатные не включают в презентации.
23 апр 14, 08:31    [15920169]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Alexander Ryndin,

Поясни, что ты имеешь ввиду. Сегментация в Вертике работает без проблем, балансировка данных достаточно грамотная, я даже не знал, что там могут быть какие то проблемы. Сегментация Вертикой делается автоматически по полям PK, если явно не указана. При явном указании можно зеркалировать данные для всех нод (что удобно для небольших измерений), для мастер-детайл например указать сегментацию для мастера по PK, для детайла по FK, обеспечив таким образом их соединение JOIN без BROADCAST и т.д. Здесь вообще проблем не возникает, даже если в мастер-детайл лежат десятки миллиардов записей.
23 апр 14, 12:30    [15921659]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
ASCRUS
Alexander Ryndin,

Поясни, что ты имеешь ввиду. Сегментация в Вертике работает без проблем, балансировка данных достаточно грамотная, я даже не знал, что там могут быть какие то проблемы. Сегментация Вертикой делается автоматически по полям PK, если явно не указана. При явном указании можно зеркалировать данные для всех нод (что удобно для небольших измерений), для мастер-детайл например указать сегментацию для мастера по PK, для детайла по FK, обеспечив таким образом их соединение JOIN без BROADCAST и т.д. Здесь вообще проблем не возникает, даже если в мастер-детайл лежат десятки миллиардов записей.
Очень простой и довольно распространенный кейс: есть табличка-измерение - 30 млн. клиентов, а также табличка фактов с операциями этих клиентов (для простоты пускай это будут звонки/смс). Допустим 20% звонков/смс сделаны с 2-10 служебных номеров (Яндекс-такси, Сбербанковский информатор и т.д.). Как тогда будешь пилить данные между узлами?
23 апр 14, 15:27    [15923298]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Alexander Ryndin
Очень простой и довольно распространенный кейс: есть табличка-измерение - 30 млн. клиентов, а также табличка фактов с операциями этих клиентов (для простоты пускай это будут звонки/смс). Допустим 20% звонков/смс сделаны с 2-10 служебных номеров (Яндекс-такси, Сбербанковский информатор и т.д.). Как тогда будешь пилить данные между узлами?

Никак не буду. Клиентам скажу сегментироваться и сортироваться по PK, а звонкам сегментироваться по своему PK, а сортироваться по FK ключ клиента + другие поля, значимые при фильтрах запросов. Дальше оптимизатор Вертики сам все сделает правильно (фильтры+MERGE JOIN+частичный BROADCAST) Как измерение и факт в сегментации связаны и какие здесь проблемы? :) Руками в Вертике такие вещи не делаются, это забота оптимизатора.

В общем Саш, ты о чем то таком ручном говоришь не понятном, чего в Вертике просто нет.
23 апр 14, 18:23    [15924668]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
ASCRUS
Alexander Ryndin
Очень простой и довольно распространенный кейс: есть табличка-измерение - 30 млн. клиентов, а также табличка фактов с операциями этих клиентов (для простоты пускай это будут звонки/смс). Допустим 20% звонков/смс сделаны с 2-10 служебных номеров (Яндекс-такси, Сбербанковский информатор и т.д.). Как тогда будешь пилить данные между узлами?

Никак не буду. Клиентам скажу сегментироваться и сортироваться по PK, а звонкам сегментироваться по своему PK, а сортироваться по FK ключ клиента + другие поля, значимые при фильтрах запросов. Дальше оптимизатор Вертики сам все сделает правильно (фильтры+MERGE JOIN+частичный BROADCAST) Как измерение и факт в сегментации связаны и какие здесь проблемы? :) Руками в Вертике такие вещи не делаются, это забота оптимизатора.
Леш, я не с желанием поругать. Мне действительно интересно. Я этот случай видел очень явно на Hadoop и Hadoop ушел и больше не вернулся, поэтому интересно, как этот решается в MPP. Давай этот кейс до конца разберем. Ты же сам говорил
автор
для мастер-детайл например указать сегментацию для мастера по PK, для детайла по FK
И я понимаю почему. Чтобы не была BROADCAST.
А сейчас говоришь про сегментацию и мастера, и детайла по PK.
23 апр 14, 19:12    [15924878]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
loki1984
Member

Откуда:
Сообщений: 345
ASCRUS
Alexander Ryndin
Очень простой и довольно распространенный кейс: есть табличка-измерение - 30 млн. клиентов, а также табличка фактов с операциями этих клиентов (для простоты пускай это будут звонки/смс). Допустим 20% звонков/смс сделаны с 2-10 служебных номеров (Яндекс-такси, Сбербанковский информатор и т.д.). Как тогда будешь пилить данные между узлами?

Никак не буду. Клиентам скажу сегментироваться и сортироваться по PK, а звонкам сегментироваться по своему PK, а сортироваться по FK ключ клиента + другие поля, значимые при фильтрах запросов. Дальше оптимизатор Вертики сам все сделает правильно (фильтры+MERGE JOIN+частичный BROADCAST) Как измерение и факт в сегментации связаны и какие здесь проблемы? :) Руками в Вертике такие вещи не делаются, это забота оптимизатора.

В общем Саш, ты о чем то таком ручном говоришь не понятном, чего в Вертике просто нет.

Сразу видно, что вы не сталкивались с такой проблемой :-)
1)
каждый join клиентов на операции будет происходить redistribute (с вертикой не знаком, но в других mpp это так) по ключу клиента (т.к. по нему идёт join)

2) REdistribute приведёт к тому, что на отдельных нодах(процессах, сегментах, amp'ах) окажется больше операций чем на других (т.к. распределение пойдёт по ключу клиента) из-за чего весь комплекс будет работать со скоростью наиболее загруженной ноды.


Как решить эту проблему:

1 Вариант простой:

select c1, c2, c3 from customer c
join operation o on c.cus_id=o.cus_id and c.csu_id NOT IN (перечисляем клиентов у которых те самые 20% записей, которые дают перекос)
union all
select c1, c2, c3 from customer c
join operation o on c.cus_id=o.cus_id and c.csu_id IN (перечисляем клиентов у которых те самые 20% записей, которые дают перекос)

В 1-м запросе система просто делает redistribute исключая записи, которые дадут перекос в данных на нодах .
Во втором (если оптимизатор умный) система распределит нужные записи из таблички клиентов на все ноды, где локально соединит ихс операциями.

2-й способ относится не ко всем MPP, и не ко всем случаям.

Вроде как-то так, если ничего не напутал и не забыл.
23 апр 14, 19:22    [15924934]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Alexander Ryndin
А сейчас говоришь про сегментацию и мастера, и детайла по PK.

Клиенты и звонки это никак не мастер-детайл :) Это измерение-факт со связью. Вот CDR+CDR List Of Traffic это как раз мастер-детайл. И там на один сдр где то от 1 до 10 записей детальки, которые имеет смысл уложить рядом с самой записью СДР.

P.S. Ну ты сравнил файловую помойку Hadoop и Vertica. У них же вообще абсолютно разные принципы хранения данных, зеркалирования и прочее. Они даже близко не похожи. Поэтому поведение Хадупа на Вертику генерировать не корректно. Так же как и например поведение Нетизы, которая по принципам хотя и ближе к Вертике, но так же отличий столько, что поведение совершенно разное (я уж молчу про ГринПлам).
23 апр 14, 19:23    [15924946]     Ответить | Цитировать Сообщить модератору
 Re: Украина - вперёд с Vertica!  [new]
loki1984
Member

Откуда:
Сообщений: 345
А по поводу "успешного внедрения за полгода" извините не верю. Может парочку витрин сделали, но полноценным внедрением это называть...
+ну какие там на украине сейчас кредитные карты, там просрочка должна бы уже в космос улететь, в стране восстание, до должников дела никому нет. А раз так, то не верю я в необходимость MPP - нет там объёмов таких. Короче реклама это всё.
23 апр 14, 19:28    [15924980]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить