Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Vovaka
bmv_rus
пропущено...

а можно поподробнее ?
От 2х MUSD или более?


Ну подробно я НЕ знаю, но если рассматривать 16ТБ хранилище, то примерно так и будет
26 мар 12, 11:19    [12313087]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
Для будующих посетителей треда - технические вопросы по Netezza можно слать мне
26 мар 12, 21:55    [12317519]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Goster
Member

Откуда: Питер->Москва
Сообщений: 438
Я думаю, что все все три девайса справятся с поставленной задачей. На счет невозможности загрузки малых порций данных - это звучит странно, т.к. не вижу предпосылок для этого.
Из объективных преимуществ могу выделить возможность для Netezzа поставить High Capacity Appliance для неактуальных данных, которые необходимо держать в доступности. Там суть в том, что больше дисков-меньше блейдом, соответственно стоимость терабайта значительно ниже, но при этом данные остаются доступные, хотя и более медленны в обработке. Иначе 100 Тб хранить весьма дорого.
29 мар 12, 18:47    [12335976]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
Нетиззу отлично можно кормить малыми и частыми порциями данных. Это можно делать как используя частую загрузку файлов или через кормежку из юниксовых пайпов.
1 апр 12, 01:20    [12346540]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Виталий Гонтовой
Member

Откуда: Харьков
Сообщений: 8
Вертика лицензирует не исходные данные, а размер базы, где данные уже хранятся в сжатом виде.
13 апр 12, 20:56    [12414625]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Виталий Гонтовой,

Vertica лицензируется конкретно на чистые исходные данные, из расчета того, сколько бы они весили в формате CSV, даже с учетом разделителей полей. Это факт, потому что я напрямую общаюсь с компанией Vertica и политику лицензирования знаю. Итого если нам нужно хранить в ХД данных, которые весят в CSV 5 тб, нам надо будет купить лицензию на 5 тб. База реально при этом займет где то 2 тб (в среднем 4 раза сжатие + данные проекций). Понятно, что цена получается не самая демократическая, но она значительно ниже Терадаты. А по гибкости значительно выше своих конкурентов. Ибо у Netezza покупается шкаф и если место на нем кончилось, шкаф нужно выбросить и купить более емкий. А у GreenPlum по моему нужно лицензировать все место, что доступно на дисках кластера, а значит если хотим поставить новый сегмент, надо докупить на новый объем лицензий. Здесь Vertica дает нулевую стоимость масштабирования - можно в кластер сколько угодно добавлять новых сегментов, увеличивая производительность за счет прибавления процессорных мощностей, RAM и более размазанного хранения данных по сегментам. К примеру, купив лицензий на 5 тб, мы можем собрать из своих 10 серверов кластер, где на каждый сервер придется по 400 гигабайт сжатых данных, в итоге штука эта будет работать в реалтайм, как на загрузку так и на любые запросы любой сложности. Если на серверах еще поставить по 96 гигов памяти, то оно вообще просто будет всегда работать в миллисекундах, фактически как inmemory, держа все горячие данные в кэше. Итого, что по механизму загрузки WOS/ROS, что по оптимизатору, что по лицензионной политике - Vertica хороша для realtime и стартапов, кто грузит данные раз в сутки или раз в неделю, у кого устоявшиеся объемы ХД, могут спокойно купить Netezza и забыть про любой геммор администрирования, у кого объемы плавающие и нужна гибкая политика хранения и распределения данных, очень хорошо будет смотреться GreenPlum.
13 апр 12, 21:37    [12414822]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
ASCRUS
Итого если нам нужно хранить в ХД данных, которые весят в CSV 5 тб, нам надо будет купить лицензию на 5 тб. База реально при этом займет где то 2 тб (в среднем 4 раза сжатие + данные проекций). Понятно, что цена получается не самая демократическая, но она значительно ниже Терадаты.

Значительно - это на сколько? Если инфа не для форума, контакты в профиле.
13 апр 12, 22:39    [12415213]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
автор
Ибо у Netezza покупается шкаф и если место на нем кончилось, шкаф нужно выбросить и купить более емкий


Не совсем так.
Исторически шкаф выкупали по фиксированной для заказчика цене. Получалось выгодно и более быстро/безболезненно чем реконфигурация (чисто теоретически, давайте допустим, что при реконфигурациях бывают проблемы, хотя в предпродажах такое предположение это конечно же полный нонсенс).
При замене серверов старый продолжает работать до полной синхронизации нового, а подмена одного на другой проходит незаметно.
Сейчас эта модель проходит переработку в связи с юридическими особенностями IBM, и она поменяется - я верю и надеюсь что в лучшую сторону.
Пока же каждому заказчику предлагаются индивидуальные (насколько я знаю, не худшие чем ранее) условия.
Насчет возможности добавлять и убавлять железо, докупать лицензии по терабайтам - это тоже модель.
Хотя хотел бы в этом месте предположить, что возможно люди проводят кучу времени в бенчмарк центрах за балансировкой железа не зря, а иначе как добиться оптимальной цены за перформанс.
18 апр 12, 02:00    [12430643]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
Простите за саморекламу, но если кому-то хочется побольше узнать о Netezza, собираюсь выкладывать побольше информации вот сюда.
18 апр 12, 02:09    [12430649]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
Андрей Выходцев
Простите за саморекламу, но если кому-то хочется побольше узнать о Netezza, собираюсь выкладывать побольше информации вот сюда.

Сразу вопрос на миллион. Как в нетиззу залить varchar(max) из сиквела?
18 апр 12, 18:23    [12435133]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
Ivan Durak
Сразу вопрос на миллион. Как в нетиззу залить varchar(max) из сиквела?


Из SQL'a = из MS SQL Server'a? или вопрос как в SQL сделать инсерт в табличку с полем varchar(64000) ?

если первое, то через а) выгрузку в файл, который потом загрузить через nzload или external table или b) через стороннюю прожку, например IBM datamovement tool http://www.ibm.com/developerworks/data/library/techarticle/dm-0906datamovement/ или же самому на чем угодно - могу сваять пример на python + odbc если надо.

Если второе то create table t(x varchar(64000)); insert into t values ('..64000 символов..);

Можете написать мне на емейл, помогу, или давайте тут откроем новый топик.
18 апр 12, 23:42    [12436455]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
http://msdn.microsoft.com/ru-ru/library/ms176089.aspx
varchar [ ( n | max ) ]
Строковые данные переменной длины не в Юникоде. Аргумент n определяет длину строки и должен иметь значение от 1 до 8000. Значение max указывает, что максимальный размер при хранении составляет 2^31-1 байт (2 ГБ). Размер хранения — это фактическая длина введенных данных плюс 2 байта. Синонимами по стандарту ISO для типа varchar являются типы charvarying или charactervarying.

Если я правильно понимаю, то это CLOB с точки зрения Oracle.
18 апр 12, 23:54    [12436511]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
Alexander Ryndin
http://msdn.microsoft.com/ru-ru/library/ms176089.aspx
varchar [ ( n | max ) ]
Строковые данные переменной длины не в Юникоде. Аргумент n определяет длину строки и должен иметь значение от 1 до 8000. Значение max указывает, что максимальный размер при хранении составляет 2^31-1 байт (2 ГБ). Размер хранения — это фактическая длина введенных данных плюс 2 байта. Синонимами по стандарту ISO для типа varchar являются типы charvarying или charactervarying.

Если я правильно понимаю, то это CLOB с точки зрения Oracle.

Понял то ты правильно, вот только причем тут Оракл?:)
19 апр 12, 01:31    [12436711]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
Тогда здесь конфуз.
Netezza для анализа реляционных данных. Строки там до 64к.
Для массивно-параллельного анализа, хранения и обработки больших текстов - IBM InfoSphere BigInsights.
19 апр 12, 02:25    [12436742]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Apex
Alexander Ryndin
пропущено...

Если я правильно понимаю, то это CLOB с точки зрения Oracle.

Понял то ты правильно, вот только причем тут Оракл?:)
Потому что у того, кто задал вопрос есть Oracle background, поэтому на примере Oracle.
Ты хочешь об этом поговорить?
19 апр 12, 03:33    [12436762]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3795
Андрей Выходцев
Тогда здесь конфуз.
Netezza для анализа реляционных данных. Строки там до 64к.
Для массивно-параллельного анализа, хранения и обработки больших текстов - IBM InfoSphere BigInsights.

Вот именно что конфуз. У нас есть нетизза. Есть данные в хранилище которые мы в нетиззу грузим. В данных есть поля varchar(max) в которых есть данные длиннее чем 64к. Бизнес юзеры с упорством достойным лучшего применения твердят: "Мы хотим анализировать эти данных, мы понимаем что они длинные, но хотим и баста!". Я думал, может есть какой кэйс обходной позволяющий как-то это обходить??
19 апр 12, 11:46    [12438064]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Андрей Выходцев
Member

Откуда: Moscow
Сообщений: 29
автор
Вот именно что конфуз. У нас есть нетизза. Есть данные в хранилище которые мы в нетиззу грузим. В данных есть поля varchar(max) в которых есть данные длиннее чем 64к. Бизнес юзеры с упорством достойным лучшего применения твердят: "Мы хотим анализировать эти данных, мы понимаем что они длинные, но хотим и баста!". Я думал, может есть какой кэйс обходной позволяющий как-то это обходить??


Да, есть. Но использовать инструмент не по назначению всегда неудобно, как, например, ковыряться микроскопом в носу.

Идея такова - при заливке данных под каждый клоб делать табличку, на которую ссылаться по суррогатному ключу. В табличке данные будут иметь вид: CLOB_ID int, CHUNK_ID int, СHUNK_TEXT (64000). Пример заливки на nzPLSQL где-то валялся, киньте сообщение в почту, постараюсь найти и отослать.

Под анализом что подразумеваете? полнотекстовый поиск? извлечение структурированных данных из текста?
В netezza это можно реализовать разными способами, начиная от регулярных выражений в SQL до использования параллельных программ на питоне или джаве, либо mapreduce заданиями на встроенном hadoop.

Но рекомендую все же показать бизнес пользователям возможности текстового анализа таких инструментов как BigInsights или IBM Content Analytics, они на несколько порядков более продвинутые в плане работы с текстами.
Опять же, если надо проконсультировать, обращайтесь.
19 апр 12, 12:15    [12438263]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Денисик_Аналитик
Member

Откуда:
Сообщений: 12
ASCRUS
Vertica лицензируется
+
конкретно на чистые исходные данные, из расчета того, сколько бы они весили в формате CSV, даже с учетом разделителей полей. Это факт, потому что я напрямую общаюсь с компанией Vertica и политику лицензирования знаю. Итого если нам нужно хранить в ХД данных, которые весят в CSV 5 тб, нам надо будет купить лицензию на 5 тб. База реально при этом займет где то 2 тб (в среднем 4 раза сжатие + данные проекций). Понятно, что цена получается не самая демократическая, но она значительно ниже Терадаты. А по гибкости значительно выше своих конкурентов. Ибо у Netezza покупается шкаф и если место на нем кончилось, шкаф нужно выбросить и купить более емкий. А у GreenPlum по моему нужно лицензировать все место, что доступно на дисках кластера, а значит если хотим поставить новый сегмент, надо докупить на новый объем лицензий. Здесь Vertica дает нулевую стоимость масштабирования - можно в кластер сколько угодно добавлять новых сегментов, увеличивая производительность за счет прибавления процессорных мощностей, RAM и более размазанного хранения данных по сегментам. К примеру, купив лицензий на 5 тб, мы можем собрать из своих 10 серверов кластер, где на каждый сервер придется по 400 гигабайт сжатых данных, в итоге штука эта будет работать в реалтайм, как на загрузку так и на любые запросы любой сложности. Если на серверах еще поставить по 96 гигов памяти, то оно вообще просто будет всегда работать в миллисекундах, фактически как inmemory, держа все горячие данные в кэше. Итого, что по механизму загрузки WOS/ROS, что по оптимизатору, что по лицензионной политике - Vertica хороша для realtime и стартапов, кто грузит данные раз в сутки или раз в неделю, у кого устоявшиеся объемы ХД, могут спокойно купить Netezza и забыть про любой геммор администрирования, у кого объемы плавающие и нужна гибкая политика хранения и распределения данных, очень хорошо будет смотреться GreenPlum.


вопрос знатокам перечисленных систем:
как будет выглядеть относительная стоимость содержания данных систем в Х.
если стартуем мы с петабайта и 20 пользователей, и каждый год прибавляем по 0.5 петы и 4 пользователя.
может кто расписать расходы на первые 3 года?
10 сен 12, 16:49    [13141465]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
Денисик_Аналитик
вопрос знатокам перечисленных систем:
как будет выглядеть относительная стоимость содержания данных систем в Х.
если стартуем мы с петабайта и 20 пользователей, и каждый год прибавляем по 0.5 петы и 4 пользователя.
может кто расписать расходы на первые 3 года?

Это ты в правильное место с такими вопросами пришел.
11 сен 12, 22:34    [13148856]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Денисик_Аналитик
Member

Откуда:
Сообщений: 12
Apex,

подскажи другое
27 сен 12, 15:55    [13233438]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
Денисик_Аналитик
Apex,

подскажи другое

IBM, HP, EMC. Поиск телефонов будет твоим домашним заданием.
29 сен 12, 00:38    [13242457]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
_Dog
Member

Откуда: от туда...
Сообщений: 265
ASCRUS, а Вы на этапе выбора не смотрели на Actian/Vectorwise? Может есть какие-то впечатления либо мнения (vs Syabse IQ or vs Vertica)?
12 ноя 12, 16:32    [13460032]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
_Dog
ASCRUS, а Вы на этапе выбора не смотрели на Actian/Vectorwise? Может есть какие-то впечатления либо мнения (vs Syabse IQ or vs Vertica)?

Не смотрели. Искали изначально MPP сервер, имеющий успешный опыт работы с машино генерируемыми данными, поэтому и отпал тот же Sybase IQ.
12 ноя 12, 22:08    [13461772]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
_Dog
Member

Откуда: от туда...
Сообщений: 265
ASCRUS
Искали изначально MPP сервер...

интересно, почему именно MPP, если даже данные машино генерируемые ?

ASCRUS
имеющий успешный опыт работы с машино генерируемыми данными, поэтому и отпал тот же Sybase IQ.


это в основном для оптимального load'a?
12 ноя 12, 23:24    [13462005]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
_Dog
ASCRUS
Искали изначально MPP сервер...

интересно, почему именно MPP, если даже данные машино генерируемые ?

Масштабируемость.

_Dog
ASCRUS
имеющий успешный опыт работы с машино генерируемыми данными, поэтому и отпал тот же Sybase IQ.


это в основном для оптимального load'a?

Это в основном для масштабируемости.
13 ноя 12, 00:08    [13462141]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить