Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Кто что может рассказать про данные системы? Сильные и слабые стороны интересуют.
Объем ХД планируется до сотни ТБ через несколько лет, одно из основных требований, обеспечение online доступности данных, т.е. данные должны вставляться практически постоянно "маленькими" порциями и тут же быть доступны для анализа.
20 мар 12, 11:18    [12279480]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
при таком объеме хранилища включите в рассмотрение Sybase IQ, как коммерческую систему. Я бы не рискнул своей пятой точкой взлетать на бесплатных системах с такими хранилищами и дело даже не в технических характеристиках.
20 мар 12, 11:28    [12279556]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Ну во первых они все далеко не бесплатны. IBM Netezza, EMC Greenplum, HP Vertica. Стоимость вполне сопоставима с IQ, хоть и по разному считается. Хотя Sybase IQ скорее всего будет дороже на кластерых решениях, ну и минусы у него есть: один писатель, который не в состоянии обеспечить realtime вставку данных небольшими порциями, ну и отсутствие MPP. Sybase IQ долго гоняли в хвост и в гриву, он не просто не тянет...
20 мар 12, 11:52    [12279760]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
я с IQ не работал, но в описании нововведений версии IQ15 заявлалась поддержка множественных закгрузчиков данных, возможность конкурентной параллельной загрузки с удаленных клиентов а не только с центрального сервера и еще кучу плюшек. Возможно, что спецы, которые сталкивались с этим сервером на практике прокомментируют.
20 мар 12, 13:16    [12280544]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Последнюю редакцию не щупал, но все равно МРР там нет, есть параллелизация запросов между серверами, а так все равно кто-то один обрабатывает. Ограничение по записи никуда не делось, одна таблица - один писатель. Потом вставки при росте объема таблиц начинают тормозить и видимо никуда не деться, т.к. индексы перестраиваются. Джойны больших таблиц опять же смерти подобно. Ну и конечно стоимость лицензий, 40 тыщ баксов каждое второе ядро + 50 за каждый сервер в мультиплексе, начиная со второго.
20 мар 12, 13:35    [12280735]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
хмм, я тут погуглил, в документе http://www.sybase.cz/uploads/IQ_Benchmark_15x_12x.pdf
Performance Comparison of Sybase IQ 15.x and IQ 12.x page 2
Enhanced parallelism within queries – previous versions of Sybase IQ had limited ability to utilize many CPUs while running a single query. Sybase IQ 15.x significantly increases the types of operators, that are automatically parallelized by the query engine. By default, this feature is enabled and requires no change in query syntax or tuning.

Сейчас они стали раздавать девелопер версию IQ15, будет интерес, погоняете.
20 мар 12, 13:42    [12280799]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
[url=]http://www.sybase.ru/system/files/pdf/sybase_iq_scaling_wp_ru_lo.pdf[/url]

Sybase.ru
Преимущества подхода shared-everything для MPP архитектуры
В отличие от других MPP-архитектур, реализованная в Sybase IQ технология PlexQ динамически управляет обработкой запросов, распределяя ее между множеством узлов, благодаря чему достигается повышение быстродействия, упрощение внедрения и снижение эксплуатационных расходов


Они называют это преимуществом.
20 мар 12, 14:11    [12281103]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Vovaka
Кто что может рассказать про данные системы? Сильные и слабые стороны интересуют.
Объем ХД планируется до сотни ТБ через несколько лет, одно из основных требований, обеспечение online доступности данных, т.е. данные должны вставляться практически постоянно "маленькими" порциями и тут же быть доступны для анализа.
Ни одна из этих систем не предназначена для
Vovaka
вставляться практически постоянно "маленькими" порциями
Это ведь по сути OLTP, а все эти системы заточены под пакетную загрузку. Я бы рассмотрел Exadata.
20 мар 12, 16:09    [12282352]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Ну и еще расскажите, чем будете данные гнать в хранилище. Это важно.
20 мар 12, 16:11    [12282368]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Exadata дороговата зараза. Льем в основном Талендом, кстати вот Вертике пофиг например совсем, что одиночные инсерты, что батчинсерты, что балклоад. Архитектура с областью WOS в памяти к этому индифферентна, вставки мгновенные. Сейчас тестим Нетиззу, тоже результаты впечатляющие с их nzload, Sybase IQ отдыхает в сторонке.
20 мар 12, 16:34    [12282617]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Забыл пароль
Guest
Vovaka,

1. По PlexQ в IQ 15.4 уже увидели.

2. По поводу загрузки еденичных операций в IQ посмотрите "RTL to IQ"

3. Скорость вставки vs размер таблицы, кол-во индексов, джойн больших таблиц.
IQ - это инструмент (как и все остальные), но в данном конкретном случае для аналитики. Он не сможет заменить руки людей, которые проектируют ХД.

4. Подумайте - Sybase IQ используют в 4 раза больше компаний, чем у всех остальных поколоночных СУБД вместе взятых.

5. Цена за 100Тб думаете будет маленькой у кого-то более-менее промышленного?
20 мар 12, 16:47    [12282733]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Vovaka,

Давайте сначала. Что вы льете? Ведь должен быть механизм захвата изменений? Сам Talend, насколько я знаю, захватывать изменения не умеет. А объемы у вас некислые.
А вообще:
http://www.folkstalk.com/2009/12/netezza-nzload-utility.html
Nzload command is used to load bulk data
Все эти системы
20 мар 12, 16:56    [12282819]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Alexander Ryndin
Vovaka,

Давайте сначала. Что вы льете? Ведь должен быть механизм захвата изменений? Сам Talend, насколько я знаю, захватывать изменения не умеет. А объемы у вас некислые.
А вообще:
http://www.folkstalk.com/2009/12/netezza-nzload-utility.html
Nzload command is used to load bulk data
Все эти системы


95% данных - machine generated, тут нет захвата изменений, это различные события, идущие из сотен источников в онлайне.

Про Нетиззу имелл ввиду, что если например грузить в Sybase IQ 1 ГБ одним куском, а потом зазбить на 100 частей и прогрузить 100 раз, то получим увеличение суммарного времени загрузки раз в 50, а в Нетиззе практически одинаково + во всех перечисленных системах можно грузить в одну таблицу несколькими потоками, в IQ нельзя.
20 мар 12, 17:33    [12283140]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
по теме прямого сравнения кстати материала маловато.
вот удалось нарыть хоть что-то: http://www.think88.com/Examples/Think88_SybaseIQ_wp.pdf
хоть и не шибко жирно
20 мар 12, 17:37    [12283168]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Забыл пароль
Vovaka,

1. По PlexQ в IQ 15.4 уже увидели.

2. По поводу загрузки еденичных операций в IQ посмотрите "RTL to IQ"

3. Скорость вставки vs размер таблицы, кол-во индексов, джойн больших таблиц.
IQ - это инструмент (как и все остальные), но в данном конкретном случае для аналитики. Он не сможет заменить руки людей, которые проектируют ХД.

4. Подумайте - Sybase IQ используют в 4 раза больше компаний, чем у всех остальных поколоночных СУБД вместе взятых.

5. Цена за 100Тб думаете будет маленькой у кого-то более-менее промышленного?


Ну Sybase IQ первый и когда то был фактически один такой, поэтому и клиентов много. Я ж не говорю, что он плохой, просто из-за своей архитектуры он наши потребности не сможет обеспечить по созданию операционного ХД, да и накладно получится. Вот для BI, как витрина над сырыми данными самое оно было бы.
20 мар 12, 17:41    [12283195]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
Ggg_old
по теме прямого сравнения кстати материала маловато.
вот удалось нарыть хоть что-то: http://www.think88.com/Examples/Think88_SybaseIQ_wp.pdf
хоть и не шибко жирно


Спасибо! Этого материала не встречал.
20 мар 12, 17:44    [12283214]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Vovaka
95% данных - machine generated, тут нет захвата изменений, это различные события, идущие из сотен источников в онлайне.
О. Вот это интересно. А вам их тупо складировать надо или как-то агрегировать?
20 мар 12, 17:48    [12283243]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Vovaka
Member

Откуда: Москва
Сообщений: 684
По разному, и так и так. И еще желательно бы иметь возможность по разной стоимости хранить холодные и теплые данные.
20 мар 12, 18:04    [12283359]     Ответить | Цитировать Сообщить модератору
 Re: Sybase IQ 15.4 Express Edition  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Vertica сейчас использую, Netezza видел со стороны. У каждой есть свои интересные особенности. Imho Vertica удачнее смотрится на проектах, где невозможно спрогнозировать рост данных в будущем, это например стартап онлайн игры или аналитического ресурса, где на момент запуска 3 сервера в кластере будет хватать выше крыши, а через год уже может понадобиться значительно нарастить мощность и объем ХД. Здесь круто, что можно не останавливая сервер подключать в кластер новые ноды. Но ценой является дорогая стоимость тб. Netezza же наоборот хороша там, где уже состоялись объемы данных и требуется создание промышленного хранилища, заточенного под эффективное хранение и доступ к данным без затрат на сопровождение. Фактически это уже готовый настроенный программно аппаратный ящик, не требующий глубоких знаний по тюнингу и администрированию. Но здесь платой является то, что апгрейт системы выливается в замену всего ящика и острову ХД на момент замены.
20 мар 12, 22:04    [12284452]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709
Vovaka,

а что за проект?
какие данные?

и 100 терабайт — это сколько в записях?
20 мар 12, 22:16    [12284511]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709
я к тому, что терабайты-то разные бывают.
У меня например вот 53 миллиарда записей, но терабайт только 4, ибо компрессия.
20 мар 12, 22:21    [12284530]     Ответить | Цитировать Сообщить модератору
 Re: Sybase IQ 15.4 Express Edition  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Alexander Ryndin
Vovaka,

Давайте сначала. Что вы льете? Ведь должен быть механизм захвата изменений? Сам Talend, насколько я знаю, захватывать изменения не умеет. А объемы у вас некислые.
А вообще:

кстати коммерческий Talend замечательно CDC поддерживает для всех основных вендоров.
21 мар 12, 00:15    [12285000]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
ASCRUS
Alexander Ryndin
Vovaka,

Давайте сначала. Что вы льете? Ведь должен быть механизм захвата изменений? Сам Talend, насколько я знаю, захватывать изменения не умеет. А объемы у вас некислые.
А вообще:

кстати коммерческий Talend замечательно CDC поддерживает для всех основных вендоров.
Ну для СУБД Oracle Talend использует LogMiner, либо триггеры, что, как бы, не очень хорошо - тормоза еще те.
MSSQL 2005 я не понимаю, как они могут поддерживать, кроме как с помощью триггеров.
Ну и давайте ссылку про "замечательно", а то как-то оно голословно ;)
21 мар 12, 00:37    [12285052]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
ASCRUS
Alexander Ryndin
Vovaka,

Давайте сначала. Что вы льете? Ведь должен быть механизм захвата изменений? Сам Talend, насколько я знаю, захватывать изменения не умеет. А объемы у вас некислые.
А вообще:

кстати коммерческий Talend замечательно CDC поддерживает для всех основных вендоров.

Не мешай людям продавать Golden Gate!
21 мар 12, 00:54    [12285094]     Ответить | Цитировать Сообщить модератору
 Re: Vertica vs Netezza vs Grennplum  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Apex
Не мешай людям продавать Golden Gate!
Заметь, первым это слова сказал ты. Не я.
21 мар 12, 00:59    [12285105]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить