Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / NoSQL, Big Data Новый топик    Ответить
 FAQ HP Vertica  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Описание
Проект Vertica был разработан в 2005 такими известными экспертами, как Michael Stonebraker и Andrew Palmer. Основной идеей аналитического хранилища больших данных было разработать простую и эффективную MPP архитектуру, ориентированную на массивные загрузки данных в реальном времени с одновременным эффективным выполнением ad-hoc запросов над большими объемами данных без жестких требований поддержки администрирования сервера и ручного тюнинга производительности выполняемых запросов. Для этого в Vertica изначально архитектурно был заложен ряд новшеств и идей, которые позволили реализовать все требования к системам такого класса.

История
  • 2005 год - основание компании Vertica
  • 2011 год - выход версии 5 с поддержкой тесной интеграции с Hadoop и возможностью разделения хранения колонок таблиц на разных типах носителей
  • 2011 год - покупка компанией HP
  • 2013 год - выход версии 6 (Бульдозер) со значительно переработанными компонентами и драйверами Vertica и расширенной функциональностью
  • 2013 год - анонсирован выход в конце года версии 7 (Кран) с расширенными возможностями поддержки работы Vertica с Hadoop на уровне Open-SQL (запросы из Vertica к Hadoop), поддержкой горячих и холодных данных, расширенной функциональностью

    Характеристики Vertica 6.1
  • MPP архитектура (массивная параллельная обработка)
  • Одноранговые ноды, не требующие выделенного Master для работы и подключений клиентских сессий, поддержка ip балансировщика подключений
  • Управляемая отказоустойчивость посредством зеркалирования данных между нодами кластера (настраивается количество зеркал) с автоматическим восстановлением информации и переключением работы кластера на момент сбоя его нод
  • Колонко-ориентированный формат хранения данных
  • Автоматическая поддержка сжатия данных (средний коэффициент сжатия 4)
  • Управляемый формат упаковки хранимых данных, позволяющий организовать помимо компактного хранения увеличение производительности доступа к данным колонок
  • Специальная InMemory область памяти для ускорения загрузки данных
  • Поддержка стандартных протоколов доступа ODBC, JDBC, ADO.NET, а так же драйверов для Python, Perl, PHP
  • Полная совместимость с стандартами ANSI SQL 92, 99 и расширений в ANSI SQL 2003 (включая windows функции, events join, merge и т.д.)
  • Управляемые и расширяемые загрузчики данных в хранилище, а так же возможность подключения файлов данных в виде внешних таблиц
  • Управление распределением ресурсов и приоритетов между ролями и пользователями
  • Поддержка ролевой модели доступа к данным пользователей, внутренний и внешние механизмы авторизации пользователей
  • Гибкая функциональность резервного копирования и восстановления базы или отдельных объектов базы на устройства резервного копирования или другой кластер Vertica
  • Настраиваемый механизм передачи данных между несколькими кластерами Vertica
  • Поддержка R языка
  • Поддержка подключения пользовательских библиотек расширений пользовательских функций и парсеров для загрузки данных
  • Наличие коннекторов для подключений и работы с Vertica из Hadoop
  • Наличие библиотеки для подключения и работы с Vertica из Pig
  • Поддержка загрузки файлов или присоединения как внешних таблиц с HDFS

    Принципы лицензирования
    Лицензируется пошагово объем исходных данных без ограничения функциональности, используемой аппаратной части, дискового пространства и т.д. Объем вычисляется исходя из примерного расчета хранимых в базе данных, как если бы они были сохранены в CSV формате, включая разделители.

    Бесплатная версия
    Comminity Edition - бесплатная версия без ограничения функциональности, которая позволяет создать и использовать хранилище данных до 1 тб исходного объема данных на одном сервере или в кластере с 3 нодами. Можно скачать как инсталяцию, так и готовый настроенный образ под VMWare для ознакомления.

    Документация
    Онлайн документация

    Портал и коммунити
    Vertica portal

    Срочная помощь
    Vertica
    EasyData

    Сторонние информационные ресурсы
  • Статьи на Хабре про Vertica
  • Блог ASCRUS
  • Статьи компании EasyData
  • Статьи компании Аналитика Плюс

    Нативная поддержка Vertica коммерческими ETL и BI
  • Talend - поддержка на уровне компонент ETL для загрузки и записи данных (компонент ELT нет)
  • Informatica Data Replication - поддержка на уровне приемника данных из других источников
  • DBMoto - поддержка на уровне приемника данных из других источников
  • Attunity - поддержка на уровне приемника данных из других источников
  • Microstrategy - поддержка на уровне SQL семантики генерации запросов с учетом особенностей и расширений Vertica
  • Oracle BI - поддержка на уровне SQL семантики генерации запросов с учетом расширений ANSI стандарта SQL

    Визуальные SQL клиенты
    Любой, поддерживающий стандартные драйвера доступа ODBC или JDBC (SQuirreL, dbeaver, dbvisualizer, toad, ...)

    Курсы, обучение, консалтинг и экспертиза
  • Компания EasyData

    Вроде как все, пишите мне в почту, что забыл, дополню :)

    Сообщение было отредактировано: 27 окт 15, 18:18
  • 5 дек 13, 14:54    [15246840]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Дедушка
    Member

    Откуда: Город трёх революций
    Сообщений: 5114
    ASCRUS
    позволяет создать и использовать хранилище данных до 1 тб исходного объема данных
    ИМХО, стоит дополнить как вычисляется этот объём... а то многие очень удивляются узнав реалии.
    10 дек 13, 09:35    [15268719]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    ASCRUS
    Member

    Откуда: МО Электросталь
    Сообщений: 5994
    Дедушка
    ASCRUS
    позволяет создать и использовать хранилище данных до 1 тб исходного объема данных
    ИМХО, стоит дополнить как вычисляется этот объём... а то многие очень удивляются узнав реалии.

    Точно! Спасибо за подсказку, дописал.
    18 дек 13, 12:13    [15310080]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Vovaka
    Member

    Откуда: Москва
    Сообщений: 684
    Дедушка,

    Я удивился только про разделители :)
    Остальное вроде как понятно все как раз, а вот считать место на дисках - это уже задачка не из простых, как сжалось, какие индексы или еще что отожрали место... имхо Вертика самая простая в подсчете лицензий, да и в прайс-листе.
    19 дек 13, 23:09    [15320498]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Vovaka
    Member

    Откуда: Москва
    Сообщений: 684
    Портал для пользователей, разработчиков, партнеров: HP Vertica Marketplace
    19 фев 14, 21:02    [15593714]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    _Dog
    Member

    Откуда: от туда...
    Сообщений: 265
    Vovaka,

    строите ли Вы ОЛАП кубы на Вертике? Легко или не все просто?
    26 мар 14, 16:06    [15790116]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    ASCRUS
    Member

    Откуда: МО Электросталь
    Сообщений: 5994
    _Dog
    Vovaka,

    строите ли Вы ОЛАП кубы на Вертике? Легко или не все просто?

    А давайте не в FAQ это обсуждать. Задайте в форуме вопрос и я на него отвечу ;)
    31 мар 14, 13:39    [15811024]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Vovaka
    Member

    Откуда: Москва
    Сообщений: 684
    Вышел релиз 7.1 Dragline
    2 сен 14, 21:19    [16525778]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    Теперь и в облаке...
    16 апр 15, 09:14    [17521528]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Бумбараш
    Member

    Откуда: никем не победимая, самая любимая
    Сообщений: 2913
    а это нормально, что больше половина ссылок в пиннед теме "фак по вертике" ведут на сайт конторы ASCRUS или на 95% аффилированы с ней?
    18 май 15, 13:47    [17655351]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    ASCRUS
    Member

    Откуда: МО Электросталь
    Сообщений: 5994
    Бумбараш
    а это нормально, что больше половина ссылок в пиннед теме "фак по вертике" ведут на сайт конторы ASCRUS или на 95% аффилированы с ней?

    Давайте ваши русскоязычные ссылки, с удовольствием здесь опубликуем. Кстати не знал, что Хабр и Аналитика плюс мои конторы, очень приятно конечно, но увы, они не мои :)
    18 май 15, 17:00    [17656919]     Ответить | Цитировать Сообщить модератору
    Между сообщениями интервал более 1 года.
     Re: FAQ HP Vertica  [new]
    MasterZiv
    Member

    Откуда: Питер
    Сообщений: 34697
    ASCRUS,

    можно допишу одну вещь?
    26 май 16, 12:20    [19222412]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    ASCRUS
    Member

    Откуда: МО Электросталь
    Сообщений: 5994
    MasterZiv
    ASCRUS,

    можно допишу одну вещь?

    Да почему нет :)
    26 май 16, 12:57    [19222698]     Ответить | Цитировать Сообщить модератору
     Re: FAQ HP Vertica  [new]
    Ролг Хупин
    Member

    Откуда: Чебаркуль
    Сообщений: 4155
    Интересная ветка, странно только - зачем закрыли ту, которую вёл Вадик

    https://www.sql.ru/forum/1121451/anonsy-ot-gvf112gvf
    30 янв 17, 15:16    [20162318]     Ответить | Цитировать Сообщить модератору
    Между сообщениями интервал более 1 года.
     Re: FAQ HP Vertica  [new]
    7rt
    Member

    Откуда:
    Сообщений: 15
    Сегодня смотрел старый доклад HL 2015 г по Vertica.
    Достаточно много актуальной инфы

    [youtube=]
    23 авг 20, 19:53    [22185985]     Ответить | Цитировать Сообщить модератору
    Все форумы / NoSQL, Big Data Ответить