Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / NoSQL, Big Data Новый топик    Ответить
 Вышла версия 13.3 SciDB  [new]
SciDB
Member

Откуда: Москва
Сообщений: 13
SciDB - MPP аналитическая система для Больших Данных
Модель данных - многомерные массивы (каждая ячейка массива - реляционная запись)
Поддерживается язык AQL (Array Query Language) - очень похож на SQL

Новые возможности:
- SciDB-R пакет - интергация с языком R, анализ данных на больших объемах прямо из среды R
- Интергирован пакет масштабируемой линейной алгебры ScaLAPACK
- JDBC интерфейс
- удобный инстаояционный скрип для кластерного внедрения

www.scidb.org

Помимо бесплатной версии, есть коммерческая версия продукта с дополнительными возможностями (мониторинг, дополнительные алгоритмы анализа данных) и поддержкой (включая разработку аналитических систем на базе технологии).

Большая часть разработчиков SciDB - русские программисты, поэтому мы можем выполнять внедрения и поддержку решений на самом высоком уровне.
12 апр 13, 15:22    [14173587]     Ответить | Цитировать Сообщить модератору
 Re: Вышла версия 13.3 SciDB  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Привет.

Насколько полно реализован JDBC интерфейс, хватит его чтобы управлять загрузкой данных в БД и выполнять полноценные запросы на получение результатов над хранимыми данными ?
15 апр 13, 18:05    [14183515]     Ответить | Цитировать Сообщить модератору
 Re: Вышла версия 13.3 SciDB  [new]
SciDB
Member

Откуда: Москва
Сообщений: 13
ASCRUS,

JDBC сделан с упором на запросы, реализован пока без prepared statement, то есть нельзя создать параметризированный запрос и гнать данные в SciDB через JDBC. Можно запросами закидывать данные:

insert into ... select ... from array(schema, '[data]')

где data - текстовый формат хранения данных SciDB.

Но мы рекомендуем заливать данные на сервер с SciDB и оттуда грузить родным загрузчиком.
15 апр 13, 19:14    [14183820]     Ответить | Цитировать Сообщить модератору
 Re: Вышла версия 13.3 SciDB  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Ну это то понятно. Я имел ввиду аналог copy from local оператора Vertica. Кстати на его основе в Vertica сделан и prepared statement в jdbc - дрова просто организуют передачу данных в потоке командой copy from stdin, а клиент скармливает порции insert через prepared statement и все довольны. Почитайте в документации Vertica, очень грамотно сделано. Тем более я так понимаю фамилия основателя Vertica близка вашей субд :)

PS мне ваш сервер очень интересен и как разработчику etl проекта и как архитектору хд и еще есть пара интересных мыслей. Наверное более плотные вопросы легче будет по личке обсудить.
15 апр 13, 20:56    [14184081]     Ответить | Цитировать Сообщить модератору
 Re: Вышла версия 13.3 SciDB  [new]
SciDB
Member

Откуда: Москва
Сообщений: 13
Спасибо, хорошее предложение! Думаю стоит в перспективе такую штуку сделать.
Пока просто руки не доходят.

С удовольствием ответим на вопросы, можно в личку, можно на форуме.
16 апр 13, 13:02    [14186616]     Ответить | Цитировать Сообщить модератору
 Re: Вышла версия 13.3 SciDB  [new]
Сергей Васкецов
Member

Откуда:
Сообщений: 20362
Пытался понять, но так и не осилил,... как реализовано восстановление после сбоев в процессе загрузки, например, по питанию?
18 апр 13, 17:42    [14200015]     Ответить | Цитировать Сообщить модератору
 Re: Вышла версия 13.3 SciDB  [new]
SciDB
Member

Откуда: Москва
Сообщений: 13
Сергей,

Пока мы не обрабатываем сбои во времы загрузки, только сбои во время запросов на чтение. Решение по сбою во время загрузки будет, но грубое: будем выкидывать всю последнюю версию.
18 апр 13, 22:59    [14200884]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Вышла версия 13.3 SciDB  [new]
YurySirota
Member

Откуда:
Сообщений: 11
SciDB,
Мне интересен этот продукт, применение R в Биг Дата. Хотел бы с Вами пообщаться:
YurySirotaSKYPE
YurySirotaReg@gmail.com

Юрий
29 апр 15, 10:39    [17579782]     Ответить | Цитировать Сообщить модератору
Все форумы / NoSQL, Big Data Ответить