Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / NoSQL, Big Data Новый топик    Ответить
 А какие сейчас тенденции в самом производительном NoSQL на тему BigData?  [new]
jsa54513
Member

Откуда: p
Сообщений: 5400
Вот товарищ рассказывает, что машинное обучение в области аналитики становится всё более "онлайновым" - если раньше хранили только результаты какого-то аггрегирования, которое на этапе постановке задачи было понятным, то сейчас хранят сырую историю событий с избыточными данными (хранят тупо ВСЁ) и хотят быстро пробегаться по этим данным, применяя к ним какой-то новый алгоритм из головы аналитика.

Стали появляться продукты, интегрирующие в себе несколько отдельно существовавших до этого решений: например какая-то быстрая запись (типа buffered B-tree), какие-нибудь там очереди в ОЗУ и тесно связанный с ними движок "пробега" по всем данным с возможностью писать на каком-то простом языке правила обработки.

Пример: MongoDB aggregation pipeline. Само MongoDB может и не быстрое и глючное, но вот aggregation pipeline - это такая конфигурируемая труба с насадками, через которую ты можешь прогнать имеющееся скопление документов и породить другие документы, которые что-то аггрегируют из сырых.

Интересен какой-то обзор на эту тему. Обзор каких-нибудь идей, недо-продуктов, зарождающихся фреймворков в области BigData (ну про хадуп я знаю, это старьё изжившее себя), каких-то продуктов, ставящих на интеграции прежде существовавших концепций.
3 июн 16, 14:55    [19255236]     Ответить | Цитировать Сообщить модератору
 Re: А какие сейчас тенденции в самом производительном NoSQL на тему BigData?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
jsa54513
Интересен какой-то обзор на эту тему. Обзор каких-нибудь идей, недо-продуктов, зарождающихся фреймворков в области BigData, каких-то продуктов, ставящих на интеграции прежде существовавших концепций.
лямбда архитектура
3 июн 16, 16:04    [19255662]     Ответить | Цитировать Сообщить модератору
 Re: А какие сейчас тенденции в самом производительном NoSQL на тему BigData?  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3795
ну и рядом тема, где Вадик поддерживает поток информации о бигдата, можно там порыться
6 июн 16, 19:58    [19264729]     Ответить | Цитировать Сообщить модератору
 Re: А какие сейчас тенденции в самом производительном NoSQL на тему BigData?  [new]
Alex_D
Member

Откуда:
Сообщений: 988
Дедушка
jsa54513
Интересен какой-то обзор на эту тему. Обзор каких-нибудь идей, недо-продуктов, зарождающихся фреймворков в области BigData, каких-то продуктов, ставящих на интеграции прежде существовавших концепций.
лямбда архитектура

ИМХО: будущее все таки за продуктами, которые используют единую модель для пакетной и потоковой обработки:
The world beyond batch: Streaming 101
The world beyond batch: Streaming 102
Ну и соответственно рождающиеся фреймворк Apache Beam
4 июл 16, 18:52    [19368334]     Ответить | Цитировать Сообщить модератору
Все форумы / NoSQL, Big Data Ответить