Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
jfinister
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 10
Стоит вопрос про выбор базы данных для большого каталога товаров: 50 млн. товаров; 30 000 категорий. В каждой категории 3-15 фильтров по характеристикам товара.

Особенность каталога:
- многоязычность
- каждый товар привязан к определенной GEO зоне (выделенной на карте) и показывается только если клиент находиться в этой зоне
- динамическое ценообразование от различных каналов и факторов

Нужно быстродействие, удобство и отказоустойчивость.

Что посоветуете, какую базу данных выбрать? Вероятно какую-то связку баз данных? Как бы Вы для себя сделали такой проект?
1 сен 15, 08:45    [18093756]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
jfinister,

А какие требования к производительности, нужен ли faceting, нужен ли полнотекстовый поиск?
1 сен 15, 09:02    [18093810]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
miksoft
Member

Откуда:
Сообщений: 38920
jfinister
какую базу данных выбрать?
Любую, которую хорошо знаете.


jfinister
Как бы Вы для себя сделали такой проект?
Оракл и, возможно, Сфинкс. Последнее зависит от деталей задачи, которые пока не ясны.
1 сен 15, 09:08    [18093826]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54803

jfinister
Как бы Вы для себя сделали такой проект?

МашИнформТЭК использовал последовательно по мере развития Paradox, Interbase, Firebird.
Умер не потому, что СУБД не справилась, а потому, что поддерживать каталог в актуальном
состоянии стало выше возможностей предприятия.

Posted via ActualForum NNTP Server 1.5

1 сен 15, 11:49    [18094467]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
jfinister,

Когда мне было нужно искать по 10млн. товаров по нескольким тысячам атрибутов за 10ms, пришлость делать свою inmemory DB, иначе в требования по времени не укладывался.
1 сен 15, 19:06    [18096830]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
DPH3
jfinister,

Когда мне было нужно искать по 10млн. товаров по нескольким тысячам атрибутов за 10ms, пришлость делать свою inmemory DB, иначе в требования по времени не укладывался.

спасибо, повеселили.
4 сен 15, 12:48    [18108071]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
ScareCrow,

Вы можете предложить более эффективное решение, которое в сумме обошлось бы дешевле? Даже интересно, я с удовольствием послушаю.
5 сен 15, 04:03    [18112035]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54803

DPH3
Вы можете предложить более эффективное решение, которое в сумме обошлось бы
дешевле?

Снять бессмысленное ограничение в 10мс не предлагать?..

Posted via ActualForum NNTP Server 1.5

5 сен 15, 12:18    [18112480]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Ганнибал бен Гисгон Магонид
Member [заблокирован]

Откуда: рПТ
Сообщений: 2267
jfinister,

Любая подойдёт. Ибо здесь достаточно кластера на чтение с балансировщиком нагрузки.
5 сен 15, 15:47    [18112826]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Ганнибал бен Гисгон Магонид
Member [заблокирован]

Откуда: рПТ
Сообщений: 2267
А так-то.... MySQL!
5 сен 15, 15:48    [18112828]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
Dimitry Sibiryakov
Снять бессмысленное ограничение в 10мс не предлагать?..

А отклик сервера в пределах 100-200ms иначе не получить при заданной нагрузке. С учетом всех требований на фасетинг, анализ доступных фильтров и т.п.
6 сен 15, 00:59    [18114152]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54803

DPH3
А отклик сервера в пределах 100-200ms иначе не получить при заданной нагрузке.

Поднять ограничение на отклик сервера с пределов человеческой реакции до пределов
человеческого терпения не предлагать?..

Posted via ActualForum NNTP Server 1.5

6 сен 15, 10:53    [18114588]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
bochkov
Member

Откуда: Камчатка
Сообщений: 4093
какой нить носкл прикрутить, с поддержкой геообработки,
там и фильтры такие же как данные-json
6 сен 15, 13:50    [18114910]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Малх
Member [заблокирован]

Откуда: Пейте Иван-чай!
Сообщений: 2425
DPH3
jfinister,

Когда мне было нужно искать по 10млн. товаров по нескольким тысячам атрибутов за 10ms, пришлость делать свою inmemory DB, иначе в требования по времени не укладывался.


Проверил -- MySQL на 11 млн. товаров и 1000 атрибутов в требования укладывается.

К сообщению приложен файл (tab1000.sql - 139Kb) cкачать
8 сен 15, 09:07    [18121459]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
Малх,

А кто сказал, что число атрибутов постоянно, что они все int, что запросы только на точное совпадение, а не на диапазон или подстроку, что у атрибутов всего по 1000 разных значений (а не от 1e6 до 10)?
Вообще, в указанной схеме выборка по пяти атрибутам будет выдавать в среднем 0 значений. Интересны выборки, которые отдают 1e5 значений - но за 10ms )
0 значений надо и отдавать за 1ms, не больше )
8 сен 15, 10:34    [18121802]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
Dimitry Sibiryakov
DPH3
А отклик сервера в пределах 100-200ms иначе не получить при заданной нагрузке.

Поднять ограничение на отклик сервера с пределов человеческой реакции до пределов
человеческого терпения не предлагать?..


А зачем? Своя inmemorydb пишется быстрее, чем соптимизировать решение для какой-нибудь реляционки. Concept proof за пару дней, все решение с тестированием - за пару недель. Это дешевле, чем покупать платную БД или даже заказывать услуги хорошего DBA )
8 сен 15, 10:38    [18121816]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Малх
Member [заблокирован]

Откуда: Пейте Иван-чай!
Сообщений: 2425
DPH3
Малх,

А кто сказал, что число атрибутов постоянно, что они все int, что запросы только на точное совпадение, а не на диапазон или подстроку, что у атрибутов всего по 1000 разных значений (а не от 1e6 до 10)?
Вообще, в указанной схеме выборка по пяти атрибутам будет выдавать в среднем 0 значений. Интересны выборки, которые отдают 1e5 значений - но за 10ms )
0 значений надо и отдавать за 1ms, не больше )


Если не int, то это схема звезда. Добавляются словари значений и всё. Распределение просто для теста равномерное взял, дабы проверить сложность задачи.
8 сен 15, 10:52    [18121900]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Andrey Sribnyak
Member

Откуда: Киев
Сообщений: 600
Redis плюс поиск по bitmap по идее то, что нужно:

http://habrahabr.ru/post/261137/

Ограничения, конечно же есть.
Плюс все должно помещаться в память :)
8 сен 15, 11:05    [18121981]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
Andrey Sribnyak
Member

Откуда: Киев
Сообщений: 600
Кстати, Shpinx так же не плохая идея:

http://habrahabr.ru/company/mamba/blog/144084/
8 сен 15, 11:14    [18122025]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
DPH3
Member

Откуда:
Сообщений: 456
Andrey Sribnyak
Redis плюс поиск по bitmap по идее то, что нужно:

http://habrahabr.ru/post/261137/

Ограничения, конечно же есть.
Плюс все должно помещаться в память :)


Ну, мое решение было похоже по структуре. Только я все-таки сделал быстрый поиск по диапазонам и нормальное массовое обновление. Ну и производительность получил на порядок больше )
9 сен 15, 02:02    [18125997]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709
jfinister
Нужно быстродействие, удобство и отказоустойчивость.


Ага, типа "выбери два из трёх"...

jfinister
Что посоветуете, какую базу данных выбрать?


Выбирай лучше хорошую базу данных.
Подумай, нужен ли тебе будет полнотекстовый поиск и в каком режиме можно будет обновлять его индексы.
Если вдруг будет нужен, это может сильно повлиять на выбор.
10 сен 15, 18:42    [18134427]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
ShkrylAndrei
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 42
Какие затраты на системного администратора? Какие затраты на лицензионное ПО? Какие затраты на разработку?
Какие затраты на сопровождение?

автор

Стоит вопрос про выбор базы данных для большого каталога товаров: 50 млн. товаров; 30 000 категорий. В каждой категории 3-15 фильтров по характеристикам товара.


Техническое задание: разрабатывается база данных для магазина? посредника? диллера? торгового агента? занимающей продажей товаров какого назначения? Что будет делаться с хранимой информацией? Она будет сортироваться и фильтроваться? или что-то еще?

автор
каждый товар привязан к определенной GEO зоне (выделенной на карте) и показывается только если клиент находиться в этой зоне

Это не является объективным фактором для выбора базы данных- это имеет отношение к "представлению данных", тогда надо знать, каким образом вы будет отображать данные ползователю?


автор
Нужно быстродействие, удобство и отказоустойчивость

ВАм нужн не быстродействие, а озвученная цифры на специалиста, тогда у вас появятся, если проводить аналогию либо сборная италии или португалии, или сборная деревни УЗЮКОВО)))
25 сен 15, 22:28    [18197568]     Ответить | Цитировать Сообщить модератору
 Re: Каталог товаров с фильтрами по характеристикам товара (выбор БД)  [new]
ShkrylAndrei
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 42
автор
Что посоветуете, какую базу данных выбрать? Вероятно какую-то связку баз данных? Как бы Вы для себя сделали такой проект?

Я вам рекомендю MYSQL, +граммотное техническое задание, тогда вы сэкономите время, и можно будет от описательной части и части рассуждений переходить к конкретики. А так это задача из области фантастики. А что вы будете если ассортимент товаров расшириться от 50 млн до 100 млн? Или измениться номенклатура товара?
25 сен 15, 22:31    [18197581]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить