Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 MySQL и 1 млрд записей  [new]
Dmitriy Nikolaevich
Member

Откуда:
Сообщений: 8
Доброго врмени суток, коллеги!

Встал вопрос о замене БД. Есть основная таблица(20 полей) в которую идут данные. Не быстро, может быть макс 20-50 в секунду. Записей на данный момент 120млн. Ожидается рост до 1-1,5 млрд. То есть пиковая сумма записей будет на этом уровне, старые будут удаляться каким-то образом, пока не решили. В связи с этим вопрос: стоит ли заморачиваться менять БД на что-то более серьезное, или выдержит? И если менять, то что взять(в финансах не ограничены)?
26 сен 12, 12:12    [13224253]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
tanglir
Member

Откуда:
Сообщений: 28966
Dmitriy Nikolaevich, а какие у системы задачи? какие запросы идут к базе? какие к ним требования (по времени выполнения, например)?
26 сен 12, 12:37    [13224507]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Dmitriy Nikolaevich
Member

Откуда:
Сообщений: 8
tanglir,

Запросы идут только на выборку по дате, за 1-2 недели в общем случае. Остальное - только вставка. А по требованиям - в принципе, подождать пару секунд клиент вполне может. Запросы идут с сайта, так что это, по идее, не критично.
26 сен 12, 12:56    [13224695]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
tanglir
Member

Откуда:
Сообщений: 28966
Dmitriy Nikolaevich,

индекс по дате и не заморачиваться. Или купить оракл и не заморачиваться :)
26 сен 12, 13:08    [13224831]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Dmitriy Nikolaevich
Member

Откуда:
Сообщений: 8
tanglir,

То есть для мускула 1,5 миллиарда - вполне по силам?
26 сен 12, 13:10    [13224868]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
tanglir
Member

Откуда:
Сообщений: 28966
Dmitriy Nikolaevich, да вопрос не в количестве записей, а в запросах, что будут к этим данным идти... хотя "данные за 1-2 недели" это 30-60млн. записей, вроде немало для отдельного запроса...
В общем, пока не будет конкретных требований/запросов/таблиц, единственное, что можно сказать - если есть лишние деньги, купите оракл/мсскл, а если нет, не покупайте .
А хранение полутора миллиардов записей мускль потянет, почему нет?
26 сен 12, 13:17    [13224950]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54848

Dmitriy Nikolaevich
Запросы идут с сайта, так что это, по идее, не критично.

Да? Обычно наоборот, сайтостроители вопят "любой запрос должен исполняться не дольше 150
миллисекунд, иначе всё пропало"...

Posted via ActualForum NNTP Server 1.5

26 сен 12, 13:28    [13225074]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Dmitriy Nikolaevich
Member

Откуда:
Сообщений: 8
tanglir,

Ну лишних-то нет :) В общем, спасибо за ответы, понял я вас.
26 сен 12, 13:32    [13225120]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Dmitriy Nikolaevich
Member

Откуда:
Сообщений: 8
Dimitry Sibiryakov,

Ну там не критично. Это просто выборка, отчет.
26 сен 12, 13:32    [13225125]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
сделать секционирование по дате и периодически дровать старые секции.
26 сен 12, 15:23    [13226339]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Gallagher
Member

Откуда: ( ͡°◞ʖ◟ ͡°)
Сообщений: 542
Насколько часто по базе будут крутиться SQL на фетчинг упомянутых 30 - 50 млн записей за неделю?
Если часто (в параллели) я бы сразу смотрел в сторону возможных увеличений read capacity путём организации read only реплик (возможно каскадных), поддержки партицирования и локально партицированных индексов (чтобы не перестраивать весь индекс при дропе старых партиций). Точнее насколько легко это все достигается на СУБД-кандидате. А если совсем Кепа включать, то стоит вложить в стоимость эксплуатации не только стоимость лицензии, но и стоимость профильного ДБА (или легкость самостоятельного администрирования как противоположный вариант).
9 окт 12, 22:54    [13292919]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Gallagher
Member

Откуда: ( ͡°◞ʖ◟ ͡°)
Сообщений: 542
Кстати, если планируются только большие range запросы по датам (от пары дней), то возможно индексы и не пригодятся в случае достаточной гранулярности партицирования (партиции на день например или меньше). Другое дело если над всеми этими данными будут крутиться еще какие-нибудь запросы
9 окт 12, 23:07    [13292951]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Gallagher
Member

Откуда: ( ͡°◞ʖ◟ ͡°)
Сообщений: 542
Касаемо самих данных, вот что еще - при таких объемах скорее всего станет вопрос физического разнесения объектов. Умеет ли мускуль хранить архивные партиции (на медленных дисках) отдельно от активных (на быстром диске)? Умеет ли parallel execution в запросах?

Наконец не стоит забывать про такие аспекты как high avaibility - если простой критичен. У того же оракла есть и серверные (standby, data guard + broker), и клиентские средства (taf) для этого. А у мускуля? Disaster recovery опять таки, как и политика резирвирования часто напрямую следуют (ограничены) доступными средствами самой СУБД.
10 окт 12, 00:02    [13293132]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Мда... Сколько всяких умных слов из-за какой-то небольшой таблички...
10 окт 12, 00:27    [13293209]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Gallagher
Member

Откуда: ( ͡°◞ʖ◟ ͡°)
Сообщений: 542
20 полей могут быть 20 number(1) а могут быть varchar2(max)
или тут писькоcount(1)-мер детектед? :)
10 окт 12, 00:31    [13293222]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Gallagher
20 полей могут быть 20 number(1) а могут быть varchar2(max)


Вы себе этот вопрос задайте. Перед тем, как приводить каки-либо выкладки.
10 окт 12, 00:45    [13293276]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 1 млрд записей  [new]
Gallagher
Member

Откуда: ( ͡°◞ʖ◟ ͡°)
Сообщений: 542
pkarklin, без обид
Я лишь хотел показать, что вопрос выбора субд это не только "сдюжит или не сдюжит 1,5 млрд записей", это еще и некоторые другие аспекты.
10 окт 12, 01:18    [13293351]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить