Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 MySQL и 100000 inserts каждые 5 минут?  [new]
STE
Member

Откуда:
Сообщений: 74
Сейчас работает система:
Server: x86, OS: Solaris 10, DB: MySQL 4.1 MyISAM

Каждые 5 минут в базу (2-5 таблиц) пишутся данные в объеме 50000 - 100000 строк. Приложение работающее в режиме только на чтение, простой веб-интерфейс на PHP, сильно тормозит похоже из-за нагрузки (оптимизация SQL запросов и построение индексов уже проведена), mysql_dump на сколько я понимаю во время работы локирует базу на запись, получается не подходит для бэкапа, остановить сервер нельзя. Размер базы пока достиг 30 Гб.

Принял решение поставить второй сервер и сделать репликацию. Переключить приложение на слэйв в режиме только на чтение, а мастер оставить только на запись. Бэкап делать холодным или mysql_dump со слэйва.

Вопросы:

1. Можно ли и правильно ли так делать и какие подводые камни можно ожидать?
2. Нужно ли делать обновление обоих серверов до MySQL 5.x и переходить на INNODB?
3. Есть ли выйгрышь, если перейти на PostgreSQL 8.3 со стороними решениями для репликации, например SkypeTools?

Поскольку опыта в плане масштабирования и распределения нагрузки практически нет, буду признателен за советы или ссылки, где подобные системы рассматриваются.

Заранее спасибо.
2 окт 08, 06:25    [6253580]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
miksoft
Member

Откуда:
Сообщений: 38919
STE
Каждые 5 минут в базу (2-5 таблиц) пишутся данные в объеме 50000 - 100000 строк.
пишется как именно?

STE
оптимизация SQL запросов
уверены? и оптимизация самого приложения тоже проведена?
STE
построение индексов уже проведена
лишних не понаделали?

STE
mysql_dump
вы документацию по этой команде читали?
mysqldump
If you are doing a backup on the server and your tables all are MyISAM tables, consider using the mysqlhotcopy instead because it can accomplish faster backups and faster restores.

STE
Нужно ли делать обновление обоих серверов до MySQL 5.x и переходить на INNODB?
а как вы связываете одно с другим?
2 окт 08, 14:23    [6256424]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Konstantin~
Member

Откуда:
Сообщений: 93
я не особый спец в mysql, если что пусть более знающие поправят

не уверен что репликация решит проблемы. На колько я знаю в mysql replication это грубо говоря повторение всех изменяющих данные SQL запросов на слейве. То естъ сейчас 100000 INSERTS происходят на одном сервере, а будут просиходитъ на двух одновременно.

сейчас: СЕРВЕР А 100000 INSERTS + n SELECTS
будет: СЕРВЕР A(master) 100000 INSERTS; СЕРВЕР B(slave) 100000 INSERTS + n SELECTS; + гимор с репликацией

не вижу пючему будет быстрее
------------------------------------------------------------------------------------------------

вас уже спросили, как именно вы пишите в базу? INSERT или что еще
3 окт 08, 01:12    [6259253]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
STE
Member

Откуда:
Сообщений: 74
Konstantin~
я не особый спец в mysql, если что пусть более знающие поправят

не уверен что репликация решит проблемы. На колько я знаю в mysql replication это грубо говоря повторение всех изменяющих данные SQL запросов на слейве. То естъ сейчас 100000 INSERTS происходят на одном сервере, а будут просиходитъ на двух одновременно.

сейчас: СЕРВЕР А 100000 INSERTS + n SELECTS
будет: СЕРВЕР A(master) 100000 INSERTS; СЕРВЕР B(slave) 100000 INSERTS + n SELECTS; + гимор с репликацией

не вижу пючему будет быстрее
------------------------------------------------------------------------------------------------

вас уже спросили, как именно вы пишите в базу? INSERT или что еще


Да: INSERT
3 окт 08, 06:24    [6259383]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Konstantin~
Member

Откуда:
Сообщений: 93
наверно надо глядеть в сторону того чтобы обьеденить кучу INSERTов в одну операцию. Например писать в текстовый файл а оттуда переодически заливать данные в базы. У postgresql есть команда COPY а у mysql вроде есть что-то похожее (google: "bulk insert mysql")
3 окт 08, 10:11    [6260018]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

STE
Да: INSERT

О великий и ужасный аффтар! Открой нам, недостойным тайну великую:
откуда берётся информация в количестве таком немерянном???

Сгенерировать сто тысяч записей за пять минут может не каждый источник.
Большой Адронный Коллайдер, конечно, может. Тополь-М при запуске -
легко. Но рядом с такими объектами идиотов вроде бы не держат...

Posted via ActualForum NNTP Server 1.4

3 окт 08, 11:41    [6260781]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30244
100к записей за 5 минут это примерно 330 записей в секунду.
значит, это
20к записей в минуту
120к записей в час
2млн880к записей в сутки
1млрд 51млн 200к записей в год.
если предположить, что одна запись это 100 байт, то за год получится 1 терабайт и 50 гиг.

это я так, на всякий случай, чтобы автор знал, к чему готовиться.
3 окт 08, 12:03    [6261011]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
kdv
это я так, на всякий случай, чтобы автор знал, к чему готовиться.


К смене СУБД?! ;)
3 окт 08, 12:05    [6261032]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32886

Hello, pkarklin!
You wrote on Fri, 03 Oct 08 09:05:53 GMT:

pkarklin
kdv
это я так, на всякий случай, чтобы автор знал, к чему готовиться.

p> К смене СУБД?! ;)
скорее, к сдаче, либо несдаче курсовика

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

3 окт 08, 12:23    [6261210]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Konstantin~
Member

Откуда:
Сообщений: 93
FYI: такое кол-во инфы-в-секунду часто бывает когда пишут логи с сайтов/скриптов напрямую в базу или инфу с датчиков. Вполне может быть и не курсовик.
3 окт 08, 12:53    [6261476]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32886

Hello, Konstantin~!
You wrote on Fri, 03 Oct 08 09:53:27 GMT:

Konstantin~
K> Вполне может быть и не курсовик.
те у которых "не курсовик", не задают такие вопросы.

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

3 окт 08, 13:00    [6261535]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
STE
Member

Откуда:
Сообщений: 74
Мимопроходящий

Hello, Konstantin~!
You wrote on Fri, 03 Oct 08 09:53:27 GMT:

Konstantin~
K> Вполне может быть и не курсовик.
те у которых "не курсовик", не задают такие вопросы.

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4




Всем спасибо. Вот мои пояснения сразу всем:

Забыл упомянуть что сервер имеет только 2Гб памяти.


Мимопроxодящий:
Проxоди мимо! Извини нет времени на тебя, я сюда пришел за помощью и профессиомнальным общением.

Konstantin:
Спасибо, дельное замечание.

Dimitry Sibiryakovу:
Даные идут с сетевыx девайсов на прямую. По-поводу "рядом с такими объектами идиотов вроде бы не держат" не знаю. Наверное стоит в первую очередь начинать высказывания так же как и изменение мира - с себя.

kdv:
Спасибо, xороший прогноз. Поэтому то я и решил посоветоваться со спецами какая база для такиx задач лучше и как такие нагрузки балансировать (а не выслушивать всякиx мимопроxодящиx :).

pkarklin:
В последнее время только об этом и думаю как ниxотелось, но видимо прийдется.



30 Гб данныx получились за 6 месяцев, так что расчеты kdv близки к правде, если не учитывать что это не все девайсы подключены.

Наверное я пойду в конкретные форумы по базам.
3 окт 08, 20:09    [6264238]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
STE
Наверное я пойду в конкретные форумы по базам.

Во-во, иди-иди в форумы по базам.
А SQL-сервера оставь в покое.
3 окт 08, 23:05    [6264619]     Ответить | Цитировать Сообщить модератору
 Re: MySQL и 100000 inserts каждые 5 минут?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

STE
Наверное я пойду в конкретные форумы по базам.

Вот-вот. Раз softwarer просил не мучить Оракула - иди-ка ты на MS
SQL.

Posted via ActualForum NNTP Server 1.4

3 окт 08, 23:40    [6264684]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить