Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
Здравствуйте!

Имеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку. Проект сделан на движке, движок поддерживает следующие СУБД MySQL (за место мускула мы поставили MariaDB), PostgreSQL, MS SQL, Oracle.

Но мы склоняемся к noSQL, понимаю тут без переписывания кода движка тогда не обойтись, наткнулся на статью про Cassandra [url=]http://www.opennet.ru/opennews/art.shtml?num=34980[/url] как из написанного я понял что можно реализовать MariaDB + Cassandra, тоесть не какого переписывания кода движка, оставить как есть, а вся информация будет храниться в Cassandra. Скажите можно ли такое реализовать, что бы было двиг - mariaBD - Cassandra? Как я понял MariaDB тут выполняет роль транзитного узла, PHP работает с SQL базами, поэтому остается MariaDB, а MariaDB в свою очередь хранит информацию в Cassandra.


Если что то я не так понимаю то объясните.
10 янв 14, 08:37    [15394451]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
miksoft
Member

Откуда:
Сообщений: 38918
Serg-io
нынешняя СУБД не вывозит уже нагрузку
Умеете ли вы ее готовить?
Откуда уверенность, что смена СУБД поможет?
10 янв 14, 09:04    [15394544]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
miksoft
Serg-io
нынешняя СУБД не вывозит уже нагрузку

Умеете ли вы ее готовить?
Откуда уверенность, что смена СУБД поможет?


Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей.
10 янв 14, 09:07    [15394555]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
miksoft
Member

Откуда:
Сообщений: 38918
Serg-io
miksoft
пропущено...

Умеете ли вы ее готовить?
Откуда уверенность, что смена СУБД поможет?


Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей.
Просто "хранить" может любая база, это не показатель.
10 янв 14, 09:16    [15394583]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
miksoft
Serg-io
пропущено...


Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей.
Просто "хранить" может любая база, это не показатель.


ну а то что при обращении к базе скриптом на запись или чтение, база просто еле шевелится, не говоря уже о больших запросах, выборках.

Я сейчас говорю не о записи, чтении и хранении скажем переписки пользователей, а отбор информации пользователем по определенный запросам из базы, плюс еще и внесение изменений или добавление информации. Когда 50 000 онлайн юзеров еще терпимо, когда переваливает за 100 000 онлайн и постоянные обращений к БД, сервер БД просто лежит.
10 янв 14, 09:38    [15394669]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
tanglir
Member

Откуда:
Сообщений: 28966
Serg-io
обращении к базе скриптом на запись или чтение
Serg-io
отбор информации пользователем по определенный запросам из базы, плюс еще и внесение изменений или добавление информации
Сплошные общие фразы. На других СУБД у вас будут такие же "скрипты" , "отборы" и "внесение изменений". Вы надеетесь, что кто-то сможет предугадать, как поведёт себя другая СУБД на неизвестно каких данных, которые неизвестно как обрабатываются?
10 янв 14, 11:04    [15395159]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
tanglir
Member

Откуда:
Сообщений: 28966
Да, чуть не забыл: в "50000 пользователей онлайн" не верю я, и будьте уверены, не поверит никто. Ибо если у вас такая нагрузка, то вы и сами в состоянии найти ответ на свой вопрос - более того, вы уже должны его знать!
PS. Разве что имелось в виду "50000 пользователей в день"?
10 янв 14, 11:07    [15395176]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
tanglir
Да, чуть не забыл: в "50000 пользователей онлайн" не верю я, и будьте уверены, не поверит никто. Ибо если у вас такая нагрузка, то вы и сами в состоянии найти ответ на свой вопрос - более того, вы уже должны его знать!
PS. Разве что имелось в виду "50000 пользователей в день"?


в месяц 50 000 юзеров онлайн.

Я прошу тут не обсуждений на предмет "может не может быть", "вы сами должны знать", а помощи разобраться в дальнейшем переходе на нужную СУБД. Кому просто охота поболтать давай те не будем постить сообщения в рамках накрычивания постов и кармы )))
10 янв 14, 11:16    [15395248]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
У меня стоит задача перехода на другую СУБД из них PostgreSQL, MS SQL, Oracle (именно эти по скольку движок поддерживает только эти СУБД, ну еще и MySQL который мы сменили на MariaBD).

Либо есть второй вариант в чем я не шибко уверен по скольку не обладаю нужным кол-вом знаний и опытом, это как и прочитал из статьи http://www.opennet.ru/opennews/art.shtml?num=34980 и если он конечно реализуем что мне бы очень подошло что бы не переписывать двиг под другую СУБД склоняясь к noSQL, это MariaDB + Cassandra , где Cassandra выступает в роли хранилища данных, а MariaDB обработкой данных и запросов.

Вот я и прошу помощи разобраться, какой лучше вариант, и второй вариант реализуем ли вообще.
10 янв 14, 11:17    [15395260]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
miksoft
Member

Откуда:
Сообщений: 38918
Serg-io
Я прошу тут не обсуждений на предмет "может не может быть", "вы сами должны знать", а помощи разобраться в дальнейшем переходе на нужную СУБД.
Пока еще совершенно не очевидно, что СУБД надо менять.
Нужно детально разбираться где именно узкое место у текущей СУБД. Да и вообще в ней ли дело (а не, например, в архитектуре).
Также нужно разбираться с характером нагрузки на текущую СУБД. Если это иерархические запросы, то переход на Оракл может помочь, там они делаются "из коробки", а не на костылях как в MySQL. Если это запросы вида SELECT * FROM table WHERE id=1234, то смена СУБД скорее всего только ухудшит ситуацию.

Но чтобы во всем это разобраться, нужна информация о текущей системе. Много информации.
10 янв 14, 11:37    [15395419]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Serg-io
...
Имеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку. Проект сделан на движке, движок поддерживает следующие СУБД MySQL (за место мускула мы поставили MariaDB), PostgreSQL, MS SQL, Oracle.
.....
Вот я и прошу помощи разобраться, какой лучше вариант, ....


Ну, может Вам стоит привести тормозные запросы, скрипты по созданию табл участвующих в нем и по заполнению, к примеру случайными числами, с учетом чтобы это было легко подправить на разные СУБД.
Так чтобы, если кому делать нечего, могли бы в свои БД закачть и проверить в чем там дело. Иначе, скорей всего, "разобраться" следует заменить на "предположить".
10 янв 14, 11:38    [15395431]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
tanglir
Member

Откуда:
Сообщений: 28966
Serg-io
а помощи разобраться в дальнейшем переходе на нужную СУБД
У вас сплошные общие фразы, какой помощи вы ожидаете? Для начала надо
miksoft
Нужно детально разбираться где именно узкое место у текущей СУБД. Да и вообще в ней ли дело (а не, например, в архитектуре).

А уже определив это, можно будет уже предъявлять к замене какие-то требования, если она всё ещё будет нужна.
К тому же
Serg-io
в месяц 50 000 юзеров онлайн
это 50000/(30*24*60)~1.15 юзера в минуту. Это же просто смешно. Но это в среднем, конечно. Пиковая нагрузка какая? 10 юзеров в минуту? Или 500 в секунду? Какие они посылают запросы, сколько данных шлют/получают? В общем,
miksoft
чтобы во всем это разобраться, нужна информация о текущей системе. Много информации.
Вы же ничего по существу не сказали, а хотите какую-то помощь получить.
PS. А кармы здесь нет :)
10 янв 14, 11:51    [15395545]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
tanglir
Member

Откуда:
Сообщений: 28966
vadiminfo
Ну, может Вам стоит привести тормозные запросы
Для начала надо их найти. Интересно, ТС хотя бы slow query log включал?
10 янв 14, 11:52    [15395557]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
Проблема медленный поиск и агрегация данных.

Основную нагрузку составляют 4 таблицы.
В первой таблице 15 000 000 записей, ежедневно стало добавляться в среднем по 400 тыс. записей, и удаляется 150 тыс. записей. Каждая запись около 1500 байт. По этой таблице происходят основные важные запросы и выборки.

Во вторую таблицу среднее добавление записей 150 000 записей, удаление в районе 70 000 записей, в таблице около 7 000 000 записей.

Третья и четвертая таблица носит средний показатель округленно по 2 000 000 записей, со среднесуточным добавление добавлением 50 000 записей.


Что посоветует что бы не пришлось переписывать двиг с переходом на другую СУБД? Сейчас СУБД MariaDB. Хотелось бы перейти на Apache Cassandra но в этом случае прийдется полностью переписать двиг, есть ли возможность реализации MariaDB + Apache Cassandra?
10 янв 14, 19:44    [15399080]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54751

Serg-io
Что посоветует что бы не пришлось переписывать двиг с переходом на другую
СУБД?

Добавить индексы, произвести партиционирование.

Posted via ActualForum NNTP Server 1.5

10 янв 14, 19:47    [15399094]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
miksoft
Member

Откуда:
Сообщений: 38918
Serg-io
Основную нагрузку составляют 4 таблицы.
движок у таблиц какой?
10 янв 14, 20:12    [15399208]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Serg-io
Member

Откуда:
Сообщений: 18
miksoft
Serg-io
Основную нагрузку составляют 4 таблицы.
движок у таблиц какой?


XtraDB
10 янв 14, 21:02    [15399385]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
BlackEric
Member

Откуда:
Сообщений: 759
Первым делом нужно смотреть планы запросов. Используются ли индексы.
11 янв 14, 01:20    [15400564]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
SERG1257
Member

Откуда:
Сообщений: 2931
Я бы уточнил, как используются индексы.
А так же привел бы ddl на таблицы, индексы, запросы, планы.
Может у него EAV - тогда все советы сразу на мороз. Тогда пусть идет сразу в noSQL (там тоже не взлетит, хоть честь мундира сохраним)
11 янв 14, 02:03    [15400671]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
miksoft
Member

Откуда:
Сообщений: 38918
SERG1257
Может у него EAV - тогда все советы сразу на мороз. Тогда пусть идет сразу в noSQL (там тоже не взлетит, хоть честь мундира сохраним)
EAV EAV-у тоже рознь.
Может и в текущей ситуации можно что-то улучшить.
11 янв 14, 12:31    [15401080]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
Sgt.Pepper
Member

Откуда: spb
Сообщений: 1166
Serg-io
Проблема медленный поиск и агрегация данных.

Основную нагрузку составляют 4 таблицы.
В первой таблице 15 000 000 записей, ежедневно стало добавляться в среднем по 400 тыс. записей, и удаляется 150 тыс. записей. Каждая запись около 1500 байт. По этой таблице происходят основные важные запросы и выборки.
Кто Вас допустил до администрирования такой сложной базы?...
Индексы, статистика запросов.

Serg-io
Во вторую таблицу среднее добавление записей 150 000 записей, удаление в районе 70 000 записей, в таблице около 7 000 000 записей.
О, господи, еще и тут!... Как часто - раз в секунду/минуту/час/сутки/год?...
Индексы, статистика запросов.

Serg-io
Третья и четвертая таблица носит средний показатель округленно по 2 000 000 записей, со среднесуточным добавление добавлением 50 000 записей.
Ништяк!.. Тут даже триггеры нагрузки почти не добавят!... Если, конечно, при каждой вставке не отсылают всю базу в Пентагон...

Serg-io
Что посоветует что бы не пришлось переписывать двиг с переходом на другую СУБД? Сейчас СУБД MariaDB. Хотелось бы перейти на Apache Cassandra но в этом случае прийдется полностью переписать двиг, есть ли возможность реализации MariaDB + Apache Cassandra?
При любой проблеме с производительностью нужно мигрировать на новую СУБД - первое правило DBA!...

Характер запросов - там есть джойны?.. Хэш/Мердж/Луп?...
Блокировки смотрели?...
11 янв 14, 13:17    [15401145]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
автор
СУБД MariaDB

автор
там есть джойны?.. Хэш/Мердж/Луп?...

ох уж эти студенты.
12 янв 14, 01:41    [15403692]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
автор
XtraDB

автор
за место мускула мы поставили MariaDB

ох уж эти сказочники.
12 янв 14, 01:42    [15403698]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
miksoft
Member

Откуда:
Сообщений: 38918
ScareCrow
автор
XtraDB
автор
за место мускула мы поставили MariaDB
ох уж эти сказочники.
А что тут не так?
12 янв 14, 01:46    [15403706]     Ответить | Цитировать Сообщить модератору
 Re: Переезд на другую СУБД (mariaDB to ...)  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
моя неправда.
автор
the following are also included with MariaDB Source and Binary packages:

Aria
XtraDB (drop-in replacement for InnoDB)

оно у меня только с Percona Server ассоциировалось
12 янв 14, 05:11    [15403901]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить