Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / NoSQL, Big Data Новый топик    Ответить
 MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
Цель сравнить различные системы по призводительности чтения и записи.
Желательно, чтобы тест генерил все данные сам, а не использовал наши данные.

Я немного погуглил, но может кто поделится своим опытом.
23 фев 18, 14:42    [21213825]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26819
Какие конеретно различные системы?
24 фев 18, 10:50    [21215122]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
skyANA,

мы хотим попробовать одну и ту же версию MongoDB на различном железе (виртуалки).

Т.е. надо понять насколько отличается скорость различных конфигураций.
Например, сравнить SSD 500MB/s с 3GB/s и т.д.
24 фев 18, 13:41    [21215370]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
skyANA,

ваша ссылка на документ в топике уже не работает: https://www.sql.ru/forum/1090586/nosql-benchmark-couchbase-mongodb-and-cassandra?hl=

Не осталось документа?
24 фев 18, 13:45    [21215375]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Hett
Member

Откуда: Бийск, Новосибирск
Сообщений: 13578
mongoperf ?
24 фев 18, 23:02    [21215957]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Hett
Member

Откуда: Бийск, Новосибирск
Сообщений: 13578
https://docs.mongodb.com/manual/reference/program/mongoperf/
24 фев 18, 23:03    [21215958]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26819
Тогда уж mongoreplay, чтобы на разных движках и железе одну и туже нагрузку погонять.
24 фев 18, 23:13    [21215968]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26819
Помнится была серия статей "MongoDB + RocksDB at Parse".
Там были в том числе и тесты, и про либу, что они написали для записи профиля нагрузки по oplog.

Только что-то блог их не алё
24 фев 18, 23:19    [21215975]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
mongoperf тестирует IO, как я понял.

Освоил YCSB, делает то, что надо!
9 мар 18, 02:15    [21245565]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Hett
Member

Откуда: Бийск, Новосибирск
Сообщений: 13578
Михаил
mongoperf тестирует IO, как я понял.

А что там еще тестировать, если IO - всегда самое узкое место?
9 мар 18, 10:53    [21245712]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
Hett
А что там еще тестировать, если IO - всегда самое узкое место?


У меня на хорошем SSD (3.5 GB/s) и с двумя ядрами узкое место CPU.
9 мар 18, 13:00    [21245904]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
Протестировал скорость на одной машине - результат хороший.
Подключил вторую в replica set - скорость упала в разы!

Послучается, что отдача Oplog там сильно тормозит Primary?

Куда можно порыть?
27 апр 18, 11:56    [21373245]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Hett
Member

Откуда: Бийск, Новосибирск
Сообщений: 13578
А вторая машина аналогичная или там железо хуже?
Думаю проблема в том, что он ждет подтверждения записи со второй ноды.
Можно, конечно, использовать опци w = 1 или вообще 0, всё зависит от важности данных.
https://docs.mongodb.com/manual/reference/write-concern/
27 апр 18, 21:35    [21375436]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Hett
Member

Откуда: Бийск, Новосибирск
Сообщений: 13578
Хотя по дефолту вроде только от мастера ждет подтверждение. Может от реализации драйвера зависит? Как тестируете?
28 апр 18, 15:21    [21377397]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
Hett
А вторая машина аналогичная или там железо хуже?
https://docs.mongodb.com/manual/reference/write-concern/


Вторая точно такая же на одном провайдере.
28 апр 18, 17:48    [21377770]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
Hett
Хотя по дефолту вроде только от мастера ждет подтверждение. Может от реализации драйвера зависит? Как тестируете?


Тестирую с помощью YCSB (workloads/workloada).
Две Debian машины (prim, sec).
YCSB работает на других машинах (тоже Debian).
28 апр 18, 17:52    [21377779]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Hett
Member

Откуда: Бийск, Новосибирск
Сообщений: 13578
В случае реплика-сет проседает производительность, и при этом вы видите что праймари нода упирается в диск?
28 апр 18, 18:36    [21377854]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
Михаил
Member

Откуда:
Сообщений: 1469
Я буду тестировать начисто и смотреть где затык.
29 апр 18, 13:03    [21378642]     Ответить | Цитировать Сообщить модератору
 Re: MongoDB: посоветуйте тест производительности  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26819
Михаил,

логи, mongostat, currentOp пробовали смотреть?
что гадать-то, если есть блокировки при чтении oplog, то Вы это там увидите

P.S.: у нас репликасет из трёх нод, проблем с производительностью не наблюдал ни разу
30 апр 18, 09:42    [21379517]     Ответить | Цитировать Сообщить модератору
Все форумы / NoSQL, Big Data Ответить