Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / NoSQL, Big Data Новый топик    Ответить
 CouchBase  [new]
Tom Hardy
Member

Откуда:
Сообщений: 27
Здравствуйте, тестирую NoSQL DB - Couchbase server.
Написал код на яве, создающий документы в формате JSON и добавил сервлет создающий сразу 100.000 документов. Первые 3-4 тысячи создает быстро, потом начинает сильно тормозить и где-то на 6500 документе совсем перестает их создавать.
В чем может быть проблема? Нехватки памяти? Использую 1 server node и 1 bucket.
Спасибо.
25 ноя 14, 14:24    [16902258]     Ответить | Цитировать Сообщить модератору
 Re: CouchBase  [new]
Tom Hardy
Member

Откуда:
Сообщений: 27
Остановил - включил томкат, запустил сервлет - нормально начинает создавать опять 6500 документов соответственно становится 13.000 доков.
Значит проблема не во вместимости bucketa, а в чем-то другом

Чем больше создано документов - тем сильнее тормозит
Засек:
1.000 создает за 10 сек
1к - 2к за 20 сек
2к-3к за 40 сек
...
6к-6.5к за 4 минуты и перестает создавать на 6558

Попробовал сделать тип bucket - Memcached вместо couchbase
Уже создалось 14к документов
Здесь описание различий между ними - http://docs.couchbase.com/couchbase-manual-2.5/cb-admin/#data-storage
Может это как поможет..
25 ноя 14, 19:46    [16904414]     Ответить | Цитировать Сообщить модератору
 Re: CouchBase  [new]
Tom Hardy
Member

Откуда:
Сообщений: 27
При добавлении в Memcached bucket - начинает зависать на 16500 (на couchbase bucket на 6500)
Вот лог

К сообщению приложен файл. Размер - 51Kb
25 ноя 14, 20:23    [16904568]     Ответить | Цитировать Сообщить модератору
 Re: CouchBase  [new]
Helicity
Member

Откуда:
Сообщений: 6
Tom Hardy,

автор
Остановил - включил томкат, запустил сервлет - нормально начинает создавать опять 6500 документов соответственно становится 13.000 доков.
Значит проблема не во вместимости bucketa, а в чем-то другом


Именно. Я не знаю как на жабе, а в моих первых экспериментах с NodeJS я не обрабатывал коллбек при ассинхронной вставке и эффект был таким же - вставлялось N элементов и дальше висяк. Так что дело не в Каучбейзе, а в коде.
Кстати, не плохо было бы писать версию Каучбейза, ОС, размеры документа и бакета.
1 янв 15, 23:07    [17080005]     Ответить | Цитировать Сообщить модератору
Все форумы / NoSQL, Big Data Ответить