Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
 Выбор СУБД. Нужна очень быстрая вставка.  [new]
спит
Guest
Стоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.
18 май 10, 19:41    [8795139]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Шайтан
Member

Откуда: город обречённых
Сообщений: 21832
когда то в АСУ ТП для этого юзали IndustrialSQL Server

это, конечно, не совсем СУБД, это надстройканад MS SQL, но заточено всё это именно под быструю вставку данных
не мне не ихменяет мой склероз, то версия 7.1 до 70тыс событий в секунду могла записывать
18 май 10, 19:51    [8795183]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
SERG1257
Member

Откуда:
Сообщений: 2934
Плоский файл, который заливается в СУБД в пакетном режиме, через определенные промежутки времени.
19 май 10, 04:42    [8796455]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
krvsa
Member

Откуда: г Волжский
Сообщений: 13782
спит, вот потестил сегодня "свою" СУБД

k ^tmpKSA 
s t=$p($h,",",2) 
f i=1:1:60000 s ^tmpKSA(i)=i
w !,$p($h,",",2)-t

Результат всегда - менее секунды.

Если так

f i=1:1:1000000 s ^tmpKSA(i)=i

то 2 секунды...
19 май 10, 08:24    [8796650]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
krvsa
Member

Откуда: г Волжский
Сообщений: 13782
СУБД
Cache for Windows (x86-32) 2007.1.3 (Build 607) Wed Oct 17 2007 02:12:09 EDT

Тестил на простенькой "персоналке"...
19 май 10, 08:25    [8796660]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
спит,

Надо еще знать, что с данными делать дальше и какие будут индексы и срок хранения.

А то может плоского файла и хватит.
19 май 10, 09:27    [8796970]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

спит пишет:
> Стоит задача вставлять данные со скоростью 60 000 записей в секунду.
> Посоветуйте СУБД.

Для этой задачи лучшая СУБД -- текстовый или бинарный файл.

Posted via ActualForum NNTP Server 1.4

19 май 10, 10:48    [8797611]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

SERG1257 пишет:

> Плоский файл, который заливается в СУБД в пакетном режиме, через
> определенные промежутки времени.

Зачем в СУБД -то заливать ? У ТС не было такой задачи.

Posted via ActualForum NNTP Server 1.4

19 май 10, 10:49    [8797620]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
MasterZiv
Зачем в СУБД -то заливать ? У ТС не было такой задачи.
Судя по названию топика была кадато.
Модератор: Тема перенесена из форума "Проектирование БД".


Сообщение было отредактировано: 19 май 10, 12:06
19 май 10, 11:30    [8798050]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
serkir
Member

Откуда:
Сообщений: 44
1) Использовал Ms Sql 2000 + компонент SqlXml на клиенте
2) Проведенные тесты показывали заливку со скоростью 50000 тыс записей в секунду
19 май 10, 12:26    [8798709]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
MX-9
Member

Откуда: LIBAVA
Сообщений: 532
krvsa
спит, вот потестил сегодня "свою" СУБД

k ^tmpKSA 
s t=$p($h,",",2) 
f i=1:1:60000 s ^tmpKSA(i)=i
w !,$p($h,",",2)-t

Результат всегда - менее секунды.

Если так

f i=1:1:1000000 s ^tmpKSA(i)=i

то 2 секунды...


гониш
несерьезно
и что за язык птичий
19 май 10, 12:33    [8798805]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
sanyock2
Member

Откуда:
Сообщений: 3882
походит на рекламу каше
19 май 10, 13:01    [8799150]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Favn
Member

Откуда:
Сообщений: 585
спит
Стоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.
Стоит уточнить, что за записи (размер), сложность индекса, что с ними потом делать (частота и сложность аналитики), порядок вставки - постоянно онлайн каждую секунду или пакетно временами.
В принципе, даже если онлайн, ничего особо страшного. Общие пожелания от СУБД - отдельный RAW tablescpace на SSD-дисках (или не на SSD, или не RAW, но хоть с отключенным кешированием от ОС), кластерный индекс по короткому полю (по возможности range или hash), логи на отдельном томе, локальный коннект (без эмуляции IP).
Еще лучше - по возможности пакетная быстрая заливка утилитой/API от СУБД или хотя бы через временную таблицу (эмуляция пакетной заливки).
19 май 10, 13:09    [8799267]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
правильный емайл
Member

Откуда:
Сообщений: 1565
SERG1257
Плоский файл, который заливается в СУБД в пакетном режиме, через определенные промежутки времени.
+1
19 май 10, 13:36    [8799594]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
krvsa
Member

Откуда: г Волжский
Сообщений: 13782
MX-9
гониш

С какой стати?

MX-9
несерьезно

Да брось ты!

MX-9
и что за язык птичий

Тут вообще без комментариев...
19 май 10, 13:41    [8799665]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
krvsa
Member

Откуда: г Волжский
Сообщений: 13782
sanyock2
походит на рекламу каше

Запросто!
19 май 10, 13:42    [8799671]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30290
sanyok2
походит на рекламу каше

да и фиг с ней, и с рекламой и вообще. Я вот, люблю считать. :-)

60000 записей в секунду. Допустим, запись занимает ... 80 байт.
Это 4.6 мегабайт в секунду. В сутках 86400 секунд.
Значит за сутки будет 395507 мегабайт. Т.е. 395 гиг. Если я (или Excel) нигде не ошибся в подсчетах, то выходит, что за год получится 141 терабайт голых (!) данных.

Отсюда выводы могут быть разными. Либо автор напутал, либо задача исходно безумная, либо все так и есть реально. Во втором случае можно подумать об изменении вида хранения данных, т.е. не записями, а как-то еще. В третьем случае придется подбирать крутое железо и крутую систему хранения и обработки этих данных.
19 май 10, 13:46    [8799712]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
Продам сервер. Недорого )))

Обсуждалась тема и не раз - поиск ТС в помощь.
19 май 10, 14:06    [8799967]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54850

kdv

Либо автор напутал, либо задача исходно безумная, либо все так и есть
реально.

Я бы поставил на то, что он забыл упомянуть одну деталь: данные
удаляются из БД через сутки после занесения.

Posted via ActualForum NNTP Server 1.4

19 май 10, 14:20    [8800134]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30290
to DS: ну, он считай что вообще ничего не упомянул, кроме скорости вставки. Мы тут фантазируем, конечно, но зато и ему понятно, что нужно учитывать множество разных неупомянутых факторов.
19 май 10, 14:22    [8800152]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Senya_L
Member

Откуда: Москва
Сообщений: 5381
kdv
да и фиг с ней, и с рекламой и вообще. Я вот, люблю считать. :-)
Возможно автору требуется, чтобы пиковая скорость заливки данных была не меньше 60000 записей/сек и совсем необязательно они льются круглые сутки. Допустим, какой-нибудь контроллер, котороый, собака, не хотит ждать, покуда сервер "съест" данные :)
19 май 10, 23:04    [8803426]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Westtrd
Member

Откуда: Moscow
Сообщений: 321
спит,

Если не устраивают бинарные файлы,

tokyo cabinet
berkeley

и тому подобное

Все от предметной области тоже зависит
20 май 10, 11:48    [8804832]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
Alexey Kuznetsov
Member

Откуда: Krasnoyarsk
Сообщений: 1141
Как то на одной из конференций которую проводило IBM (это было года 2 назад, так что могло что и поменяться).

они говорили что вроде как рекорд по массовой загрузке данных им принадлежит.

в DB2 есть утилита LOAD которая грузит данные напрямую в бд
она вполне себе быстрая.
20 май 10, 12:34    [8805337]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
правильный емайл
Member

Откуда:
Сообщений: 1565
Alexey Kuznetsov
в DB2 есть утилита LOAD которая грузит данные напрямую в бд
она вполне себе быстрая.
oracle sql*load
20 май 10, 13:58    [8806385]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
-Serg-
Member

Откуда:
Сообщений: 47
krvsa
спит, вот потестил сегодня "свою" СУБД

k ^tmpKSA 
s t=$p($h,",",2) 
f i=1:1:60000 s ^tmpKSA(i)=i
w !,$p($h,",",2)-t

Результат всегда - менее секунды.

Если так

f i=1:1:1000000 s ^tmpKSA(i)=i

то 2 секунды...


.053389 первый тест, второй тест дает на моей чахлой машине .888376. Откуда 2 сек то берутся.
p.s. используй вместо $p($h,",",2) просто $zh
21 май 10, 11:52    [8812297]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить