Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Быстрая запись  [new]
Goodkat
Member

Откуда:
Сообщений: 7
Существуют ли СУБД, позволяющие делать insert порядка 50 000 раз в секунду, хотя бы локально?
17 фев 08, 20:00    [5300976]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
rilio
Member

Откуда: С-Петербург
Сообщений: 591
Ни одна из современных субд не запрещает делать insert порядка 50 000 раз в секунду.
А записью на диск занимается ОС и контроллер диска. Могут и не успеть )
17 фев 08, 20:57    [5301156]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
MX -- ALEX
Guest
Goodkat
Существуют ли СУБД, позволяющие делать insert порядка 50 000 раз в секунду, хотя бы локально?


CACHE
1 000 000 записей на диск в секунду на прямом доступе
(только что протестировал чтоб не ошибится)

но проблемы
CACHE - малоизвестная - платная - нереляционная
хотя поддержка SQL есть
18 фев 08, 00:47    [5301611]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
Goodkat
Member

Откуда:
Сообщений: 7
Интересует именно реальная запись на диск, а не в буфер нескольких десятков тысяч записей в секунду. Если просто писать в двоичный или текстовый файл записи такого же размера, то получается примерно 50-60 тыс в сек на sata винте. Ни Interbase ни MySQL даже близко к такой производительности не подбирается.

А Cache точно коммитит миллион записей в секунду?! Или там отложенная запись работает?
18 фев 08, 02:23    [5301679]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
DPH
Guest
А что именно нужно записывать, какие именно insert, есть ли дополнительные требования, пиковая нагрузка или нет?

Про 1E6 в секунду на Cache - это, конечно, фигня, просто по скорости железа не проходим... Скорее всего считалось время с учетом кэша операционной системы или рейда. Ну и без транзакций, конечно.
18 фев 08, 02:31    [5301684]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30245
автор
50-60 тыс в сек на sata винте. Ни Interbase ни MySQL даже близко к такой производительности не подбирается.

СУБД никогда не даст такой же производительности, как прямая работа с файлом.
18 фев 08, 10:28    [5302204]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
hvlad
Member

Откуда:
Сообщений: 11551
kdv
автор
50-60 тыс в сек на sata винте. Ни Interbase ни MySQL даже близко к такой производительности не подбирается.

СУБД никогда не даст такой же производительности, как прямая работа с файлом.
Firebird embedded + заливалка через BLR даёт 50К\сек, есть прецеденты.
Правда это зависит от ширины записи. Есс-но без индексов и триггеров и с выкл FW.
Убедиться - запустить рестор с ключём -v и посмотреть
18 фев 08, 10:41    [5302290]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
miksoft
Member

Откуда:
Сообщений: 38919
Goodkat
Существуют ли СУБД, позволяющие делать insert порядка 50 000 раз в секунду, хотя бы локально?
Cмотря как делать.
mysqlimport на виртуальном хостинге под миллион коротких записей может вставить.
18 фев 08, 10:56    [5302424]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
MX -- ALEX
Guest
DPH
А что именно нужно записывать, какие именно insert, есть ли дополнительные требования, пиковая нагрузка или нет?

Про 1E6 в секунду на Cache - это, конечно, фигня, просто по скорости железа не проходим... Скорее всего считалось время с учетом кэша операционной системы или рейда. Ну и без транзакций, конечно.


без открытия-закрытия транзакции
кэш - обновленные страницы - сбрасываются на диск примерно каждые 2 секунды
записи в тесте - короткие - 20 байт
18 фев 08, 11:08    [5302533]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
посмотрите на сайте tpc.org, в разделах H/C. Там указаны объемы тестовых базы данных и время их загрузки.
зная две эти величины можно прикинуть и среднюю длину записи (и это отнюдь не 20 байт)

В общем, вопрос только в грамотной архитектуре и железе.
18 фев 08, 11:28    [5302740]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
MX -- ALEX
Goodkat
Существуют ли СУБД, позволяющие делать insert порядка 50 000 раз в секунду, хотя бы локально?


CACHE
1 000 000 записей на диск в секунду на прямом доступе
(только что протестировал чтоб не ошибится)

но проблемы
CACHE - малоизвестная - платная - нереляционная
хотя поддержка SQL есть

это означает, что Вы сумели создать поток в 20МБ/с на запись. Что достаточно средне для одного SATA-винта.
18 фев 08, 11:31    [5302783]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
Goodkat
Member

Откуда:
Сообщений: 7
DPH
А что именно нужно записывать, какие именно insert, есть ли дополнительные требования, пиковая нагрузка или нет?

Про 1E6 в секунду на Cache - это, конечно, фигня, просто по скорости железа не проходим... Скорее всего считалось время с учетом кэша операционной системы или рейда. Ну и без транзакций, конечно.


insert коротких записей: одно-два целочисленных поля, одно-два вещественных и короткая строка байт на 20, т.е. размер одной записи около 50 байт.

20-30 000 в сек - такая нагрузка нужна постоянно, временную пиковую, за миллион, можно за счет буферизированной отложенной записи добиться.
18 фев 08, 12:26    [5303219]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30245
вопрос - что вы с таким количеством записей будете делать?
допустим, 20к записей в секунду.
это 1 млн 200к записей в минуту
это 72 миллиона записей в час
это 1 миллиард 728 миллионов записей в сутки.

то есть, если 50 байт на запись, то без учета оверхеда это 80 гигабайт в сутки.
Дальнейшие умножения предлагаю проделать самостоятельно.
18 фев 08, 13:21    [5303653]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
Разбанить Падонка!
Member [заблокирован]

Откуда:
Сообщений: 269
да делать то можно разное епт
может он в течение недели эти миллиарды собирать, чтобы потом статистические срезы изучать.

мне другое интересно: почему одни говорят что это невозможно, другие говорят это средняя скорость для сата винта?

там можно или нет?
19 фев 08, 03:41    [5307642]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
Николай Кальмарский
Member [заблокирован]

Откуда: Ховрино
Сообщений: 2322
Разбанить Падонка!
там можно или нет?


А не пофиг ли? В Оракл внешние таблицы есть. Можно из файла данные брать как нефиг делать.
19 фев 08, 07:38    [5307708]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
Разбанить Падонка!
да делать то можно разное епт
может он в течение недели эти миллиарды собирать, чтобы потом статистические срезы изучать.

мне другое интересно: почему одни говорят что это невозможно, другие говорят это средняя скорость для сата винта?

там можно или нет?

потому что разный опыт. одно дело крутить firebird на рабочей станции, другое - Oracle/DB2/SQL Server на машине за 500К+ вечнозеленых.
19 фев 08, 07:53    [5307723]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
miksoft
Member

Откуда:
Сообщений: 38919
Разбанить Падонка!
мне другое интересно: почему одни говорят что это невозможно, другие говорят это средняя скорость для сата винта?

там можно или нет?
Кто говорит, что невозможно? я таких постов что-то не вижу...
19 фев 08, 09:22    [5307851]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
злой программер
Member

Откуда:
Сообщений: 226
Вполне возможно. Я еще года полтора назад поднимал аналогичную тему. У меня тоже стояла задача записи около 50-60тыс. записей в сек. Была разработана многозвенка. Сначала данные принимались в буфер, из него писалось одновременно в файлы и в СУБД. в качестве СУБД использовался MS SQL2000. размер одной записи около 55 байт. Уже около года работает.
19 фев 08, 10:03    [5308047]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
Goodkat
Member

Откуда:
Сообщений: 7
Вообщем, после долгих экспериментов оказалось, что SQLite все-таки может давать такую скорость, однако, далеко не с каждой библиотекой доступа.
19 фев 08, 13:21    [5309712]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30245
AAron
потому что разный опыт. одно дело крутить firebird на рабочей станции, другое - Oracle/DB2/SQL Server на машине за 500К+ вечнозеленых.

если это намек на чужой опыт, то не надо грязи. К тому же, тут FB никто не предлагал.
человеку пытаются объяснить, что
1. для 50к сек как минимум нужны соответствующие диски (железо)
2. для обработки данных такого объема нужна соответствующая, и возможно специфическая СУБД.

Goodkat
Вообщем, после долгих экспериментов оказалось, что SQLite все-таки может давать такую скорость

вы лучше подумайте или объясните, что вы с накопленными данными будете делать. Залить-то можно, вопрос в том, зачем оно нужно, залитое. Например, если посчитать среднее за день, то запросу придется перелопачивать 80 гиг. Сколько времени это будет делать SQLLite? Куда вы будете девать накопленные данные через год, которых накопится под 30 терабайт?
Я не говорю, что систему под такую задачу нельзя построить. Можно. Только если ее строить "в лоб", с такими объемами она работать не будет.
19 фев 08, 14:30    [5310291]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
barrabas
Member

Откуда: от махмуда
Сообщений: 10528
Goodkat
Вообщем, после долгих экспериментов оказалось, что SQLite все-таки может давать такую скорость, однако, далеко не с каждой библиотекой доступа.

так она вроде блокирует целиком таблицу, если ты будешь один перманентно только писать туда то фиг с ней, а если еще в это время и читать то ёк
20 фев 08, 11:35    [5314631]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
kdv
AAron
потому что разный опыт. одно дело крутить firebird на рабочей станции, другое - Oracle/DB2/SQL Server на машине за 500К+ вечнозеленых.

если это намек на чужой опыт, то не надо грязи. К тому же, тут FB никто не предлагал.
человеку пытаются объяснить, что

ни в коем случае не наезд, и не грязь, чисто пример (можно поставить SQLLite, MySQL и т.п.). Основная мысль - разный опыт. При соответствующем железе - большинство серверов потянут такую нагрузку.


PS.предлагаю не флеймить по этом поводу.
20 фев 08, 18:14    [5318337]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30245
автор
При соответствующем железе - большинство серверов потянут такую нагрузку.

не давайте автору топика ложных надежд. скорость вставки - это малая часть задачи. Да, конечно, с такой скоростью вставки справятся большинство серверов. И SQLLite, и MySQL, и Firebird, и PostgreSQL. Весь вопрос в том, что будет когда через месяц в этой системе будет накоплено 2.5 терабайт данных. А также в том, что еще кроме вставки предполагается делать с данными (в том числе во время вставки).
Думаю, никто не будет спорить, что упомянутые мной здесь 4 сервера не способны нормально работать с такими объемами. То есть, залить такой объем в них наверняка можно, но вот дальше...
21 фев 08, 21:55    [5325540]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
VoDA
Member

Откуда: сеРверная пальмира :)
Сообщений: 4898
kdv
не давайте автору топика ложных надежд. скорость вставки - это малая часть задачи. Да, конечно, с такой скоростью вставки справятся большинство серверов. И SQLLite, и MySQL, и Firebird, и PostgreSQL. Весь вопрос в том, что будет когда через месяц в этой системе будет накоплено 2.5 терабайт данных. А также в том, что еще кроме вставки предполагается делать с данными (в том числе во время вставки).
Думаю, никто не будет спорить, что упомянутые мной здесь 4 сервера не способны нормально работать с такими объемами. То есть, залить такой объем в них наверняка можно, но вот дальше...
и MySQL, и PostgreSQL - работать смогут (по заявлениям с сайтов производителей ))) )
А что такое нормально - это еще вопрос. ИМХО с любой БД больше 10 Gb нужно уметь правильно готовить.
22 фев 08, 11:16    [5327044]     Ответить | Цитировать Сообщить модератору
 Re: Быстрая запись  [new]
pavelvp
Member

Откуда:
Сообщений: 673
kdv
не давайте автору топика ложных надежд. скорость вставки - это малая часть задачи.

Дим, а у нас недавно спрашивали, сможет ли ЛИНТЕР вставить 60000 записей за 50 миллисекунд :-)
22 фев 08, 11:53    [5327375]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить