Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5 6   вперед  Ctrl      все
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
roden
Member

Откуда:
Сообщений: 741
krvsa
СУБД
Cache for Windows (x86-32) 2007.1.3 (Build 607) Wed Oct 17 2007 02:12:09 EDT

Тестил на простенькой "персоналке"...

И с отключенным журналом транзакций?
11 июн 10, 17:53    [8933042]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3148
Блог
roden
...
И с отключенным журналом транзакций?

Попробовал второй тест krvsa у себя:
  • с отключённым журналом транзакций - ~0.3 c.
  • с включённым журналом транзакций (всё в одной транзакции) - ~1.6 c.

    PS: исходники других тестов Вы можете посмотреть здесь и здесь.
    Оффтоп
  • 11 июн 10, 19:08    [8933305]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    netwind
    Member [заблокирован]

    Откуда:
    Сообщений: 14267
    в mysql движок ARCHIVE пробовали? по задумке он создан для быстрых и конкурентных вставок, в ущерб всему остальному.
    12 июн 10, 00:01    [8934137]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Siemargl
    Member

    Откуда: 010100
    Сообщений: 6632
    netwind
    в mysql движок ARCHIVE пробовали? по задумке он создан для быстрых и конкурентных вставок, в ущерб всему остальному.

    /friday off -Резиновых женщин не пробовали - "по задумке они созданы для быстрых и конкурентных вставок, в ущерб всему остальному." )))))
    12 июн 10, 00:06    [8934155]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    netwind
    Member [заблокирован]

    Откуда:
    Сообщений: 14267
    странно, но скорость ARCHIVE в принципе не сильно от pg отличается. только я не умею последовательности генерить, а гуевым генератором сделал исходную табличку.
    как уже приводили для postgres с primary key + текстовым полем
    обычный бытовой HDD 7200 rpm, ntfs, mysql 5.1.43, антивирус все же я отключил.
    показывает 158730 записей в секунду.

    mysql> show create table archivedata;
    | archivedata | CREATE TABLE `archivedata` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `data1` varchar(255) DEFAULT NULL,
    `ref1` int(11) NOT NULL,
    PRIMARY KEY (`id`)
    ) ENGINE=ARCHIVE DEFAULT CHARSET=cp1251 AVG_ROW_LENGTH=53 |

    mysql> show create table sourcedata;
    | sourcedata | CREATE TABLE `sourcedata` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `data1` varchar(255) DEFAULT NULL,
    `ref1` int(11) NOT NULL,
    PRIMARY KEY (`id`)
    ) ENGINE=MyISAM AUTO_INCREMENT=1000001 DEFAULT CHARSET=cp1251 |


    mysql> insert into archivedata select * from sourcedata;
    Query OK, 1000000 rows affected (6.28 sec)
    Records: 1000000 Duplicates: 0 Warnings: 0

    mysql> show table status \G
    *************************** 1. row ***************************
    Name: archivedata
    Engine: ARCHIVE
    Version: 10
    Row_format: Compressed
    Rows: 1000000
    Avg_row_length: 53
    Data_length: 53906209
    Max_data_length: 9223372036854775807
    Index_length: 0
    Data_free: 0
    Auto_increment: 1000001
    Create_time: 2010-06-12 00:45:24
    Update_time: 2010-06-12 00:51:36
    Check_time: NULL
    Collation: cp1251_general_ci
    Checksum: NULL
    Create_options: avg_row_length=53
    Comment:
    12 июн 10, 01:16    [8934349]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    netwind
    Member [заблокирован]

    Откуда:
    Сообщений: 14267
    а вот обратно в myisam из archive вливается даже быстрее и теперь уже чуть быстрее pg.
    insert into archivedata_copy select * from archivedata;
    Query OK, 3000005 rows affected (15.55 sec)
    т е 192926 записей/сек

    тут, видимо, упаковка архиватором gzip играет большую роль. на практике не так плохо. но моем тесте из случайных данных только ухудшает все.
    12 июн 10, 01:31    [8934395]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    netwind
    Member [заблокирован]

    Откуда:
    Сообщений: 14267
    А самое интересное, что innodb, похоже, за счет кеширования даннных в памяти, работает и того быстрее:
    1000000 rows affected (3.83 sec)
    12 июн 10, 02:00    [8934432]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    спит
    Стоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.

    Visual Foxpro 9.
    14 июн 10, 13:04    [8938435]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    Eugenkru10, вылезай из криокамеры. 2010 год на дворе, а не 1995. Делать проект на трупе - ИМХО маразм
    14 июн 10, 13:38    [8938518]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    Vinny the POOH
    Eugenkru10, вылезай из криокамеры. 2010 год на дворе, а не 1995. Делать проект на трупе - ИМХО маразм

    А оракл это вообще кастрат без своего языка, нормального инструмента для проектирования и создания программ.
    14 июн 10, 13:41    [8938526]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    Eugenkru10, ты с какого дуба свалился? Тему читал? Нужна СУБД с быстрой вставкой. Оракл - СУБД. Языки - Java, PL/SQL, C. Для разработки приложений - вся огромная армия средств разработки. Есть и своя - Oracle Forms, но насколько она живая - я ХЗ. (Из оракловых продуктов юзал тока СУБД).

    А вот фокс - полуразложившийся зомбяк, который пока ещё шевелится исключительно из-за огромного количества древнючих программ, переписывать которые ни у кого нет желания, и которые всёравно через какое-то время помрут собственной смертью.
    14 июн 10, 13:51    [8938545]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    Vinny the POOH
    Eugenkru10, ты с какого дуба свалился? Тему читал? Нужна СУБД с быстрой вставкой. Оракл - СУБД. Языки - Java, PL/SQL, C. Для разработки приложений - вся огромная армия средств разработки. Есть и своя - Oracle Forms, но насколько она живая - я ХЗ. (Из оракловых продуктов юзал тока СУБД).

    А вот фокс - полуразложившийся зомбяк, который пока ещё шевелится исключительно из-за огромного количества древнючих программ, переписывать которые ни у кого нет желания, и которые всёравно через какое-то время помрут собственной смертью.

    1. А на фоксе по твоему медленная вставка? ))))))))))))) тебе мячик из ЮАР в голову не попадал?
    2. Оракл потому и кастрат что к его заднице надо ещё второй язык чтобы нарисовать формочку-залупку ))))). В то время как в фоксе всё уже есть - и База данных и SQL и формочки рисуй и отчёты и залупки ))))))))).
    Oracle Forms может и живая точно как ты выразился "полуразложившийся зомбяк" ))))))
    3. Скорость разработки в 6-10 раз выше и это факт.
    14 июн 10, 14:19    [8938617]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    Eugenkru10, а в фоксе НЕТ базы данных (файл-сервер уже лет 10 нах никому не нужен). Поэтому к нему надо прикручивать стороннюю СУБД. Нах такое надо? Лучше взять какой-то более живой форм-билдер.
    14 июн 10, 14:21    [8938625]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    Как это в Фоксе нет Базы Данных ???
    Ты ёбнулся........ )))))))))))))))
    14 июн 10, 14:28    [8938645]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    Vinny the POOH,

    И потом с чего ты взял что файл сервер 10 лет ни кому не нужен? )))))))))))))
    Если ты про интернет приложения то могу тебя обрадовать
    Фокс может работать как со своими структурами DBF так и с Mysql и c Oracl
    вини - вини куда ты лезешь... ))))))))))
    14 июн 10, 14:32    [8938657]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    Eugenkru10, зачем прикручивать к жопе пожарный шланг и винт вертикального взлёта? Для Интернет-приложений есть PHP, Ruby, Python, Java наконец... Зачем юзать это мёртвое, выньтоз-онли дерьмо для интернет приложений? Лично я таких идиотов, роющих своему проекту могилу, ещё не видел.

    А файл-сервер таки не нужен, т.к. по сравнению с клиент-сервером у него нет ровным счётом никаких преимуществ, зато есть четыре вагона недостатков. Есть нормальные СУБД и нормальные средства разработки. Трупы тоже не нужны.
    14 июн 10, 14:43    [8938694]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Siemargl
    Member

    Откуда: 010100
    Сообщений: 6632
    Vinny the POOH
    А файл-сервер таки не нужен, т.к. по сравнению с клиент-сервером у него нет ровным счётом никаких преимуществ, зато есть четыре вагона недостатков.
    Это верно не для всех приложений. А если Веб-серверное, так еще может и вдвое быстрее оказаться, убирая промежуточный апп-сервер =)
    14 июн 10, 14:59    [8938744]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    Siemargl, вдвое - это врядли. Точнее - возможно, на мелких, безнадёжных проектах без всякой перспективы роста оно и даст какой-то прирост производительности, но если приложение высоконагруженное и требуется кластер? А как такую БД администрировать? Кучу логики (типа генерации IDшников, CHECK-Constraintов и пр., всё, что уже зашито в нормальную СУБД) прийдется реализовывать на уровне приложения, и скорости разработки это никак не прибавит. Так что игра тут совсем не стоит свеч, ради незначительного роста производительности жертвовать удобством разработки, администрирования, масштабируемостью - ИМХО не стоит.
    14 июн 10, 15:13    [8938798]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    AAron
    Member

    Откуда: Москва
    Сообщений: 4324
    Vinny the POOH,

    не трать силы, это троль
    14 июн 10, 15:23    [8938844]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    И вообще, фокс когда-то был актуален, очень давно, в 90-е. Во времена повального пиратства и фирм с 1-2 компами. Стартовать на нём проекты в 2010 году - это надо быть, как минимум, не очень здоровым. Как минимум по причине того, что всё, он подох, поддержки нет, развития нет, новых версий выходить больше не будет, изучать его никто не будет - значит спецов с каждым годом будет всё меньше и меньше. И что-то мне кажется, что судьба Кобола (который до сих пор работает, и специалисты по которому ОЧЕНЬ высокооплачиваемы) его не ждёт, по причине того, что крупные системы на нём если и есть, то их очень мало, а подавляющее большинство бухгалтерско-учётных поделок на нём проще переписать, чем искать очень редкоземельных спецов и разбираться в тоннах глючащего говнокода.
    14 июн 10, 15:23    [8938850]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Vinny the POOH
    Member

    Откуда: Киев
    Сообщений: 1525
    AAron
    Vinny the POOH,

    не трать силы, это троль


    Я знаю. Просто хочется пофлудить =)
    14 июн 10, 15:24    [8938858]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    Vinny the POOH
    ... А файл-сервер таки не нужен, т.к. по сравнению с клиент-сервером у него нет ровным счётом никаких преимуществ, зато есть четыре вагона недостатков. Есть нормальные СУБД и нормальные средства разработки. Трупы тоже не нужны.

    Нашему главбуху интернет не нужен. ))))
    А вот файл-сервер ещё как нужен.
    Тебе уткороботу ещё лет 50 в игрушки играть! А ты про ораклы рассуждаешь кабудто у тебя ум есть ))))
    14 июн 10, 15:29    [8938884]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    Eugenkru10
    Guest
    Vinny the POOH
    И вообще, фокс когда-то был актуален, очень давно, в 90-е. Во времена повального пиратства и фирм с 1-2 компами. Стартовать на нём проекты в 2010 году - это надо быть, как минимум, не очень здоровым. Как минимум по причине того, что всё, он подох, поддержки нет, развития нет, новых версий выходить больше не будет, изучать его никто не будет - значит спецов с каждым годом будет всё меньше и меньше. И что-то мне кажется, что судьба Кобола (который до сих пор работает, и специалисты по которому ОЧЕНЬ высокооплачиваемы) его не ждёт, по причине того, что крупные системы на нём если и есть, то их очень мало, а подавляющее большинство бухгалтерско-учётных поделок на нём проще переписать, чем искать очень редкоземельных спецов и разбираться в тоннах глючащего говнокода.

    Ну я же говорил? Ебанько.... )))))
    14 июн 10, 15:31    [8938896]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    ЛП
    Guest
    2 Vinny the POOH
    И вообще, фокс когда-то был актуален, очень давно, в 90-е. Во времена повального пиратства и фирм с 1-2 компами.

    Оно конечно так, но не в пиратстве дело.
    В 90-ые сервера (СУБД) были толстыми, а компутеры (сервера) совсем хиленькими.
    Это сейчас компутеры толстеют не по дням а по часам, и на фоне роста мощностей железа требования для установки полноценного сервера БД становятся всё более и более смешными. Хоть в телефоне оракл носи.

    Что же до пиратства (вернее борьбы с ним), то оно и в 90-ые никого не останавливало, в том числе и тех, кто хотел СуперПуперМССКЛОраклЕЕ, купленный на базаре, и сейчас.
    14 июн 10, 15:33    [8938909]     Ответить | Цитировать Сообщить модератору
     Re: Выбор СУБД. Нужна очень быстрая вставка.  [new]
    netwind
    Member [заблокирован]

    Откуда:
    Сообщений: 14267
    определенный эффект от встраиваемых систем хранения есть - там нет накладных расходов на межпроцессный обмен данными. В контексте данной задачи стоит и их упомянуть.
    Вот тот же оракл купил innodb именно чтобы иметь полную линейку продуктов, в том числе и встраиваемых.
    Кроме innodb, есть встраиваемый mysql - там SQL и полностью совместимое API с обычными mysql-программами . потенциально даже программы переписывать не придется.
    14 июн 10, 15:38    [8938947]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5 6   вперед  Ctrl      все
    Все форумы / Сравнение СУБД Ответить