Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Самая быстрая  [new]
JaguarGX
Member

Откуда:
Сообщений: 19
Выбираю самую быструю SQL базу данных. Остановился на column based DB's.

Пока выбор пал на MonetDB x100

1. Хочу узнать, есть еще какая нибудь база данных. Ссылки на бенчмарки пожалуйста или просто свои впечатления))
2. Есть ли база данных, которая делает ставку на multi core,тем самым рвет всех на многоядерных процессорах.

http://www.mysqlperformanceblog.com/2009/10/02/analyzing-air-traffic-performance-with-infobright-and-monetdb/

С уважением, JaguarGX
13 мар 10, 13:55    [8473004]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
JaguarGX,

1. самой быстрой нет
2. никто не делает "ставку на мультикоре"
3. флагманы рвут всех. в т.ч. и друг друга
13 мар 10, 13:59    [8473013]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
JaguarGX
Member

Откуда:
Сообщений: 19
locky
1. самой быстрой нет

С чего Вы это взяли? Сотни людей в мире каждый день заняты над академическими проектами, чтобы увеличить производительность. Тонкая настройка только в путь.

locky
никто не делает "ставку на мультикоре"

http://en.wikipedia.org/wiki/Parallel_database
http://storagemojo.com/2010/02/08/a-petascale-parallel-database/

locky
3. флагманы рвут всех. в т.ч. и друг друга

Флагманы отчасти закрывают достойные проекты своими адскими маркетинговыми машинами. Есть много интересных free проектов.
13 мар 10, 14:44    [8473111]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6632
locky
JaguarGX,
1. самой быстрой нет

+1

Но для определенных задач быстрее будут специализированные СУБД. Для каждого типа - своя. И тюнить ручками.

А флагманы - универсальные самосвалы.
13 мар 10, 14:50    [8473133]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
JaguarGX
Member

Откуда:
Сообщений: 19
Siemargl
locky
JaguarGX,
1. самой быстрой нет

+1
Но для определенных задач быстрее будут специализированные СУБД. Для каждого типа - своя. И тюнить ручками.


Здесь бессмысленно спорить, вами вы оба правы. У меня очень очень интенсивная обработка данных в секунду и база на гигабайты. Собственно уперся в скорость select и insert. Думал выбрать database, которая в памяти храниться, но у меня не так много оперативки как на харде)). Поэтому может кто нибудь еще подскажет что нибудь не уступающей monetdb?
13 мар 10, 15:24    [8473219]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
TJ7 самая быстрая
13 мар 10, 15:26    [8473221]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
JaguarGX
Member

Откуда:
Сообщений: 19
Зайцев Фёдор
TJ7 самая быстрая


Тестов никаких нету, поэтому это можно поставить под сомнение. Все равно спасибо.
13 мар 10, 15:38    [8473244]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
Исходя из условияй задачи (которые не описаны ;-) ) предложу в качестве субд текстовый файл. :-))
13 мар 10, 15:53    [8473262]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
JaguarGX
Member

Откуда:
Сообщений: 19
Ggg_old
Исходя из условияй задачи (которые не описаны ;-) ) предложу в качестве субд текстовый файл. :-))


Хм. Интересный вариант, попробую.
13 мар 10, 15:56    [8473271]     Ответить | Цитировать Сообщить модератору
 Re: Самая быстрая  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3148
Блог
JaguarGX

Здесь бессмысленно спорить, вами вы оба правы. У меня очень очень интенсивная обработка данных в секунду и база на гигабайты. Собственно уперся в скорость select и insert. Думал выбрать database, которая в памяти храниться, но у меня не так много оперативки как на харде)). Поэтому может кто нибудь еще подскажет что нибудь не уступающей monetdb?

Попробуйте СУБД Caché:
  • Ссылка 1
  • Ссылка 2
    На соседнем форуме Вам помогут, если будут вопросы.
  • 13 мар 10, 16:12    [8473295]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    ЛП
    Guest
    Массив в памяти.

    Хотя нет, опоздал... TJ7 уже советовали.
    13 мар 10, 16:15    [8473301]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    onstat-
    Member

    Откуда:
    Сообщений: 6941
    JaguarGX

    2. Есть ли база данных, которая делает ставку на multi core,тем самым рвет всех на многоядерных процессорах.




    Теоретически самый быстрый мотор СУБД у IBM IDS

    http://www.informix.com.ua/products/ids.htm

    автор

    Идея архитектуры заключается в том, что отдельные процессы, размещаемые даже на отдельных физических процессорах, могут участвовать в обработке одного и того же запроса к данным.

    Архитектура DSA включает в себя механизм организации параллельных запросов к данным (Parallel Data Query - PDQ), который с помощью разбиения запроса на подзапросы организует конвейеризацию

    Динамический сервер Informix Dynamic Server минимизирует непроизводительные затраты операционной системы за счет уменьшения количества обращений к ОС.



    Но практически база малоиспользуема, специалистов мало и т.д.
    На счет порвать тоже спорный вопрос , потому как разработка приложения,
    которое будет использовать возможности по максимуму обойдется не дешево ,
    так как специалистов мало.

    Если интересует детальнее , ищите на сайте IBM
    и заходите в соответствующий форум на www.sql.ru.
    13 мар 10, 17:42    [8473495]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    Нашел еще MongoDB:

    http://www.mongodb.org/display/DOCS/Benchmarks
    http://www.snailinaturtleneck.com/blog/2009/06/29/couchdb-vs-mongodb-benchmark/

    http://habrahabr.ru/blogs/webdev/74683/
    13 мар 10, 18:19    [8473567]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    Yo.!
    Guest
    onstat-

    Теоретически самый быстрый мотор СУБД у IBM IDS


    боюсь у всей тройки лидеров аналог PDQ появился еще лет десять назад, кстате IDS умеет параллелить UPDATE ?
    13 мар 10, 18:44    [8473595]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    Как вариант: The Hypertable

    The Hypertable team has been primarily focused on performance. The code was made available as open source fairly recently.

    The HBase team has been focused more on scalability and robustness, as well as building community through participation as a subproject of Hadoop. HBase was developed in a fully open source manner from the start.

    Отсюда:
    http://www.linkedin.com/answers/technology/information-technology/information-storage/TCH_ITS_IST/200121-1689952


    http://www.hypertable.org/index.html
    http://code.google.com/p/hypertable/wiki/PerformanceTestAOLQueryLog
    13 мар 10, 22:29    [8474040]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    locky
    Member

    Откуда: Харьков, Украина
    Сообщений: 62034
    Я бы высказался так
    Маловероятно (хотя и не совсем исключено) что задача топикстартера представляет из себя нечто совершенно уникальное, с абсолютно уникальными алгоритмами и требованиями к СУБД
    И если исходить из таких соображений - то не нужно искать "серебряную пулю", а брать нормальный, надежный инструмент, имеющий хорошую репутацию, хорошую поддержку, имеющий широкий круг использования и массу спецов, готовых помочь в сложной ситуации

    хотя, может, ТС марсоходы строит или еще чего...
    -------------------------
    There’s no silver bullet!
    13 мар 10, 22:41    [8474066]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    locky
    Я бы высказался так
    Маловероятно (хотя и не совсем исключено) что задача топикстартера представляет из себя нечто совершенно уникальное, с абсолютно уникальными алгоритмами и требованиями к СУБД
    color]


    А я бы так. Здесь я топикстартер и это отлично, а на других форумах нет, особенно зарубежных.
    Алгоритм - очень интенсивные вычисления на CUDA. Я выбираю место для хранения данных. Массивы данных просто огромны. Скорость на первом месте - стоит.

    Я к Вам отношусь с уважением. Если у Вас "Сообщений: 15843 ",то почему вы мне предложили самый наихудший вариант (флагманские базы данных). Изучать одно и тоже из года в год - это путь в никуда. Если Вы думаете, что кроме них нет других, и за то большое кол-во лет которые вы занимаетеь базами данных Вы только их и знаете , то мне вас жаль. Поверьте мне, я не один год занимаюсь базами даннных, чтобы отказаться от "флагманов-самосвалов" . в этой задаче. Эволюция баз данных видимо начала проходить мимо Вас.

    locky

    И если исходить из таких соображений - то не нужно искать "серебряную пулю", а брать нормальный, надежный инструмент, имеющий хорошую репутацию, хорошую поддержку, имеющий широкий круг использования и массу спецов, готовых помочь в сложной ситуации
    [quot locky]Спасибо большое за совет.

    [quot locky]There’s no silver bullet!

    Если Вы так думаете , то Вы никогда ее не найдете. Может стоит начать думать по другому?
    -------------------------
    14 мар 10, 00:46    [8474475]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    JaguarGX,

    Я здесь задаю вопрос, потому-что здесь может быть, тоже есть люди которые отвечали уже себе на этот вопрос. Интересно узнать их мнение. Я не хочу никого обидеть . Мне просто нужны пожелания и советы спецов.
    14 мар 10, 00:49    [8474483]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    locky
    Member

    Откуда: Харьков, Украина
    Сообщений: 62034
    JaguarGX,

    да, эволюция баз данных проходит мимо меня.
    Как были флагманы - так и остались
    Ну, еще пара-тройка мошкары в год то появляется, то исчезает - и всё.


    Что же касается "почему предложил наихудший" - то мне есть что вам сказать
    Я предложил наилучший вариант для вашей постановки задачи.
    Не менее 3-х раз в год на сим форуме появляется то ли новичек, то ли тролль, с пылким взором, "совершенно нетривиальной задачей", "агромными абъёмами" и "миллиардами запросов в секунду".
    И не менее 4-х раз из этих 3-х оказывается, что человеку хватает или OracleXE, или SqlExpress, или, как вариант, текстового файла.
    Иногда (если есть к тому предпосылки, как-то - делфин, "не надо установщика") человек выбирает жарптицу.
    И, собственно, всё.

    Разумеется, если бы мы были более осведомлены о том, что вы собираетесь делать, то, наверное, дали бы более точный ответ.
    тут у 50% населения задачи- с очень интенсивной обработкой данных. Правда, размер баз обычно не гигабайты, а сотни гигабайт (а у кое-кого и чуть ли не десятками терабайт меряется), но не будем путать этих мелочей.

    зы и еще смущает "не так много оперативки".
    Для чего "не много"? Загрузить базу в единицы гигабайт?
    14 мар 10, 01:44    [8474591]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    SergSuper
    Member

    Откуда: SPb
    Сообщений: 5488
    JaguarGX
    Алгоритм - очень интенсивные вычисления на CUDA. Я выбираю место для хранения данных. Массивы данных просто огромны. Скорость на первом месте - стоит.


    Также не хочу никого обидеть, но на мой взгляд несколько странно слышать такие критерии от человека, не один год занимающегося базами данных.
    14 мар 10, 02:26    [8474651]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    locky
    Member

    Откуда: Харьков, Украина
    Сообщений: 62034
    Все таки интересно, что за задача
    уж ли не, упаси господь, очередная биржа с автоторговлей?
    -------------------------
    There’s no silver bullet!
    14 мар 10, 02:49    [8474659]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    locky
    Все таки интересно, что за задача
    уж ли не, упаси господь, очередная биржа с автоторговлей?
    -------------------------
    There’s no silver bullet!


    Спасибо, что вы меня правильно поняли. Не стали серчать на меня. Алгритм для симулирования и подгонки моделей развития цунами. Данных с датчиков после цунами куча от место положения до напрвления , скорости и.т.д. Пока подгонишь модель к полученным данным, очень долго времени проходит. потом еще и симуляция. Короче стараюсь везде выжать. Щас на персоналке работаю, потом буду на кластер переносить рачеты. Но база данных - это пока для меня остается слабым местом. Увеличение увеличения времени выполнения select хотя бы на 0.2 с уже сущесвенно вносит вклад в общее время.
    14 мар 10, 10:01    [8474755]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    JaguarGX,

    Не 0.2 а 0.02 / Порядок - сотые доли секунды, имел ввиду. Сорри.
    14 мар 10, 10:03    [8474757]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    JaguarGX
    Member

    Откуда:
    Сообщений: 19
    SergSuper
    JaguarGX
    Алгоритм - очень интенсивные вычисления на CUDA. Я выбираю место для хранения данных. Массивы данных просто огромны. Скорость на первом месте - стоит.


    Также не хочу никого обидеть, но на мой взгляд несколько странно слышать такие критерии от человека, не один год занимающегося базами данных.


    Норм все. У меня решение задачи опредление параметров по модели порядка 7-8 часов занимает. Это зависит от точности решения, конечно. При увеличении скорости select на 0.05 - 0.1 с. уже занимает чуть больше 6 часов. (с той-же точностью.)
    14 мар 10, 10:16    [8474765]     Ответить | Цитировать Сообщить модератору
     Re: Самая быстрая  [new]
    Кифирчик
    Member

    Откуда: СПб
    Сообщений: 939
    JaguarGX
    ...Пока подгонишь модель к полученным данным, очень долго времени проходит. потом еще и симуляция...

    э... вы случаем подгонку модели не в базе делаете (update)?
    14 мар 10, 11:09    [8474817]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
    Все форумы / Сравнение СУБД Ответить