Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 СУБД для быстрой мат. обработки  [new]
glebkudr
Member

Откуда:
Сообщений: 9
Есть алгоритмическая задача, которая хорошо описывается реляционными вычислениями.

Есть динамически создаваемые данные, в количестве 10-100 таблиц, в каждой таблице до миллиона записей (реально поменьше в среднем).

Задача из совокупности таблиц брать много разных последовательных джойнов.

Я попробовал работать с Postgres. Скорость исполнения запросов меня устраивает, но совершенно не устраивает начальная скорость записи всей этой байды на диск. Хочется что-то такое, что работает в оперативной памяти.

Основная среда для меня .net, было бы неплохо если бы эта БД с ней нормально стыковалась.

Можете что-нибудь посоветовать?
5 фев 12, 22:05    [12037225]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Степан H.
Member

Откуда: Министерство Хунты❄
Сообщений: 1371
glebkudr,

Как осуществляете вставку данных в Postgres? Все ли оптимизировано? Какова стурктура? Возможно Вам в профильной ветке помогут понять скорость вставки?
6 фев 12, 00:40    [12037769]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Warstone
Member

Откуда:
Сообщений: 4896
Блог
glebkudr
Я попробовал работать с Postgres. Скорость исполнения запросов меня устраивает, но совершенно не устраивает начальная скорость записи всей этой байды на диск. Хочется что-то такое, что работает в оперативной памяти.
man tmpfs до просветления.
glebkudr
Основная среда для меня .net, было бы неплохо если бы эта БД с ней нормально стыковалась.
man mono и уходить от мелкомягких.
glebkudr
Можете что-нибудь посоветовать?
Оставайтесь с PostgreSQL.
6 фев 12, 00:40    [12037770]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6632
glebkudr
Есть алгоритмическая задача, которая хорошо описывается реляционными вычислениями
Это чудо. Алгоритмические задачи и теория множеств как бы плохо стыкуются.

А уж не говоря о том, как ужасно реляционное исчисление выполняется СУБД.
6 фев 12, 09:37    [12038282]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Siemargl, думаешь афтер сможет назвать 5 отличий от арифметики?....
6 фев 12, 10:52    [12038743]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
glebkudr
Member

Откуда:
Сообщений: 9
Про постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные.

Насчет реляционных вычислений - а где тогда они хорошо выполняются?

Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.

Только не надо тут про функции, задача численная.
6 фев 12, 11:40    [12039041]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6632
glebkudr
Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.

При чем здесь М точек, определяют поверхности или надо проверить точки по наличию их в пересечении?

К реляционной математике отношение никакое, задача линейной алгебры.

Тему в раздел Программирование по хорошему - там математики живут.
6 фев 12, 11:46    [12039074]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
glebkudr
Member

Откуда:
Сообщений: 9
Siemargl,

Именно потому что я не хочу обсуждать решение задачи (поверьте, я потрачу слишком много своего и вашего времени), я тему завел здесь чтобы кто-нибудь знающий порекомендовал быструю СУБД которая работает по принципу временного хранилища в памяти. Другого мне сейчас не надо.
6 фев 12, 12:02    [12039187]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
rfq
Member

Откуда: Санкт-Петербург
Сообщений: 228
glebkudr
Хочется что-то такое, что работает в оперативной памяти.

А оно влезет в оперативную память? Если влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать?
6 фев 12, 12:38    [12039472]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Степан H.
Member

Откуда: Министерство Хунты❄
Сообщений: 1371
glebkudr
Про постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные.

1. И все-таки обратитесь в профильный форум https://www.sql.ru/forum/actualtopics.aspx?bid=7 и напишите КАК именно Вы осуществляете вставку? Используете INSERT или COPY ? в каковом состоянии индексы? план запроса, и т.д.
2. Конфиг по умолчанию? при объемах в миллион конфиг нужно править.

glebkudr
Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.
незнаю, возможно в postgis есть что-то для решения этой задачи
6 фев 12, 12:52    [12039570]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
glebkudr
Про постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные.

Насчет реляционных вычислений - а где тогда они хорошо выполняются?

Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.

Только не надо тут про функции, задача численная.
гложет любопытство - для чего это нужно?
6 фев 12, 13:03    [12039709]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
glebkudr
Member

Откуда:
Сообщений: 9
rfq
Если влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать?


Именно так, боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое.

автор
гложет любопытство - для чего это нужно?


Одна прикладная задача из биоинформатики.
6 фев 12, 13:40    [12040092]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
dvim
Member

Откуда: Санкт Петербург
Сообщений: 721
glebkudr,

Если родной язык - .Net попробуй MS SQL + такую вставку данных
http://habrahabr.ru/blogs/net/96145/

Мы когда перешли на нее на ряде задач - были ОЧЕНЬ довольны.

Вообще же
Хочется что-то такое, что работает в оперативной памяти.

Кто мешает создать дататейбл, дальше же работать с ним через Linq.
SQL по сути остается тот же, данные же лежат в памяти.
6 фев 12, 14:10    [12040381]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54759

glebkudr
боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все
такое.

Вряд ли. Магия в СУБД не предусмотрена. Всё что есть там, Вы можете запрограммировать так,
что оно будет работать гораздо быстрее из-за специфичной однопользовательности. Чтобы не
тратить время на выбор алгоритма, можете посмотреть план Ваших запросов к ПГ, там будет
написано как именно он их выполняет, какие методы использует.

Posted via ActualForum NNTP Server 1.5

6 фев 12, 14:13    [12040418]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54759

glebkudr
тему завел здесь чтобы кто-нибудь знающий порекомендовал быструю СУБД которая работает по
принципу временного хранилища в памяти. Другого мне сейчас не надо.

Вот тут очень хвалили Н2.
Типа, она и быстрая, и в памяти...

Posted via ActualForum NNTP Server 1.5

6 фев 12, 14:16    [12040440]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
glebkudr
Member

Откуда:
Сообщений: 9
dvim,


У линка быстрый поиск, но крайне тормозные джойны, просто ужасно, я тестировал уже.

А вообще, спасибо всем, есть над чем подумать
6 фев 12, 15:17    [12041110]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6632
glebkudr
rfq
Если влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать?


Именно так, боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое.

Быстрее массивов в памяти нет ничего. Даже если кусками мапить на диск при нехватке.

Готовые ассоциативные массивы есть в D, есть boost multi_index для С++.

Но если так решать задачу, человеку ничего не поможет ))
6 фев 12, 15:29    [12041210]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Alexey Kuznetsov
Member

Откуда: Krasnoyarsk
Сообщений: 1141
Dimitry Sibiryakov
очень хвалили Н2.
Типа, она и быстрая, и в памяти...


ему надо дот нет, а там джава, не подойдет
8 фев 12, 10:14    [12051845]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрой мат. обработки  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54759

Alexey Kuznetsov
ему надо дот нет, а там джава, не подойдет

Да неужели? Когда я там сказал, что эта СУБД только для Явы, мне ответили что я нифига не
понимаю в апельсинах.

Posted via ActualForum NNTP Server 1.5

8 фев 12, 13:26    [12053498]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить