Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 MySQL или NOSQL  [new]
Areostar
Member

Откуда:
Сообщений: 3738
Проектирую приложение которое помимо прочего должно демонстрировать графики хода котировок валют!

сделал бд(Пока MySQL) туда каждую секунду поступает текущая цена на каждую пару валют! Пар валют много так что за час может легко набижать 50000 и более а данные надо собирать на месяцы может более года!

Как вы считает подойдёт ли MySQL или стоит смотреть в сторону NOSQL???

Как вариант могу инфу на разные пары по разным таблицам распихать!!

Какие будут соображения!??
31 мар 16, 11:53    [18999449]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Areostar, возможно, Вам нужно посмотреть тему СУБД in memory. Т.е. Вы смотрите разные классы СУБД по типу модели данных. Но есть и классификация по способу хранения. ТО что Вы сотрите - это хранение данных на вторичных носителях. Но я слышал, что для котировок имеют значение in memory. Чтение со вторичных носителей основной тормоз. А котировки вроде подходят для хранения их в ОП полностью.
31 мар 16, 12:16    [18999600]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54784

Areostar
Какие будут соображения!??

Лично я всегда считал и до сих пор считаю, что хранение данных и отображение данных это
перпендикулярные задачи.

Posted via ActualForum NNTP Server 1.5

31 мар 16, 12:43    [18999770]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Areostar
Member

Откуда:
Сообщений: 3738
Dimitry Sibiryakov,

Ну так что что-то отобразить, эти данные иметь надо.
31 мар 16, 16:01    [19000999]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54784

Areostar
Ну так что что-то отобразить, эти данные иметь надо.

Да. Но источником данных не обязана быть БД. Более того, обычно БД - наихудший из
возможных источников.

Posted via ActualForum NNTP Server 1.5

31 мар 16, 16:05    [19001016]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Areostar
Member

Откуда:
Сообщений: 3738
Dimitry Sibiryakov,

Данные приходится вытягивание собственноручно(правда программно) так что ещё и в Джейсон перекладывать к примеры только время тратить.
31 мар 16, 16:36    [19001159]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Yo.!
Guest
Areostar,

это не для субд задача, вам явно что-то типа интерфейса к файлику нужно, berkleyDB или какой другой key-value storage
31 мар 16, 16:54    [19001266]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Areostar
Member

Откуда:
Сообщений: 3738
Yo.!,

Спасибо, погуглю
31 мар 16, 17:56    [19001660]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Sayan Malakshinov
Member

Откуда: Мск
Сообщений: 5949
Areostar,

graphite c carbon и whisper ну и grafana для комплекту
31 мар 16, 19:06    [19001921]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
stop
Member [заблокирован]

Откуда: blog.pikosec.com
Сообщений: 405
Стебелек ставь.
Из железа хватит китайского чего-нибудь из серии мобайл. Остаточные цифровые мощности можно отдать ритейлерским сетям. А если не отдавать и сам сервак будешь собирать то куллер не ставь, экономь и береги электроэнергию.
31 мар 16, 22:19    [19002465]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 28355
Time series database

MongoDB time series
31 мар 16, 23:13    [19002643]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Arm79
Member

Откуда: МО, Раменское
Сообщений: 3697
Areostar
туда каждую секунду поступает текущая цена на каждую пару валют!

Ну это немного. Торгуемых пар не более 100 (в реальности еще меньше), поэтому делать 100 инсертов ежесекундно в БД - раз плюнуть.

Тем более что инсерты простые, всего несколько полей.

Теперь посчитаем, 100шт/сек * 3600 сек * 24ч * 365 дней = 3 млрд записей. Кластерный индекс по имени + по времени позволит достаточно быстро искать по истории. Запись будет быстрой, так как обычный инсерт.

А текущие котировки хранить в отдельной таблице, там будет записей по количеству пар, то есть всего 100. Такая таблица будет закеширована полностью в память.
1 апр 16, 10:45    [19003854]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Вадиман
Member

Откуда: Владивосток
Сообщений: 1085
Dimitry Sibiryakov
Areostar
Какие будут соображения!??

Лично я всегда считал и до сих пор считаю, что хранение данных и отображение данных это
перпендикулярные задачи.

+1
4 апр 16, 06:34    [19012575]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Bogdanov Andrey
Member

Откуда: Да уже и сам не знаю...
Сообщений: 2203
Areostar
сделал бд(Пока MySQL) туда каждую секунду поступает текущая цена на каждую пару валют! Пар валют много так что за час может легко набижать 50000 и более а данные надо собирать на месяцы может более года!

Важно не то, как данные в хранилище попадают, а то, как их оттуда извлекать хочется. Если надо просто писать, то лучший вариант - плоский файл. А вот если читать, то надо смотреть по каким параметрам запросы пойдут.
11 апр 16, 17:07    [19043877]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Вадиман
Member

Откуда: Владивосток
Сообщений: 1085
Areostar
Проектирую приложение которое помимо прочего должно демонстрировать графики хода котировок валют!

сделал бд(Пока MySQL) туда каждую секунду поступает текущая цена на каждую пару валют! Пар валют много так что за час может легко набижать 50000 и более а данные надо собирать на месяцы может более года!

Как вы считает подойдёт ли MySQL или стоит смотреть в сторону NOSQL???

Как вариант могу инфу на разные пары по разным таблицам распихать!!

Какие будут соображения!??

Только заметил - ТС, похоже, был чем-то сильно возбужден при обращении на форуме :)
13 апр 16, 06:35    [19050186]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: MySQL или NOSQL  [new]
Areostar
Member

Откуда:
Сообщений: 3738
всем спасибо за ответы
26 янв 18, 21:55    [21142868]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
Arm79
Member

Откуда: МО, Раменское
Сообщений: 3697
Спустя 2 года? )))) В принципе согласен, лучше поздно, чем никогда )))
26 янв 18, 23:13    [21143048]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
Areostar
всем спасибо за ответы
уже что-то сделано или только с СУБД определились?
26 янв 18, 23:51    [21143111]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
mayton
Member

Откуда: loopback
Сообщений: 52969
Спустя два года стоит отметить что вопрос звучал странно. NoSQL-это не СУБД а целое семейство
технологий которые работают с даннымы "по другому". Вобщем MySQL или нечто другое...
28 янв 18, 18:08    [21145363]     Ответить | Цитировать Сообщить модератору
 Re: MySQL или NOSQL  [new]
jbond81
Member

Откуда:
Сообщений: 743
Areostar
Как вы считает подойдёт ли MySQL или стоит смотреть в сторону NOSQL???

Какие будут соображения!??


Обычно их используют вместе
3 июн 18, 08:54    [21463844]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить