Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Доброго времени суток!

Помогите, пожалуйста, выбрать СУБД для системы контроля промышленного оборудования.

В базу будут писаться данные примерно с 1000 объектов по 64-128 байт с каждого раз в секунду. Клиенты - поставщики данных подключаются через интернет по самопальному (предположительно) протоколу, 1000 соединений одновременно.
Чтение из базы восновном предполагается двумя способами параллельно:
- те же 64-128 байт считываются около 4000 клиентов в секунду.
- плюс раз в несколько секунд запрос с обработкой 10-100 Мб и результатом в 10-100К. В том числе, сложные запросы хранимыми процедурами, или, в любом случае, программой на самом сервере, например CGI.
Клиенты запрашивающие данные работают через web-интерфейсы, т.е. будет http сервер, около 4000 одновременных сессий.

Размер базы зависит от требуемого времени накопления (пока не определено), может быть от 2 до 16 Тб.
В базе восновном две большие таблицы занимающие 95% всего размера. Всего таблиц около 30.
Данные восновном числа, BLOB-ов и прочей мультимедии не будет.

Требуется высокая надёжность.
Вероятнее всего linux на 64.

Понятно, что много зависит от железа, но тут можно потратится.
СУБД можно и платную, но только обоснованно, а не "на всякий случай".

В связи с доступом к системе через браузеры, решения упрощающие интеграцию СУБД с системами генерации html приветствуются, хотя это и не главный критерий.
3 дек 11, 06:10    [11700305]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
SERG1257
Member

Откуда:
Сообщений: 2933
AltCtrlDel
В базу будут писаться данные примерно с 1000 объектов по 64-128 байт с каждого раз в секунду.
....
Чтение из базы восновном предполагается двумя способами параллельно:
- те же 64-128 байт считываются около 4000 клиентов в секунду.
Правильно ли я понимаю, что датчик пишет в базу свое событие и читает обо всех событиях, а СУБД у вас - точка входа, куда все пишут и читают.
Если так, то крайне рекомендую пересмотреть архитектуру. Пусть СУБД загружает события оптом по таймеру (раз в минуту например) и затем ее обрабатывает, показывает web-клиентам, а непосредственно приемом и раздачей событий занимается какая-нибудь упрощенная хрень без транзакций, без SQL, с хранением данных в файловой системе.
AltCtrlDel
- плюс раз в несколько секунд запрос с обработкой 10-100 Мб и результатом в 10-100К.
А это что за запрос? Просто любопытно
AltCtrlDel
В том числе, сложные запросы хранимыми процедурами
Это похоже взаимодействие с GUI клиента
AltCtrlDel
Размер базы зависит от требуемого времени накопления (пока не определено), может быть от 2 до 16 Тб.
это ваши фантазии. Вам понадобится секционирование (ручное на вьюхах или средствами СУБД), а устаревшая часть будет агрегироватся, выгружатся из СУБД, паковатся, засовыватся в дальний пыльный угол и там забыватся.
3 дек 11, 08:09    [11700336]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6644
Сначала нужно вылечить болезнь гигантизма, потом приступать к работе.
3 дек 11, 10:13    [11700369]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54822

SERG1257
устаревшая часть будет агрегироватся

У меня есть подозрение, что эта часть будет устаревать ещё до помещения в базу. На зачем
бы в базе понадобились сырые данные в таком количестве?..

Posted via ActualForum NNTP Server 1.4

3 дек 11, 12:50    [11700582]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
SERG1257
Правильно ли я понимаю, что датчик пишет в базу свое событие и читает обо всех событиях, а СУБД у вас - точка входа, куда все пишут и читают.

[/quot]

Нет. Источники данных тоже подключены через интернет, до 1000 источников. данные от них идут только в один конец, но независимо от др-друга. Но вы правы в том, что на стороне сервера можно вначале накопить несколько входящих пакетов, а класть в базу большими порциями. Тогда запись по 64К-128К раз в секунду. Так же правы и в том, что часть данных можно (кроме записи в базу) сразу отсылать другим клиентам.

SERG1257
AltCtrlDel
- плюс раз в несколько секунд запрос с обработкой 10-100 Мб и результатом в 10-100К.
А это что за запрос? Просто любопытно

Создать данные для построения графиков/отчётов. Сгруппировать по временным интервалам. Есть относительно нетривиальные пересчёты, типа, пересчёт с матформулами использующими текущие и ряд предыдущих значений, искать пропуски в данных. Заранее такое в базу записывать проблематично, у клиентов разные критерии анализа и будут появляться новые алгоритмы - новые поля плодить не хотелось бы, хотя тут конкретно смотреть буду.
SERG1257
Это похоже взаимодействие с GUI клиента

оно
SERG1257
AltCtrlDel
может быть от 2 до 16 Тб.
это ваши фантазии. Вам понадобится секционирование (ручное на вьюхах или средствами СУБД), а устаревшая часть будет агрегироватся, выгружатся из СУБД, паковатся, засовыватся в дальний пыльный угол и там забыватся.

Секционирование всё равно понадобится. И если разбивать на короткие секции (на квартал), то потом, всё равно, будут иногда встречаться хотелки посмотреть старые данные не прерывая основную работу (желательно) в той же системе. Т.е. придётся восстанавливать частично старые данные по отдельным объектам, если захотят посмотреть.
3 дек 11, 13:39    [11700685]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Dimitry Sibiryakov
SERG1257
устаревшая часть будет агрегироватся

У меня есть подозрение, что эта часть будет устаревать ещё до помещения в базу. На зачем
бы в базе понадобились сырые данные в таком количестве?..


Это обязательное требование. Для "разбора полётов" в случае аварий.
3 дек 11, 13:40    [11700687]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54822

AltCtrlDel
Это обязательное требование. Для "разбора полётов" в случае аварий.

Для "разбора полётов" данным не обязательно находиться именно в базе. В виде файлов данные
хранятся гораздо удобнее.

Posted via ActualForum NNTP Server 1.4

3 дек 11, 13:52    [11700699]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Dimitry Sibiryakov
Для "разбора полётов" данным не обязательно находиться именно в базе. В виде файлов данные
хранятся гораздо удобнее.

И гораздо проще попадают в потерянные кластеры. Плавали, знаем. Плюс постоянный себе геморой с конвертацией плоских файлов в новые версии.
3 дек 11, 13:57    [11700710]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54822

AltCtrlDel
И гораздо проще попадают в потерянные кластеры.

Вы не поверите, но кластерам глубоко пофиг: плоский файл в них или кусок БД...

И, кстати, я ещё не видел чтобы у Integer появилась новая версия...

Posted via ActualForum NNTP Server 1.4

3 дек 11, 14:02    [11700723]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Сергей Арсеньев
Member

Откуда:
Сообщений: 4118
AltCtrlDel
Помогите, пожалуйста, выбрать СУБД для системы контроля промышленного оборудования.


При правильной организации системы практически любая, кроме MSSql и то потому, что
AltCtrlDel
Вероятнее всего linux на 64.


Подводный камень в Вашем вопросе скрыт в
AltCtrlDel
Требуется высокая надёжность.

За какой период времени можно потерять данные от датчиков в случае сбоя?
Могут ли датчики связываьтся с несколькими разными (с разными путями доступа) агентами по сохранению информации.
И т.п.
3 дек 11, 14:35    [11700774]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Сергей Арсеньев
За какой период времени можно потерять данные от датчиков в случае сбоя?

секунды
Сергей Арсеньев
Могут ли датчики связываьтся с несколькими разными (с разными путями доступа) агентами по сохранению информации.

нет. Каналы от датчиков на объектах узкие.
Сергей Арсеньев
И т.п.

А вот это самое интересное. )
3 дек 11, 14:42    [11700789]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Сергей Арсеньев
Member

Откуда:
Сообщений: 4118
AltCtrlDel
Сергей Арсеньев
За какой период времени можно потерять данные от датчиков в случае сбоя?

секунды.

Нужно понимать что хотябы цикл перезагрузки компа (или перераспределение ролей узлов кластера ) должно укладываться в эти секунды.
А по бд. тут почти нагрузки нет - надо среднее звено, которое накапливает информацию от датчиков (группы датчиков) за секунду (и т.п.) и сбрасывает чохом в базу. Можно сделать его мутльтиплексированным с минимальным временем подъема (добавления в кластер) и настроить датчики на выбор работающего.
AltCtrlDel
нет. Каналы от датчиков на объектах узкие.

Тут надо понимать, что ремонт канала должен укладываться в эти секунды. или считать допустимым неработоспособность части датчиков.
3 дек 11, 15:01    [11700810]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Сергей Арсеньев
Нужно понимать что хотябы цикл перезагрузки компа (или перераспределение ролей узлов кластера ) должно укладываться в эти секунды.


Ну перезагрузка компа всяко не уложиться. А вот с кластерами, тут я, честно говоря, не разбираюсь.

Сергей Арсеньев
надо среднее звено, которое накапливает информацию от датчиков (группы датчиков) за секунду (и т.п.) и сбрасывает чохом в базу. Можно сделать его мутльтиплексированным с минимальным временем подъема (добавления в кластер) и настроить датчики на выбор работающего.


Датчики шлют через интернет на фиксированный IP. В каком смысле мультиплексированным, не совсем понял.


Сергей Арсеньев
AltCtrlDel
нет. Каналы от датчиков на объектах узкие.

Тут надо понимать, что ремонт канала должен укладываться в эти секунды. или считать допустимым неработоспособность части датчиков.


Скажем так. Разрыв канала связи с датчиком - форсмажор. А вот если серверная часть упадёт - моя проблема.
3 дек 11, 15:19    [11700831]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Сергей Арсеньев
Member

Откуда:
Сообщений: 4118
AltCtrlDel
Ну перезагрузка компа всяко не уложиться.

Тогда и не подписывайтесь под тем, чего не можете выполнить. :)
Тут надо загрублять требования (описывать ситуаци форсмажора), ну и искать пути дублирования. функций (что правда тоже чревато).

AltCtrlDel
Датчики шлют через интернет на фиксированный IP. В каком смысле мультиплексированным, не совсем понял.

Либо датчик шлет на два (или более) адреса, либо несколько приемников ловят один сигнал (или начинают ловить по смерти соседа).
А по кластеры почитать надо, чтобы понимать на какие грабли люди уже наступали и где дорожки протоптали.
3 дек 11, 15:33    [11700857]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54822

AltCtrlDel
Скажем так. Разрыв канала связи с датчиком - форсмажор. А вот если серверная часть упадёт
- моя проблема.

Любой приличный датчик имеет внутренний буфер, достаточный чтобы обойтись пару часов а то
и дней без связи с внешним миром. Пофиг что упало - сервер или канал.

PS: Но про то, что датчик будет писать прямо в базу - сразу забудь.
PPS: Cache вам в руки. Чтобы мало не показалось.

Posted via ActualForum NNTP Server 1.4

3 дек 11, 15:34    [11700859]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Сергей Арсеньев
А по кластеры почитать надо, чтобы понимать на какие грабли люди уже наступали и где дорожки протоптали.


Не посоветуете ли что и где почитать?

И так никто конретную субд и не предложил. Ну хоть какие то рекомендации? Дельфинчика? Слоника? Огненную птичку? Или только оракл на спарке?

Свой личный опыт есть, но я его специально не хочу упоминать ибо открыт для нового.
3 дек 11, 15:38    [11700866]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Dimitry Sibiryakov
Любой приличный датчик имеет внутренний буфер, достаточный чтобы обойтись пару часов а то
и дней без связи с внешним миром. Пофиг что упало - сервер или канал.

А потом он по быстрому должен всё залить. Что резко увеличивает нагрузку на канал передачи и сервер.

Постоянно накапливать данные и отправлять большими порциями датчик не может т.к. их немедленно должны смотреть клиенты - задержка только неск. секунд на время прохождения.

Кеширование с нескольких объектов для записи в базу сервером обязательно.
3 дек 11, 15:52    [11700892]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Сергей Арсеньев
Member

Откуда:
Сообщений: 4118
AltCtrlDel
И так никто конретную субд и не предложил.

11700774
Вопорс в обвязке. Не в СУБД. СУБД почти любая, под которую найдутся специалисты способный держать ее 24x7 в рамках заданных требований.
3 дек 11, 16:06    [11700931]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6644
Сергей Арсеньев
AltCtrlDel
И так никто конретную субд и не предложил.

11700774
Вопорс в обвязке. Не в СУБД. СУБД почти любая, под которую найдутся специалисты способный держать ее 24x7 в рамках заданных требований.
В подобных системах почти поголовно стоит MSSQL.
Но исходные слишком шапкозакидательские, чтобы вообще что то ТСу предлагать.
3 дек 11, 18:20    [11701316]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Siemargl
В подобных системах почти поголовно стоит MSSQL.


почему?

Siemargl
Но исходные слишком шапкозакидательские, чтобы вообще что то ТСу предлагать.


Не флейма ради. Поправте меня, в чём я не прав. Это соответствует хотелкам начальства с небольшим моим "прозапасом", чтоб каждые полгода заново не строить.
3 дек 11, 18:54    [11701387]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6644
AltCtrlDel
Siemargl
В подобных системах почти поголовно стоит MSSQL.


почему?
Я не знаю причин. Но Intouch, WinCC, IFix (Proficy), Genesis вместе 95% рынка. И все основываются на MSSQL.
AltCtrlDel

Siemargl
Но исходные слишком шапкозакидательские, чтобы вообще что то ТСу предлагать.


Не флейма ради. Поправте меня, в чём я не прав. Это соответствует хотелкам начальства с небольшим моим "прозапасом", чтоб каждые полгода заново не строить.

1. Интеллектуальные датчики в кол-ве 1000 шт. Редкость в принципе. Модель можно?
2. 4000 читающих клиентов к _пишущей_ БД. Такое и в OLTP редко встретить, не то что в АСУТП.
3. Кластер и 16Тб.

Хотим купить пяток мэйфреймов?
3 дек 11, 21:01    [11701622]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
AltCtrlDel
Member

Откуда:
Сообщений: 82
Siemargl
1. Интеллектуальные датчики в кол-ве 1000 шт. Редкость в принципе. Модель можно?


В стартовом сообщении я не писал что это датчики. Я писал что это объекты, реально ПК. Потом уж, отвечая на вопросы про датчики, сам "датчики" написал чтоб не разжёвывать - каюсь. Объектов с ПК до 1000 штук, это с учётом запаса "на вырост". Каналы узкие у некоторых (GPRS). Данные нужны в онлайне (в том числе), т.е. большими блоками отсылать не катит.

Siemargl
2. 4000 читающих клиентов к _пишущей_ БД. Такое и в OLTP редко встретить, не то что в АСУТП.


клиенты по стране разнесены. Я сам предполагаю что реально будет чуть более 2-х читающих на один пишуший, но требуют до 8-ми.
И это не в полном смысле АСУТП - "У" управления никакого нет.

Siemargl
3. Кластер и 16Тб. Хотим купить пяток мэйфреймов?


Я написал " (пока не определено), может быть от 2 до 16 Тб". Ну не знаю я как там дальше пойдёт. Понадобится - купят.
Давайте пока ограничимся 2Тб.

Очень критична надёжность, малые потери в случае восстановления.
3 дек 11, 21:39    [11701716]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6644
AltCtrlDel,

Чтобы не теоретизировать.
Я перечислил системы. Можно найти на них доку и почитать, при каких условиях какую нагрузку они несут. Это даст порядок цифр.
На память - десяток тысяч записей /сек на среднем ПК.

Ну и скачать там демку, почитать опять же доку, можно будет понять как умные люди делали.

Разницы нет. Ну 1000 УСПД и АСКУЭ )))
3 дек 11, 21:55    [11701746]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
zeehond
Member [заблокирован]

Откуда:
Сообщений: 2535
сбор данных по-любому имеет смысл буферизовать, если не нравится хранилище на файловой системе - заведите простую таблицу без индексов и периодический процесс, который из неё будет читать и уже раскладывать всё как надо

а так вообще всё сильно зависит от паттернов доступа к данным
если всем 4000 одновременным клиентам надо работать одновременно со всеми 16TB - то дела плохи
но наверное не всё так плохо, и можно расшардить данные скажем по группам датчиков
заявленные объёмы нагрузки не кажутся запредельными, возможно что на нормальном серверном железе даже и шардить не потребуется

что касается отказоустойчивости - данные надо реплицировать

репликация в том виде, в котором она нормально работает на opensource базах данных - как правило асинхронная, и при падении мастера в момент отставания репликации на slave данные за время отставания могут потеряться
оцените эти риски, если пара минут данных может потеряться - может быть вам будет достаточно MySQL или Postrges, с master-slave репликацией и failover на slave

если нет - можно синхронно реплицировать данные, которые пишутся на диск, на уровне файловой системы (GFS, DRBD или же hardware-решение, какой-нибудь NetApp Filer)
не самое производительное решение, но зато всё очень надёжно - всегда есть физическая копия на соседнем сервере
3 дек 11, 22:33    [11701834]     Ответить | Цитировать Сообщить модератору
 Re: Выбрать базу для системы контроля промоборудования  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54822

AltCtrlDel
Очень критична надёжность, малые потери в случае восстановления.

Сейчас я опять буду нудеть: "в случае восстановления" после чего? Какие у вас
катастрофические сценарии заложены в ТЗ?

Posted via ActualForum NNTP Server 1.4

3 дек 11, 22:51    [11701859]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить