Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Высокая надежность и noSQL  [new]
надежность
Guest
Нужно по убыванию важности:
- объемы до 16 ТБ
- высокая надежность (транзакции и журналы транзакий и их различные уровни)
- многофайловые базы и журналы транзакций
- высокая скорость чтения/записи
- noSQL (SQL не нужен, соединения таблиц не нужен, PL/SQL, PgPL/SQL и T-SQL не нужны)

Какие СУБД наиболее подойдут?
5 июн 11, 20:23    [10765726]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
надежность
Нужно по убыванию важности:
- объемы до 16 ТБ
- высокая надежность (транзакции и журналы транзакий и их различные уровни)
- многофайловые базы и журналы транзакций
- высокая скорость чтения/записи
- noSQL (SQL не нужен, соединения таблиц не нужен, PL/SQL, PgPL/SQL и T-SQL не нужны)

Какие СУБД наиболее подойдут?
Ну как вариант Oracle+TimesTen Cache
5 июн 11, 21:07    [10765832]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54848

Ext3.

Posted via ActualForum NNTP Server 1.4

5 июн 11, 22:29    [10766099]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
надежность
Guest
Dimitry Sibiryakov
Ext3.

А какие там возможны уровни изоляции транзакций?
6 июн 11, 02:28    [10766796]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Valeriu
Member

Откуда: Chisinau
Сообщений: 2196
Все для этого
http://www.fisglobal.com/products-technologyplatforms-gtm
6 июн 11, 09:46    [10767348]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54848

надежность
А какие там возможны уровни изоляции транзакций?

Dirty Read. В noSQL больше и не бывает.

Posted via ActualForum NNTP Server 1.4

6 июн 11, 10:46    [10767813]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
Dimitry Sibiryakov
надежность
А какие там возможны уровни изоляции транзакций?

Dirty Read. В noSQL больше и не бывает.


Думаю, что документация по BDB тебя сильно удивит
6 июн 11, 13:09    [10769186]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
надежность
Guest
Dimitry Sibiryakov
надежность
А какие там возможны уровни изоляции транзакций?

Dirty Read. В noSQL больше и не бывает.

noSQL и noTransact все таки разные вещи.
noSQL убирает только сложные выборки.
6 июн 11, 13:57    [10769703]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
DPH3
Member

Откуда:
Сообщений: 456
А что значит "высокая скорость чтения/записи"? Какие порядки? Какие операции?

И какой уровень надежности интересует, для каких случаев (допустима ли потеря транзакции при сбое сервера, необходимо ли разнесение данных на разные датацентры или можно все в одном и т.п.)?

Выборки - по первичному ключу только, да?

P.S. И, наверно, раз уж речь о уровнях транзакции, то интересна не только надежность, сколько консистентность?
6 июн 11, 17:15    [10771893]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
надежность,

а я бы сразу спрашивал о бюджете ;) а то может это бесплатно нужно ;))
6 июн 11, 17:35    [10772102]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
надежность
Guest
DPH3
А что значит "высокая скорость чтения/записи"? Какие порядки? Какие операции?

И какой уровень надежности интересует, для каких случаев (допустима ли потеря транзакции при сбое сервера, необходимо ли разнесение данных на разные датацентры или можно все в одном и т.п.)?

Выборки - по первичному ключу только, да?

P.S. И, наверно, раз уж речь о уровнях транзакции, то интересна не только надежность, сколько консистентность?

Операции 70% чтение, 30% запись. Скорость от софта требуется чем больше тем лучше, исходя из того софта, что существует в природе :) Остальное будет добиваться до нужного уровня количеством дисков/размером массива.

Потеря транзакции при сбое сервера не допустима. В принципе весь ACID интересует. Консистентность при записи в 2 и более таблиц так же необходима.

Выборки только по PK. Очень редко фул сканы по значению других полей.
6 июн 11, 18:35    [10772724]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
надежность
Guest
Alexander Ryndin
надежность,

а я бы сразу спрашивал о бюджете ;) а то может это бесплатно нужно ;))

Если бесплатно то неплохо :) Если платно тоже вариант. Предложение о размере бюджета будет инициировано с нашей стороны.
Вот тут ext3/4 предлагают :) У неё даже 3 уровня журналирования есть. Вроде как и транзакционность есть, но только 1 уровня.

Желательно бы хотя бы уровни: Read Uncommited, Read Commited, Snapshot.

А у Oracle+TimesTen Cache как с надежностью?
6 июн 11, 18:40    [10772763]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
надежность,

noSQL нужны в том числе для того, чтобы уйти от ограничений ACID. Там другие способы и принципы обеспечения надежности.

noSQL СУБД бывают Key-value (Berkeley), иерархическиe (Cache, IMS), объектные...

Нужно выбирать на вкус. А чтобы появился вкус - почитать матчасть и попробовать несколько.
6 июн 11, 18:54    [10772841]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
DPH3
Member

Откуда:
Сообщений: 456
надежность
Операции 70% чтение, 30% запись. Скорость от софта требуется чем больше тем лучше, исходя из того софта, что существует в природе :) Остальное будет добиваться до нужного уровня количеством дисков/размером массива.

1. Запись - insert/update? Какой размер БД? Какая задача-то? А то число диско не всегда спасает - зависит от задачи.


Потеря транзакции при сбое сервера не допустима.

Э, если транзакция еще не закоммичена - то в рамках ACID ее потеря не страшна. Если страшна,то задачу нужно решать не на уровне хранилища.
Далее, что значит "недопустима"? Сколько девяток нужно, какая стоимость потери данных, сколько копий будете хранить, нужно ли переживать падение атомной бомбы в ДЦ и сколько времени после этого можно потратить на восстановление, где собираетесь ДЦ размещать (РФ или весь мир)? И сколько денег есть?


В принципе весь ACID интересует. Консистентность при записи в 2 и более таблиц так же необходима.

Хм, тогда, подозреваю, вам нужна промышленная реляционная БД. Собственно, вариантов вообще только два - или DB2 или Oracle. Ну, еще можно посмотреть на всякие хитрые иерархические системы типа IBM IMS (это если есть несколько лишних миллионов долларов).
И стоимость решения - многие сотни тысяч долларов (а если так, то почему вы задаете вопросы в форуме, а не ищете специалиста с соответствующим опытом?)

noSQL из популярных бесплатных тут точно не пройдет. Ну или вы слишком завышаете требования и все гораздо проще.

И, да, почему обязательно noSQL?
6 июн 11, 19:12    [10772927]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54848

DPH3
И, да, почему обязательно noSQL?

Возможно, аффтар просто ниасилил SQL...

Posted via ActualForum NNTP Server 1.4

6 июн 11, 19:36    [10772991]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
надежность
Alexander Ryndin
надежность,

а я бы сразу спрашивал о бюджете ;) а то может это бесплатно нужно ;))

Если бесплатно то неплохо :) Если платно тоже вариант. Предложение о размере бюджета будет инициировано с нашей стороны.
Вот тут ext3/4 предлагают :) У неё даже 3 уровня журналирования есть. Вроде как и транзакционность есть, но только 1 уровня.

Желательно бы хотя бы уровни: Read Uncommited, Read Commited, Snapshot.

А у Oracle+TimesTen Cache как с надежностью?
С надежностью такого решения все нормально. Times Ten - это кэш, который обеспечивает производительность, а у СУБД Oracle, которая лежит внизу - никогда не было проблем с надежностью.
7 июн 11, 02:10    [10774168]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
xz321
Guest
solidDB+DB2
Тоже хорошо будет.
7 июн 11, 07:12    [10774243]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
∀
Guest
Alexander Ryndin
а у СУБД Oracle, которая лежит внизу - никогда не было проблем с надежностью.

s/никогда/обычно на хорошем железе и при толковом админе/
7 июн 11, 07:46    [10774276]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
SERG1257
Member

Откуда:
Сообщений: 2934
2 Топикстартер
В любой системе человек - слабое звено. О какой надежности можно говорить, если вы не определились с СУБД (у вас нет админа которому вы доверяете). Ну посоветуют вам продукт XXX от фирмы YYYY, уже внедренной в ZZZ, а ваш админ (новичок в XXX) поставит систему колом. И вы его можете хоть уволить хоть расстрелять, но новый админ тоже будет новичком в XXX.
7 июн 11, 09:40    [10774581]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
надежность
Guest
DPH3
И, да, почему обязательно noSQL?

Не обязательно. Просто не нужен. Так же как не нужен прицеп к мерсу. Но если продадите его дешевле чем без прицепа, то куплю.

SQL не нужен, но транзакции нужны. К слову одно с другим никак не связано.

Админа по нужной технологии найдем.
7 июн 11, 16:42    [10777815]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
SERG1257
Member

Откуда:
Сообщений: 2934
DPH3
Какая задача-то?
Хрустальный шар показывает роботов писателей событий(aka датчики) и клиенты разбиратели с одним запросом - дай мне последние после прочитанного.
7 июн 11, 17:30    [10778260]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
DPH3
Member

Откуда:
Сообщений: 456
надежность
Не обязательно. Просто не нужен. Так же как не нужен прицеп к мерсу. Но если продадите его дешевле чем без прицепа, то куплю.
SQL не нужен, но транзакции нужны. К слову одно с другим никак не связано.

Ну, в теории, конечно, не связано - а вот на практике обычно связь есть.


Админа по нужной технологии найдем.

Тогда IBM DB2 UDB. И дальше смотреть по требованиям и выбирать лицензию. Но, вообще, без понимания, а какие нужны запросы и какой профиль нагрузки, любой совет - это гадание по кофейной гуще...
7 июн 11, 18:31    [10778657]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Favn
Member

Откуда:
Сообщений: 585
надежность
Операции 70% чтение, 30% запись. Скорость от софта требуется чем больше тем лучше, исходя из того софта, что существует в природе :)
Выборки только по PK. Очень редко фул сканы по значению других полей.
В DB2 LUW 9.7 появились range index'ы - фактически, прямая адресация, как в key-value. Если РК числовой и его диапазон заранее известен - скорость будет максимально возможной для железа.
Если использовать static SQL - overhead от SQL по сравнению с noSQL будет сремится к 0 (собственно разборки SQL'я на сервере и не будет).
Если юзеров и денег немного, можно попробовать и на бесплатном DB2, вложившись в быстрые (PCIe ?) SSD под логи (пишутся синхронно) и м.б. под основные таблицы. М.б. и с "view" партиционированием. А если многа денег - то и с настоящим, что всегда успеется :)
Я бы писателей, если их много, обрабатывал отдельным сервисом (типа примитивной трехзвенки). Инсерты пакетами записей заметно ускорят работу, если это возможно на Вашей задаче.
надежность
Очень редко фул сканы по значению других полей.
Fullscan по 16 Тб - это сильный ход. Может, не надо?
8 июн 11, 10:12    [10780654]     Ответить | Цитировать Сообщить модератору
 Re: Высокая надежность и noSQL  [new]
Ggg_old
Member

Откуда: Одесса
Сообщений: 1342
судя по вашим условиям, посмотрите http://en.wikipedia.org/wiki/Mnesia
лично я дать отзыва не могу, но частенько в высоконогруженных проектах с большим параллелизмом используется платформа erlang, а mnesia как раз key-valued c поддержкой ACID. И при этом не наколеночная поделка, а делалась для нужд интерпрайзов.
Purpose of Mnesia

As with Erlang, Mnesia was developed by Ericsson for soft real-time distributed and high-availability computing work related to telecoms. It was not intended as a general office-based data processing DBMS, nor to replace SQL-based systems. Instead Mnesia exists to support Erlang, where DBMS-like persistence is required[2]. It has more in common with embeddable DBMS such as Berkeley DB than with a SQL database server.
...
Transactions

Erlang is a functional language. Mnesia builds on this to obtain ACID transaction support.
8 июн 11, 10:25    [10780741]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить