Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Около 10 млрд записей это утопия?  [new]
Divog
Member

Откуда:
Сообщений: 131
Если прикинуть... таблицу в которой каждая запись (всего 10 млрд) это так сказать некий объект.., поля - основные свойства. Свойства эти разных типов. Плюс ссылка на доп. таблицу в которой горизонтально хранятся остальные свойства.
Ну и соответсвенно все что можно делать с объектами будет делаться... преимущественно выборка нескольких объектов со свойствами.. массовых выборок, делитов или апдейтов не будет.
Одновременных клиентов штук 20.
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

Это утопия ? :)

Оборудование стандартное.. ну там.. двухпроцовый Xeon.. гига 4-8 оперативки.
18 апр 06, 15:38    [2575365]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
1. Вопрос не совсем понятен
2. Если "утопия"="приемлемая производительность", то скорее всего это действительно утопия на таком железе. Для более адекватной оценки помогло бы хотя-бы упоминание о том, что за СУБД используется, какая подсистема хранения (основным узким местом здесь будут именно диски, при таких-то объемах), какая ОС используется, какие задачи решает система (OLTP, OLAP, reporting etc)
18 апр 06, 15:44    [2575405]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Размер записи какой? Например возьмем 4 кб:

10 млрд записей х 4 кб 1 запись = почти 38 Терабайт (это только данные, без всякой там метаинформации, которая сопровождает их в СУБД).
Даже если размер записи 1 кб, тогда данных будет на 9 Терабайт плюс метаинформация.

У тебя есть столько дисков (стандартного оборудования) ? Если цифры взял с потолка, то неплохо посчитать сначала было бы.
18 апр 06, 15:45    [2575410]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
gardenman
Member

Откуда: С-Петербург
Сообщений: 2347
Divog
Если прикинуть... таблицу в которой каждая запись (всего 10 млрд) это так сказать некий объект.., поля - основные свойства. Свойства эти разных типов. Плюс ссылка на доп. таблицу в которой горизонтально хранятся остальные свойства.
Ну и соответсвенно все что можно делать с объектами будет делаться... преимущественно выборка нескольких объектов со свойствами.. массовых выборок, делитов или апдейтов не будет.
Одновременных клиентов штук 20.
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

Это утопия ? :)

Оборудование стандартное.. ну там.. двухпроцовый Xeon.. гига 4-8 оперативки.


> массовых выборок, делитов или апдейтов не будет.
Системы всегда создаются для анализа. Поэтому агрегатные функции (аналитические тоже) так или иначе будут применяться.

Нужно научиться умножать. если миллиард записей, и примерно по килобайту на каждую, то получается всего лишь терабайт. В приличный сервак это все влезет. Но возникнут проблемы куда девать бэкап, куда девать архивные логи.
Такое ощущение что задачка не для простой писюковой платформы. Хотя если поставить 4 писюка, которые вы описали штуки и DB2 ESE DPF - то задача не очень крупная. Даже SAN не нужен.
18 апр 06, 15:51    [2575449]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Он написал что записей 10 млрд. Кроме того не забывайте про метаинформацию, а также индексы. Итого размер таблицы будет раза в полтора выше.
Придется использовать явно не стандартное оборудование. Например что нибудь от ibm :)
18 апр 06, 15:59    [2575510]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
gardenman
Member

Откуда: С-Петербург
Сообщений: 2347
Andron
Он написал что записей 10 млрд. Кроме того не забывайте про метаинформацию, а также индексы. Итого размер таблицы будет раза в полтора выше.
Придется использовать явно не стандартное оборудование. Например что нибудь от ibm :)

Ну пускай десять писюков поставит и DB2 с DPF - какраз по миллиарду на процессор. Все равно обработка в параллель идет. Лог на каждом узле - свой.
Память - своя. Блокировки - тоже свои. Справится. Индексы тоже - свои на каждом узле. А работать с таблицей будет все прозрачно.
18 апр 06, 16:05    [2575549]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Divog
Member

Откуда:
Сообщений: 131
to Jimmy
Я в разделе, где советуют СУБД для задачи :) Что значит сказать, какая СУБД? :) Эт вы мне скажите... будет ли это все работать на MySQL или надо DB2 :)

to Andron
Каких 4 кб? Вы что? Пару полей int, пару char-ов коротеньких. Все. Выходит до 50 байт данных точно. А то и 20.

to gardenmann
Нет :) Агрегатных функций совсем не будет... в худшем случае по нескольким сотням записей.



Задача не то чтобы из головы и не то, чтобы прям уж светит. У меня есть альтернативное решение того что мне необходимо... просто решил прикинуть какое будет более сложное.
18 апр 06, 16:09    [2575573]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
pgres
Member

Откуда: Харьков
Сообщений: 140
Divog
Эт вы мне скажите... будет ли это все работать на MySQL или надо DB2 :)

to Andron
Каких 4 кб? Вы что? Пару полей int, пару char-ов коротеньких. Все. Выходит до 50 байт данных точно. А то и 20.


c MySQL это ты конечно съюморил.
тебе полюбому нужна субд с возможностью партишонинга таблиц

а так по объемам получается полтерабайта вполне справится твой сервак

датабейс Oracle, DB2, SQL Server 2005
18 апр 06, 16:38    [2575768]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Divog
Member

Откуда:
Сообщений: 131
to pgres
Хорошо, что юмор был понят :) А то читаю соседнюю ветку, смотрю тут у многих с ним туго :)

to Jimmy
Забыл добавить. Задачи - OLTP.
18 апр 06, 16:57    [2575925]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Divog
Member

Откуда:
Сообщений: 131
to pgres
Кстати, в MySQL "партишонинг" вот-вот обещает появиться. :)
18 апр 06, 17:02    [2575954]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5539
я правильно понял что объектов будет 10e+9, т.е. в соседней таблице со св-ми будет 10e+10 ?
18 апр 06, 17:06    [2575988]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32912

Привет, Divog!
Ты пишешь:

Divog
D> Кстати, в MySQL "партишонинг" вот-вот обещает появиться. :)

И как все нововведения в MySQL, обещает быть "чуть-чуть" неполноценным...
Со временем, конечно, доведут до ума. Потом. Когда-нибудь. Наверное.

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3

18 апр 06, 17:08    [2576001]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Alexey Rovdo
Member

Откуда: Москва
Сообщений: 913
DB2, Oracle.
Подумайте о целесообразности использования объектных СУБД. Судя по вашей задаче здесь можно получить большие преимущества. Из известных мне ООСУБД с указанным объемом справится Versant.
18 апр 06, 17:10    [2576015]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5539
Divog
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

И при скорости 100 инсертов/секунда, понадобится ~31 год чтобы наполнить табличку
18 апр 06, 17:11    [2576021]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5539
тьфу ошибся в 10 раз, 317 лет.
18 апр 06, 17:14    [2576047]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5539
Журавлев Денис
тьфу ошибся в 10 раз, 317 лет.
блин 3 года
18 апр 06, 17:15    [2576057]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
MGR
Member

Откуда:
Сообщений: 536
Журавлев Денис
Журавлев Денис
тьфу ошибся в 10 раз, 317 лет.
блин 3 года


Если чуть-чуть подождать, может быть дождемся вполне приемлемых 3х месяцев? :)
18 апр 06, 17:19    [2576084]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
gardenman
Member

Откуда: С-Петербург
Сообщений: 2347
Alexey Rovdo
DB2, Oracle.
Подумайте о целесообразности использования объектных СУБД. Судя по вашей задаче здесь можно получить большие преимущества. Из известных мне ООСУБД с указанным объемом справится Versant.

Можно подумать о целесообразности использования объектных расширений реляционных СУБД.
18 апр 06, 17:21    [2576097]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
pgres
Member

Откуда: Харьков
Сообщений: 140
Вобще то сначала неплохо задуматься а нужны ли все 10000000000 записей одновременно.
Может имеет смысл предусмотреть архивирование, какой нить Data Warehousing Interface, чтобы старые транзакции не мешали OLTP.

--
Кто - еще до сражения - побеждает предварительным расчетом , у того шансов много (Сунь Цзы)
18 апр 06, 17:22    [2576105]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
jvv
Member

Откуда:
Сообщений: 43
Где же столько информации то нужно обрабатывать?
Неужели ещё один биллинг для мобильных телефонов собрались сделать? :))
18 апр 06, 17:24    [2576120]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Divog
Member

Откуда:
Сообщений: 131
to Журавлев Денис
автор
правильно понял что объектов будет 10e+9, т.е. в соседней таблице со св-ми будет 10e+10 ?

Нет. Основные свойства (два-четыре) в этой таблице. В соседней лишь доп. свойства, которые будут у малого кол-ва "объектов".

И кто сказал, что заполнять начальными данными будут те самые "100 в секунду"?

to Мимопроходящий
Ну.. везде пролемы есть при внедрении чего-то нового. Но это тема другой ветки :)

to All.
В общем... всем спасибо за ответы... примерно во что это выливается я понял.. поэтому такое решение явно мне не подходит (знал что будет не просто, но чтобы "10 писюков", да "DB2 ESE DPF" , или SAN-ы какие.. чесслово, не ожидал :)

P.S.
Но сколько лет понадобится, все же заинтересовался ;)
18 апр 06, 17:30    [2576156]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
jvv
Member

Откуда:
Сообщений: 43
Да что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему
18 апр 06, 17:46    [2576267]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
shuklin
Member

Откуда: Харьков
Сообщений: 799
Divog

Это утопия ? :)


Вовсе нет. Тут главное определить, какие запросы к этому делу надо выполнять. Очень может быть, что ОБД окажуться самое то. Учитывая 20 одновременных коннектов - моя пролетает. Так что поглядите в сторону GOODS, Versant, db4o, ...

А еще можно рассмотреть файловую систему в качестве БД. Там уже скорость работы будет ограничена DMA
18 апр 06, 18:42    [2576622]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
Joker_Ya
Member

Откуда:
Сообщений: 186
jvv
Да что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему


Естественно как же без рекламы InterSystems. Не секрет что в Каше данные хранятся в глобалах в виде текстовых строк. Это значительно увеличивает кол-во необходимого места для хранения данных по сравнению с другими СУБД. Пускай каждая запись имеет размер 1 кб. Тогда легко посчитать что объем базы будет = 10 000 000 000 кб = 9 765 625 мб = 9537 гб = 9,31 Тб. Это без учета индексов и прочей информации. Не морочте людям голову что данную задачу можно решить на обычном железе с использованием технологий InterSystems.
19 апр 06, 04:45    [2577695]     Ответить | Цитировать Сообщить модератору
 Re: Около 10 млрд записей это утопия?  [new]
mv
Member

Откуда:
Сообщений: 8876


"shuklin" <nospam@sql.ru> сообщил/сообщила в новостях следующее:
news:2576622@sql.ru...
>
> Вовсе нет. Тут главное определить, какие запросы к этому делу надо
выполнять. Очень может быть, что ОБД окажуться самое то. Учитывая 20
одновременных коннектов - моя пролетает. Так что поглядите в сторону GOODS,
Versant, db4o, ...
>
db4o для 10 000 000 000 объектов?
ню-ню...

Учитывая, что макс. размер файла базы 256 Гб.
А уж с удаленными коннектами эта штука работает просто "замечательно": в
режиме "запись объект + подтверждение транзакции" - 10..100 раз в секунду.
В режиме "MySQL" (без явного управления транзакциями) - 10 000..100 000 раз
в сек. (есть системы - до 200 000).

Так что Шуклин шутит. К сожалению.

Posted via ActualForum NNTP Server 1.3

20 апр 06, 10:44    [2583059]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить