Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
Граждане, есть вопрос. Допустим, я создаю базу TPC-C, и заливаю ее лоадером с коэффициентом
-W100 (100 варехаусов). У меня в Firebird и InterBase база получается размером 8.8 гигабайт (без создания индексов).

Если кто занимался самостоятельно запуском TPC-C, можете сказать, какой объем при -W100 у Oracle, MS SQL, и т.п.?
18 июн 09, 11:30    [7314396]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

kdv wrote:

> Если кто занимался самостоятельно запуском TPC-C, можете сказать, какой
> объем при -W100 у Oracle, MS SQL, и т.п.?

Ну, скажем так, а зачем тебе это ? Не проще ли принять, что
места нужно под базу "дофига" и успокоиться ?
В-нулевых, может быть зависит и от конкретной реализации TPC-C.
Во-первых, объём потребной БД будет зависеть от
настроек разных СУБД. Они могут быть разные, и у тебя в итоге
размер будет разный.
Во-вторых, я думаю человек уже и не вспомнит, сколько там
этих гигов ушло под данные, и в третьих, он вспомнит только
сколько он выделил, а не сколько реально минимально надо было
выделять. Хотя бы в MSSQL это -- разные вещи. Подозреваю,
что и в оракле может быть то же самое.

Posted via ActualForum NNTP Server 1.4

18 июн 09, 14:55    [7315837]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
MasterZiv
Ну, скажем так, а зачем тебе это ? Не проще ли принять, что
места нужно под базу "дофига" и успокоиться ?

меня интересует соотношение объемов баз. 10 гиг это фигня, меня интересуют коэффициенты.

автор
В-нулевых, может быть зависит и от конкретной реализации TPC-C.

я как то думал, что требования к наполнению данных не могут зависеть "от реализации" теста. TPC-C это тест, и если будут его "реализации", то тогда и результаты нельзя будет сравнивать.
В описании теста, кстати, даются конкретные коэффициенты для всех таблиц, и правила генерации данных.

автор
Во-первых, объём потребной БД будет зависеть от настроек разных СУБД. Они могут быть разные, и у тебя в итоге размер будет разный

насколько разные, в разы, на порядки?
меня интересует без настроек, by default. максимум что можно менять - размер страницы 16к.

автор
Во-вторых, я думаю человек уже и не вспомнит, сколько там
этих гигов ушло под данные, и в третьих, он вспомнит только
сколько он выделил, а не сколько реально минимально надо было
выделять. Хотя бы в MSSQL это -- разные вещи.

кто не вспомнит - пусть не вспоминает. и меня не интересует "сколько выделил", я понимаю, что на 10 гиг данных можно выделить 100 гиг, но я не об этом спрашиваю.

К чему все усложнять? Да, я хочу получить хоть какое-то сравнение по мотивам этого топика
https://www.sql.ru/forum/actualthread.aspx?tid=664884
нет, меня не интересуют никакие "неумолчательные" параметры сжатия и прочего, т.е. возможности конкретной СУБД в этом плане.
Я просто хочу понять, если я взял 10 гиг tpcc данных (100 warehouses), то сколько это будет в MS SQL, Оракле, ДБ2, и так далее.
18 июн 09, 16:52    [7316683]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

kdv wrote:

> я как то думал, что требования к наполнению данных не могут зависеть "от
> реализации" теста. TPC-C это тест, и если будут его "реализации", то
> тогда и результаты нельзя будет сравнивать.
> В описании теста, кстати, даются конкретные коэффициенты для всех
> таблиц, и правила генерации данных.

Да, да только реализация может их и нарушать.

> меня интересует без настроек, by default. максимум что можно менять -
> размер страницы 16к.

Вот размер страницы и будет влиять.

> Я просто хочу понять, если я взял 10 гиг tpcc данных (100 warehouses),
> то сколько это будет в MS SQL, Оракле, ДБ2, и так далее.

В общем, я думаю на этот вопрос может дать ответ лишь тот,
кто постоянно занимается TPC-C для всех этих баз. В мире таких немного.
Мы делали TPC-C (правда не я конкретно), но не для этих СУБД.
Так что более помочь не смогу.

Posted via ActualForum NNTP Server 1.4

18 июн 09, 17:03    [7316770]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
MasterZiv
Вот размер страницы и будет влиять.

сомневаюсь, что будет. даже если резервирование места на страницах делается, то наверняка от размера страницы процент резервирования не зависит. А в тпц-ц записи мелкие, так что хоть с размером страницы 2к, что 16к, 100 варехаусов будут иметь практически один и тот же размер.
18 июн 09, 17:49    [7317185]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
hvlad
Member

Откуда:
Сообщений: 11562
MasterZiv
Так что более помочь не смогу.
Помочь ?
18 июн 09, 18:53    [7317497]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
для MS SQL уже заряжено, а вот с другими пока тишина. ну и ладно.
18 июн 09, 20:25    [7317771]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
kdv
MasterZiv
Вот размер страницы и будет влиять.

сомневаюсь, что будет. даже если резервирование места на страницах делается, то наверняка от размера страницы процент резервирования не зависит. А в тпц-ц записи мелкие, так что хоть с размером страницы 2к, что 16к, 100 варехаусов будут иметь практически один и тот же размер.

Не знаю, как у других, но в Oracle параметр резервирования указан в процентах от блок, т.е. оьъем зарезервированного места будет зависить от размера страницы. Кроме того, от размера страници скорее всего будет зависить коэффициент сжатия, если таблицы сжимаются (обычно чем больше страница, тем лучше сжимается). Плюс есть параметр, который резервирует слоты под транзакции, они хоть и немнго места занимают, но все же занимают. Так что вы таким способом померяете среднюю температуру по больнице, ИМХО.
22 июн 09, 10:38    [7326611]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
Ппц, руки мои крюки...
-------------------------------------------------------
Автор благодарит алфавит за любезно предоставленные ему буквы.
22 июн 09, 10:38    [7326615]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
Apex
Так что вы таким способом померяете среднюю температуру по больнице, ИМХО.

ничего подобного. допустим, есть 2 архиватора. У одного есть варианты выбора степени сжатия, у другого - нет. Причем у первого (с вариантами) есть сжатие по умолчанию.

Берем эталонный файл, жмем обеими архиваторами. Получаем разницу. Здесь с БД то же самое, абсолютно, но почему-то вызывает подозрения на холивар или "с этой СУБД вы правильно ничего не померяете". Я не пытаюсь выяснить максимальное или минимальное сжатие. Я просто хочу узнать, сколько по объему занимает один и тот же эталонный объем данных, при умолчательных параметрах, только и всего. Нет задачи выяснять, кто сильнее сожмет или пытаться "сжать" данные одним сервером так же как и другим.
22 июн 09, 12:12    [7327395]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
kdv

ничего подобного. допустим, есть 2 архиватора. У одного есть варианты выбора степени сжатия, у другого - нет. Причем у первого (с вариантами) есть сжатие по умолчанию.

А если у того, у которого по умолчанию ничего нет, но при дложной настройке получается сильно лучше, чем у другого хоть занастройся, тогда что?

kdv

Берем эталонный файл, жмем обеими архиваторами. Получаем разницу. Здесь с БД то же самое, абсолютно, но почему-то вызывает подозрения на холивар или "с этой СУБД вы правильно ничего не померяете". Я не пытаюсь выяснить максимальное или минимальное сжатие.

Тогда вы просто выясните, у кого какие настройки по-умолчанию, но не возможности по сжатию как таковые. Если это и есть цель - я согласен.
22 июн 09, 21:26    [7330761]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
Apex
но при дложной настройке получается сильно лучше, чем у другого хоть занастройся, тогда что?

да ничего. я в жизнь не поверю, что у Оракла или MS SQL например нельзя просто взять и создать таблицу. Не указывая экстенты и прочее. Если нельзя - пусть будет 8к или 16, пофиг.

Apex
у кого какие настройки по-умолчанию, но не возможности по сжатию как таковые. Если это и есть цель - я согласен.

ужас. да мне пофиг у кого какие настройки по умолчанию. И меня не интересуют "возможности по сжатию". Вы вообще преувеличиваете возможности конкретной и тонкой настройки, которая тут нафиг не уперлась. Если бы я спросил, насколько сильно сервер может сжать сырые данные, тогда да, можно было бы скакать вокруг настроек, задать 0% резервирования свободного места на страницах, и т.п. Но я же про это не спрашиваю. Меня даже не интересуют предполагаемые размеры логов.
Меня интересует тупое хранение некоего стандартного набора данных на страницах размером 4, 8 или 16к. При том что для 10 гиг данных разница между размером страницы не будет иметь значения (как минимум потому, что в tpc-c тесте максимальный размер записи - 700 байт).

Короче, все равно никто на вопрос ответить не может, по вполне понятным объективным причинам, а Вы не только не ответили, но и начинаете мне я--а крутить. Я понимаю, если бы речь шла о вопросе производительности этого самого tcp-c. Так ведь даже об этом я ни слова не сказал.
22 июн 09, 22:19    [7330848]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
hvlad
Member

Откуда:
Сообщений: 11562
kdv
Короче, все равно никто на вопрос ответить не может
А ты здесь чего-то другого ждал ?
22 июн 09, 22:47    [7330880]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
kdv

Короче, все равно никто на вопрос ответить не может, по вполне понятным объективным причинам, а Вы не только не ответили, но и начинаете мне я--а крутить. Так ведь даже об этом я ни слова не сказал.


Нормально... я еще и му**к в данной ситуации.

ОК, не подскажете где взять скрипты для наполнения таблиц? Помогу с ответом со стороны Оракла...
23 июн 09, 00:37    [7331035]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
Apex
Нормально... я еще и му**к в данной ситуации.

судя по отзывам на мой вопрос - я первый :-)

скрипт структуры БД прислать не проблема. Проблема может быть с лоадером, т.к. он скомпилен для ИБ-ФБ. Пришлите мне пожалуйста письмо на kdv@ibase.ru, я перешлю скрипт и исходники, вдруг что получится.
23 июн 09, 00:51    [7331049]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3910
kdv
Apex
Нормально... я еще и му**к в данной ситуации.

судя по отзывам на мой вопрос - я первый :-)

скрипт структуры БД прислать не проблема. Проблема может быть с лоадером, т.к. он скомпилен для ИБ-ФБ. Пришлите мне пожалуйста письмо на kdv@ibase.ru, я перешлю скрипт и исходники, вдруг что получится.

Написал пару дней назад.
24 июн 09, 09:56    [7335990]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54813

kdv

я в жизнь не поверю, что у Оракла или MS SQL например нельзя просто
взять и создать таблицу. Не указывая экстенты и прочее.

Можно, конечно. Но поскольку если не все, то большинство здесь тебя
знает, то подозревают в вопросе подвох. И не хотят
плохо
выглядеть
на фоне известных серверов.

Posted via ActualForum NNTP Server 1.4

25 июн 09, 15:49    [7343757]     Ответить | Цитировать Сообщить модератору
 Re: кто делал сам tpc-c - какой объем базы при заливке 10 гиг данных?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30274
DS
И не хотят плохо выглядеть на фоне известных серверов.

это все домыслы (не твои). В смысле, если плохо жмет, то плохой, или если хорошо жмет, то плохой?
ничего, кроме коэффициента "размера", я знать не хочу. Мне нужен очень приблизительный коэффициент разницы, чтобы можно было сказать - если в ФБ база 10 гиг, то в MS SQL она займет .... К примеру, есть информация от одного человека, что он перегоняя базу из ФБ в MS SQL получил размер в 1.8 раз больше. Это была его база, и в MS SQL он разбирается.

Причем, действительно, в сжатии особой крутизны нет, т.к. хоть ИО и меньше, но оверхед на распаковку больше грузит проц. Так что если и TPC-C у MS SQL получится больше, чем у ФБ, это даже не говорит о том, что MS SQL "хуже пакует". Просто теоретически, в среднем по больнице, вот такая разница в объеме хранимых данных. То есть, чисто оценочные данные.

to Apex: извиняюсь, запарка в конце квартала, завтра (уже сегодня) вышлю что нашел.
26 июн 09, 00:37    [7345541]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить