Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 43 44 45 46 47 [48] 49 50 51 52 .. 54   вперед  Ctrl
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
Догрузилось, кстати. 1061 гиг. Сейчас сделаю бэкап для будущих издевательств, и сделаю колоночный вариант.
12 ноя 13, 19:32    [15117777]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
hvlad
Member

Откуда:
Сообщений: 11551
iv_an_ru
Догрузилось, кстати. 1061 гиг.
Можно показать статистику - размер таблиц и индексов ?
12 ноя 13, 19:40    [15117802]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
hvlad
iv_an_ru
Догрузилось, кстати. 1061 гиг.
Можно показать статистику - размер таблиц и индексов ?
Это прозвучит забавно, но нельзя. Оптимизатор делает грубый самплинг прямо в процессе построения плана, а "официальная" статистика буде собираться примерно столько же, сколько все select count (1) по всем индексам.
12 ноя 13, 20:55    [15118001]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

iv_an_ru
Это прозвучит забавно, но нельзя.

То есть в Virtuoso нельзя узнать сколько места занимает таблица или индекс?..

Posted via ActualForum NNTP Server 1.5

12 ноя 13, 21:00    [15118010]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
Dimitry Sibiryakov
iv_an_ru
Это прозвучит забавно, но нельзя.

То есть в Virtuoso нельзя узнать сколько места занимает таблица или индекс?..
Можно очень быстро и с хорошей достоверностью оценить, сколько времени займёт выборка, и сколько примерно строк она вернёт. Точно узнать, сколько места занимает индекс, можно только просканировав весь этот индекс. Смысл этого действа, правда, будет не совсем понятен, потому что по-хорошему надо ещё размер ремапа оценить :) Скажем, если бы база не делала чекпойнты в процессе этой нудной загрузки, ремап был бы нулевым и размер файла был бы меньше. Но тогда база ещё подросла бы при изменениях после чекпойнта. А сейчас она уже содержит довольно много ремапов и не будет заметно расти ещё долгое время.
12 ноя 13, 21:17    [15118053]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

iv_an_ru
Точно узнать, сколько места занимает индекс, можно только просканировав
весь этот индекс.

И нет утилиты, которая бы прошла все страницы базы и вывела кому/чему эта страница
принадлежит? Или на одной странице у вас могут быть разные обекты?..

Posted via ActualForum NNTP Server 1.5

12 ноя 13, 21:24    [15118071]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
Dimitry Sibiryakov
iv_an_ru
Точно узнать, сколько места занимает индекс, можно только просканировав
весь этот индекс.

И нет утилиты, которая бы прошла все страницы базы и вывела кому/чему эта страница
принадлежит? Или на одной странице у вас могут быть разные обекты?..
Есть, но в данном случае толку от неё довольно мало. По условию задачи у нас в данном случае один диск, а не вменяемый набор страйпов на независимых шпинделях.
12 ноя 13, 21:50    [15118128]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

iv_an_ru
Есть, но в данном случае толку от неё довольно мало. По условию задачи у
нас в данном случае один диск, а не вменяемый набор страйпов на независимых шпинделях.

Не понял. Чем это мешает посчитать количество страниц, принадлежащих каждой конкретной
таблице или индексу?

Posted via ActualForum NNTP Server 1.5

12 ноя 13, 21:55    [15118140]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
Dimitry Sibiryakov
iv_an_ru
Есть, но в данном случае толку от неё довольно мало. По условию задачи у
нас в данном случае один диск, а не вменяемый набор страйпов на независимых шпинделях.

Не понял. Чем это мешает посчитать количество страниц, принадлежащих каждой конкретной
таблице или индексу?
Тем, что надо прочитать несколько байтиков из начала почти каждой восьмикилобайтной страницы. Ну то есть поднять с одного диска весь терабайт. Это ненулевое время.
12 ноя 13, 21:58    [15118147]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
hvlad
Member

Откуда:
Сообщений: 11551
iv_an_ru
Точно узнать, сколько места занимает индекс, можно только просканировав весь этот индекс.
Если это b-tree, то листья сканировать не нужно

iv_an_ru
Dimitry Sibiryakov
Не понял. Чем это мешает посчитать количество страниц, принадлежащих каждой конкретной
таблице или индексу?
Тем, что надо прочитать несколько байтиков из начала почти каждой восьмикилобайтной страницы.
В FB достаточно прочитать только данные каталога...


PS а что такое ремап ?
12 ноя 13, 22:03    [15118165]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

iv_an_ru
Это ненулевое время.

Ну так ты угробил уже сутки на набитие базы, ещё несколько часов на её чтение можно
выдержать...

Posted via ActualForum NNTP Server 1.5

12 ноя 13, 22:11    [15118184]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
hvlad
В FB достаточно прочитать только данные каталога...
Ну то есть существует актуальный счетчик страниц для каждого индекса? Кто-то не поленился ради этой фигни завести по лишнему пулу мьютексов на каждый индекс на каждой машине кластера? Ну ладно, флаг в руки :)
12 ноя 13, 22:17    [15118207]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
hvlad
PS а что такое ремап ?
http://docs.openlinksw.com/virtuoso/CHECKPOINT.html#checkpointparams , как пример.
12 ноя 13, 22:23    [15118233]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30237
iv_an_ru
129 миллионов транзакций накидали 135 миллионов страниц.

странное число транзакций. Для ФБ все 12400 варехаусов залились в ~646000 транзакциях. Или тут это какие-то не те транзакции, или лоадер не такой? Если честно, исходники лоадера для ФБ не смотрел, но он вроде стандартный должен быть.
12 ноя 13, 22:45    [15118327]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
kdv,

Лоадер, очевидно, другой.
12 ноя 13, 22:52    [15118352]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
А вот на соседней машине пример нормальной загрузки, кстати:
In current experiment, to load 100G TPC-H is 840s for the load and 160s after that to wait for the disks to get synced and the db checkpointed.
12 ноя 13, 22:54    [15118362]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
hvlad
Member

Откуда:
Сообщений: 11551
iv_an_ru
Ну то есть существует актуальный счетчик страниц для каждого индекса?
Конечно нет. Про индексы я писал выше:
hvlad
Если это b-tree, то листья сканировать не нужно
Фраза о каталоге была про страницы с данными таблиц.
12 ноя 13, 23:40    [15118575]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
iv_an_ru
Member

Откуда: Новосибирск
Сообщений: 20368
hvlad
iv_an_ru
Ну то есть существует актуальный счетчик страниц для каждого индекса?
Конечно нет. Про индексы я писал выше:
hvlad
Если это b-tree, то листья сканировать не нужно
Фраза о каталоге была про страницы с данными таблиц.
В виртуозе нет неких особых "таблиц", только индексы. Все поля таблицы хранит её PK.
13 ноя 13, 02:02    [15118946]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
hvlad
Member

Откуда:
Сообщений: 11551
iv_an_ru
В виртуозе нет неких особых "таблиц", только индексы. Все поля таблицы хранит её PK.
К сожалению, в документации по вышеприведенной ссылке я не нашёл ничего ни о том, как работает лог тр-ций, ни о способе хранения данных на диске.
13 ноя 13, 03:05    [15119021]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Гость333
Member

Откуда:
Сообщений: 3683
Dimitry Sibiryakov
Гость333
Путём нехитрой экстраполяции находим, что 12400 варехаузов займут 953250 Мб
(что помещается на терабайтный веник), плюс 10-мегабайтный файл логов.

Оценка по экстраполяции немногого стоит.

Да ладно? Почему?

Dimitry Sibiryakov
Подождём, пока ты таки создашь индексы на всех 12400 складах.

Я не собирался генерить 12400 складов. На энтерпрайзном железе такие эксперименты я ставить не могу, а для эксперименте на десктопе нужен как минимум такой лоадер, который умеет останавливаться, запоминать выполненную работу, и затем продолжать с места остановки. Есть ссылка на такой? В HammerDB не нашёл такой возможности.

Дальше, немного разобравшись со скриптами HammerDB, я их подкорректировал и сделал повторную загрузку 128 складов. Корректировка состояла в том, что таблицы сразу создавались с кластерными индексами (кластерный индекс — это примерно то же самое, что Index organized table в Oracle, или, как сказал iv_an_ru, "Все поля таблицы хранит её PK"). В общем, "кластерный индекс — это и есть таблица". Ну а некластерные индексы создавались по-прежнему после загрузки данных. Кроме того, в скрипты создания индексов я вписал опцию SORT_IN_TEMPDB = ON, ну чтобы соответствовать описанному в статье "а для сортировки создаваемых индексов мы подключили отдельный веник на 640 Гб".

Размер файла данных в этом случае стал равен 9900 Мб, а файла логов — 150 Мб. Ну так что там насчёт
Dimitry Sibiryakov
у них логи ... займут гораздо больше места чем данные
?
13 ноя 13, 13:03    [15120929]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

Гость333
Я не собирался генерить 12400 складов. На энтерпрайзном железе такие
эксперименты я ставить не могу, а для эксперименте на десктопе нужен как минимум такой
лоадер, который умеет останавливаться, запоминать выполненную работу, и затем продолжать с
места остановки. Есть ссылка на такой? В HammerDB не нашёл такой возможности.

Стандартный TPC-C loader имеет ключи для указания числа загружаемых складов и номера
первого склада. Таким образом он может загрузить 10 складов, потом ещё 10 начиная с 11-го
и т.д.

Posted via ActualForum NNTP Server 1.5

13 ноя 13, 13:20    [15121110]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Дима!

То, что лог не растет до "больше чем данных" размеров тебе уже показали, а занимаемое место 12400 складами я тебе покажу, чуть позже. Окошечки приходится выискивать.
13 ноя 13, 13:29    [15121201]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

Гость333
Ну так что там насчёт "у них логи ... займут гораздо больше места чем
данные"?

....если отдельные читеры не отключат их использование переведя БД в simple mode.

Posted via ActualForum NNTP Server 1.5

13 ноя 13, 13:38    [15121281]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Dimitry Sibiryakov
....если отдельные читеры не отключат их использование переведя БД в simple mode.


Дима, ты просто завидуешь, что нам есть что отключить.
13 ноя 13, 13:45    [15121344]     Ответить | Цитировать Сообщить модератору
 Re: Зачем выбирать другие СУБД, если существует MS SQLServer?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

pkarklin
ты просто завидуешь, что нам есть что отключить.

Нет, мне смешно, что когда от слов доходит до дела, вам приходится отключать именно те
фичи, которыми гордо размахивали на первых страницах топика.

Posted via ActualForum NNTP Server 1.5

13 ноя 13, 14:24    [15121430]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 43 44 45 46 47 [48] 49 50 51 52 .. 54   вперед  Ctrl
Все форумы / Сравнение СУБД Ответить