Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 26 27 28 29 30 31 32 33 [34] 35   вперед  Ctrl
 Re: Конкурс идей про Firebird  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9393
rdb_dev,

я Interbase не покупал, проверять не на чем
21 мар 19, 11:12    [21839306]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
kdv
rdb_dev
Похоже, что в Interbase перебор (скан) по натуралу распаралелен

нет. Более того, если на штатном размере базы tpc, как у них в тесте, вроде бы всё одинаково с FB (со сканом),
то при 30 гиг базе у ИБ скан ужасен, там почему-то ничего не помогает, всё намного хуже чем у ФБ.
Я делал тесты, но результаты получились настолько неоднозначные, что я решил ничего не публиковать.
Параллельные вычисления не всегда дают прирост производительности. Там всё очень сильно зависит от количества процессоров (процессорных юнитов - не ядер), особенностей выделения памяти в ядре ОС при использовании NUMA и гранулярности распараллеленного алгоритма. Иными словами, проверять надо, хотя бы, на двухпроцессорной системе и возможно, со специально собранным ядром ОС.
21 мар 19, 11:13    [21839310]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
WildSery
rdb_dev
Нет. А ты проверял?
Но утверждаешь же именно ты, на основании фантазий маркетологов :)
У меня под рукой нет железа с кучей процессоров, чтобы это проверять.
21 мар 19, 11:14    [21839313]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 15124
rdb_dev
У меня под рукой нет железа с кучей процессоров, чтобы это проверять.
Так и не делай непроверенных утверждений.
21 мар 19, 11:19    [21839324]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
rdb_dev
скан по натуралу у них в несколько раз быстрее при всех прочих равных

нет, по крайней мере могу дать часть результатов теста:

На штатной базе с 16 warehouses (1.4 гиг, микроскопическая), при скане натуралом Фб остает от ИБ на самой большой таблице на 30%, это при кэше 2048. При кэше в 100к страниц разница 5%.
При этом, в тесте Эмбаркадеро на таблице с 4.8млн записей select count 3 секунды, а у меня у ИБ на обычном raid1 из двух sata - 1.8 секунды. Это что - в тесте у Эмбаркадеро такие медленные диски?

Дальше, на тесте базы в 300 warehouses у ИБ на таблице stock (вычитываются те же 1.6млн записей) какие-то дикие тормоза, на 10% хуже чем худший результат Firebird, при этом у ИБ результат одинаковый с разным кэшем, и даже с разным методом доступа (с кэшем ОС и без кэша ОС).
Было впечатление, что ИБ пугается большой базы и выключает файловый кэш ОС, но на таблицах order_line и orders всё нормально (но результаты всё равно хуже чем у ИБ).

Префетч ИБ в этом тесте никакой разницы не дает. У ФБ скорость чтения БД на уровне 20мб сек, а у ИБ - 80мб сек. Такое впечатление, что используются 4 потока для чтения (каждый по 20мб сек), но скорость выполнения запроса при этом та же самая. Параллельный запуск нескольких select count также не дает результата. Ничего "в 4 раза быстрее" не работает.
Кроме того, на большой базе с 300wh при чтении 16wh
- Firebird читает только нужное, в кэш ОС попадает 5% от размера таблиц (16wh это 5% от 300wh).
- ИБ при том же "5% запросе" кэширует в память ОС 70-80% базы данных. Но толку от этого никакого.
Видимо, префетч касается только загрузки в кэш ОС лишней части БД, и больше ничего.

Да, и еще - у ИБ в какой-то предыдущей версии (XE7 или XE3) якобы в результате этого самого predictive io "поломался" вывод page reads и fetches в статистике запроса, и теперь там выводится полная херня, по которой ничего нельзя оценить даже приблизительно.
21 мар 19, 11:23    [21839325]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 15124
WildSery,

Поправка - не проверенных хоть кем-нибудь, на результаты кого можно сослаться.

+ грубый пример
select first 10 FIO from Your_Company_Staff - дебилы, однозначно.
У меня нет сейчас возможности со всеми ними пообщаться, чтобы это проверить.
21 мар 19, 11:24    [21839326]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9393
rdb_dev,

Для начала почитай https://www.ibase.ru/dataaccesspaths/ три раза. В особенности про свой любимый натуральный скан
21 мар 19, 11:24    [21839327]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
Симонов Денис
я Interbase не покупал, проверять не на чем

developer edition бесплатен, там ограничение на непрерывную работу службы 48 часов, потом надо рестартовать службу.
21 мар 19, 11:24    [21839328]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
kdv
на 10% хуже чем худший результат Firebird, при этом у ИБ результат одинаковый с разным кэшем, и даже с разным методом доступа (с кэшем ОС и без кэша ОС).


то есть, у ИБ при select count from stock where s_w_id < 17
время запроса всегда 185 сек (с кэшем ос, без кэша ос, с разным кэшем ИБ), а у ФБ, - 3.6 сек с кэшем ОС, и 170 сек без кэша ОС.
Аналогичный запрос к orders и order_line дает нормальные разультаты с кэшем ОС и без кэша ОС, у ФБ побыстрее процентов на 10.
21 мар 19, 11:28    [21839335]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
[quot kdv]
rdb_dev
При этом, в тесте Эмбаркадеро на таблице с 4.8млн записей select count 3 секунды, а у меня у ИБ на обычном raid1 из двух sata - 1.8 секунды. Это что - в тесте у Эмбаркадеро такие медленные диски?
Более медленные диски, более медленный контроллер, менее производительный алгоритм обработки очередей ввода/вывода (зависит от ядра ОС) не использующий систему команд NCQ/SCSI и т.п. Нужное подчеркнуть! Сравнить с большой степенью достоверности можно только на одинаковом железе, с одинаковыми настройками ОС и схожими настройками СУБД.
21 мар 19, 11:29    [21839337]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9393
rdb_dev,

бяда... тебе Эмбаркадеро приплачивает за защиту?

kdv
Видимо, префетч касается только загрузки в кэш ОС лишней части БД, и больше ничего.


такой префетч на фиг не сдался, он и так на уровне файлового кеша работает. Я думал там как-то умнее сделано, чтобы при натурал скане читалось упреждающе не более одного экстента. Смысл загонять в кеш то, что может быть и не использовано никогда, или всё равно будет вытеснено позже с высокой вероятностью
21 мар 19, 11:37    [21839341]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
rdb_dev,

да ладно, контроллеры-шмонтроллеры. Что это за тест вообще такой на базе в 1.4 гиг. Это детский сад.
Я повторяю - у меня обычный raid1 (биос матплаты) на двух дисках seagate 2tb sata 3. Там линейная скорость чтения не выше 200мб сек. Поди найди что-то ПОМЕДЛЕННЕЕ. Ноутбучный диск Тошиба со скоростью в 50мб сек?
21 мар 19, 11:39    [21839344]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
Симонов Денис
rdb_dev,

бяда... тебе Эмбаркадеро приплачивает за защиту?
Я никого не защищаю, а стараюсь быть более-менее объективным. Ты же согласен с тем, что все сравнительные тесты необходимо проводить с одинаковыми условиями? Согласен с тем, что non-uniform memory access на многопроцессорных системах и при определённых условиях способен дать существенный прирост при параллельной обработке больших массивов данных? Так о чём мы тут спорим?
21 мар 19, 11:44    [21839353]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
kdv
Симонов Денис
я Interbase не покупал, проверять не на чем
developer edition бесплатен, там ограничение на непрерывную работу службы 48 часов, потом надо рестартовать службу.
У developer edition только это ограниение или же у него ещё есть ограничения на количество процессоров и/или количество ядер?
21 мар 19, 11:45    [21839356]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
kdv
rdb_dev,

да ладно, контроллеры-шмонтроллеры. Что это за тест вообще такой на базе в 1.4 гиг. Это детский сад.
Я повторяю - у меня обычный raid1 (биос матплаты) на двух дисках seagate 2tb sata 3. Там линейная скорость чтения не выше 200мб сек. Поди найди что-то ПОМЕДЛЕННЕЕ.
Легко!
У меня дома SATA raid5 из 4-х 2Гб дисков Seagate на контроллере 3Ware 9500S PCI-X воткнут в обычный PCI дохленькой microATX платы, из-за чего скорость ограничена скоростью PCI шины - 100Мб/с.
21 мар 19, 11:50    [21839369]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
kdv, случайно не помнишь, какие в тесте Embarcadero входные условия тестов - детали платформы тестирования?
21 мар 19, 11:55    [21839382]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
rdb_dev,

вот же топик
https://www.sql.ru/forum/1308134/ya-ponimau-chto-marketing-no-raznica-mezhdu-interbase-i-firebird

ничего в сравнении нет про "входные условия теста" или деталей платформы тестирования, кроме того что это TPC-C, и база 16wh, 1.4 гиг, именно такие значения количества записей в соответствующих таблицах.

предлагаю переместиться в тот топик, ибо тут эта тема как-то не в кассу.
21 мар 19, 12:14    [21839412]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9393
kdv,

+100500

Модераторы, а можно все сообщения касающиеся темы теста перетащить?
21 мар 19, 12:18    [21839417]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
rdb_dev
У меня дома SATA raid5 из 4-х 2Гб дисков Seagate на контроллере

извини, но raid 5 на 4х дисках это бессмыслица. Особенно по 2тб - у тебя время ребилда будет несколько суток.
В моем случае, если бы это был raid 10 а не raid 1, время ребилда где-то часов 5.

p.s. был я недавно в одной европейской конторе - у них там уже все рабочие ноутбуки на ssd. Ты полагаешь, что Эмбаркадеро тестили ИБ на компе как у тебя?
21 мар 19, 12:18    [21839419]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
kdv
rdb_dev
У меня дома SATA raid5 из 4-х 2Гб дисков Seagate на контроллере
извини, но raid 5 на 4х дисках это бессмыслица. Особенно по 2тб - у тебя время ребилда будет несколько суток.
В моем случае, если бы это был raid 10 а не raid 1, время ребилда где-то часов 5.
Время полного ребилда у меня около 12 часов, так как этим занимается контроллер и шина PCI, при этом, не задействована. Ко всему прочему, драйвер позволяет задавать настройку контроллера - более быстрый ребилд с меньшей производительностью обычных операций ввода/вывода, либо наоборот - медленный ребилд с большей производительностью обычных операций ввода/вывода (то есть функционирование RAID массива при ребилде не прекращается, а лишь снижается быстродействие).

kdv
p.s. был я недавно в одной европейской конторе - у них там уже все рабочие ноутбуки на ssd. Ты полагаешь, что Эмбаркадеро тестили ИБ на компе как у тебя?
В Embarcadero вообще могли проводить эти тесты на платформе с несколькими Xeon'ами и узлами NUMA под пересобранным ядром Linux с no-op queue и подключением томов SAN по Fibre channel. Кабы знать...
21 мар 19, 13:16    [21839500]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
rdb_dev
могли проводить эти тесты на платформе с несколькими Xeon'ами и узлами NUMA под пересобранным ядром Linux

то есть, навороченное оборудование в 2 раза тормознее моего десктопа?
21 мар 19, 13:31    [21839528]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
Дегтярев Евгений
Member

Откуда: Барнаул
Сообщений: 1531
kdv
p.s. был я недавно в одной европейской конторе - у них там уже все рабочие ноутбуки на ssd.

не европа конечно, так деревня под новосибом, но 3-4 года как весь офис на ссд
21 мар 19, 13:33    [21839530]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2628
kdv
rdb_dev
могли проводить эти тесты на платформе с несколькими Xeon'ами и узлами NUMA под пересобранным ядром Linux

то есть, навороченное оборудование в 2 раза тормознее моего десктопа?
Мы об этом ничего не знаем. Знаем лишь то, что оба теста проводились на одной и той же платформе.

Дим, пойми меня правильно - я никого не защищаю, никого ни в чем не обвиняю и лишь пытаюсь осмыслить обнародованные в результатах тестов данные, а в сторону СУБД Interbase, как платформы для используемых БД, вообще не смотрю, так как на данный момент для меня в этом нет смысла. Понятно, что перед тестированием в Interbase подкрутили настройки, а FirebirdSQL использовали в дефолтной конфигурации, чтобы результаты тестов для целей маркетологов Embarcadero выглядели гораздо более превлекательными, но объяснить некоторые различия в результатах тестов исключительно разницей в параметрах настроек СУБД, как-то, не получается. Я также полагаю, что в Embarcadero программисты тоже не на халяву свой хлеб жуют, а стараются оптимизировать алгоритмы там, где это возможно с не очень большими трудозатратами.
21 мар 19, 13:46    [21839548]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47284

rdb_dev
лишь пытаюсь осмыслить обнародованные в результатах тестов данные

Забей. На осмысливание у тебя не хватает практических знаний, а теоретические тут тольо
вредят.

Posted via ActualForum NNTP Server 1.5

21 мар 19, 13:55    [21839563]     Ответить | Цитировать Сообщить модератору
 Re: Конкурс идей про Firebird  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 27915
rdb_dev
и лишь пытаюсь осмыслить обнародованные в результатах тестов данные

ну вот я попытался осмыслить, и у меня результаты оказались не те, и вообще непонятные.
rdb_dev
программисты тоже не на халяву свой хлеб жуют, а стараются оптимизировать алгоритмы там, где это возможно с не очень большими трудозатратами.

якобы там только один программист (на ИБ), и с тестированием ИБ у них всё достаточно плохо. Осюда, видимо, и странные результаты теста с ФБ, как их, так и мои.
21 мар 19, 14:26    [21839605]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 .. 26 27 28 29 30 31 32 33 [34] 35   вперед  Ctrl
Все форумы / Firebird, InterBase Ответить