Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
чччД
Администратор, посмотрев твои видео, потребует от разработчика мигрировать программный комплекс на новую версию???

госпидя. как будто видео (или статья) прямо толкает админа на какие-то действия. Все эти тесты расчитаны на тех, кто знает, что существуют разные версии ФБ, ИБ, и так далее. И на тех, кто может делать выбор. На КОНЕЧНЫХ ПОЛЬЗОВАТЕЛЕЙ ВСЯ ЭТА ХЕРНЯ НЕ РАСЧИТАНА!
18 мар 17, 01:49    [20308196]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
ёп, я просто поражаюсь. конечные пользователи читают тесты о сравнении версий ИБ и ФБ? Они смотрят видео про сравнение параллельной вставки на разных архитектурах?
Ядрена мать, я был такого низкого мнения о конечных пользователях софта на ФБ! Они, оказывается, вовсю меняют конфиг ФБ, железо, и даже код их приложений (про управление транзакциями и оптимальный SQL)! ОНИ ЧИТАЮТ IBASE.RU!
18 мар 17, 01:53    [20308197]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
kdv
чччД
Администратор, посмотрев твои видео, потребует от разработчика мигрировать программный комплекс на новую версию???

госпидя. как будто видео (или статья) прямо толкает админа на какие-то действия. Все эти тесты расчитаны на тех, кто знает, что существуют разные версии ФБ, ИБ, и так далее. И на тех, кто может делать выбор. На КОНЕЧНЫХ ПОЛЬЗОВАТЕЛЕЙ ВСЯ ЭТА ХЕРНЯ НЕ РАСЧИТАНА!


И так, ни "конечным пользователям", ни разработчикам этот тест не нужен. Нужен админам:
kdv
По крайней мере он может
- оценить 2.0 vs 2.1 2.5 если сидит на 2.0

Но на мнение админов разработчикам обычно перепендикулярно.


С другой стороны - ну не зря же ты эти тесты делал. Десятки часов. Наверное, кому-то нужно. Кому?

PS: извините, если что.
18 мар 17, 01:58    [20308199]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
kdv,

сайт ibase.ru наполнен полезнейшей информацией. Я всех туда отправляю и сам периодически читаю-перечитываю.

Вопрос - о конкретном тесте. Ну, оценили время рестора.
И что? Кто конкретно должен учесть результаты тестирования в своей работе?
18 мар 17, 02:04    [20308203]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
чччД
Наверное, кому-то нужно. Кому?

ну, немцы любят такие штуки - всякие сравнения и т.п.
разработчикам тоже надо понять, что быстрее и как.

и, если бы вот это мое видео было неинтересно, не было бы топика на три страницы. Люди хотят понять, имеет смысл параллельная вставка или нет, и в каких случаях.
18 мар 17, 02:05    [20308205]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
kdv
разработчикам

я имею в виду в первую очередь разработчиков систем на ФБ. Впрочем, разработчикам Firebird такие тесты тоже полезны. Обычно, если есть непонятные результаты тестов, мы их не публикуем, а спрашиваем разработчиков ФБ, "почему так".
18 мар 17, 02:08    [20308208]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
kdv,

твое видео интересно безотносительно цели тестирования.

Но ведь нельзя все время выезжать на талантливой игре актеров, нужно какой-то сюжет в сценарий включить, чтобы интрига была. :)
Вон, например, как когда ты терабайтную базу гонял.
18 мар 17, 02:12    [20308209]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
kdv
...разработчикам Firebird такие тесты тоже полезны. Обычно, если есть непонятные результаты тестов, мы их не публикуем, а спрашиваем разработчиков ФБ, "почему так".


ОК, этот ответ полностью удовлетворил.
Спасибо, и еще раз извиняюсь за нудёж.
18 мар 17, 02:14    [20308210]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Коваленко Дмитрий
Member

Откуда: Липецк
Сообщений: 559
hvlad
SS тоже интересно.

Чтобы два раза не вставать, протестировал все.

Картинка с другого сайта.

Логи, базы, XLSX, исходный код теста
18 мар 17, 12:32    [20308566]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Коваленко Дмитрий> Чтобы два раза не вставать, протестировал все.

О, большое спасибо. Хай живе 2.5 CS!

Posted via ActualForum NNTP Server 1.5

18 мар 17, 14:18    [20308742]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
kdv> каких зависимостей?
> что значат "зависимости" в твоем понимании? FK? Триггеры?

Да, другие таблицы с FK, триггеры с чеками и ХПами.

> нет, постоянно заливка работает

Она монопольно работает что ли?

> лично у меня была цель сравнить IB и FB. Ну и остальное.

ИМХО, на IB всем начхать. Ну может кроме ДЕ и Ко
ради потешить самолюбие, и-то сильно сомневаюсь.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 14:20    [20308746]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 10378
Гаджимурадов Рустам
ИМХО, на IB всем начхать.


ну почему же, интересно знать как там конкуренты ФБ поживают.

Коваленко Дмитрий,

результаты Firebird 3 могли бы быть чуть лучше (где-то 1-3%), если бы было выключено шифрование подключения.
18 мар 17, 14:38    [20308795]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
Симонов Денис
результаты Firebird 3 могли бы быть чуть лучше (где-то 1-3%), если бы было выключено шифрование подключения.
Ну вот что ты сравнивашь ?
1-20 шт. затрат на коннект с шифрованием - и вставка 1-10 млн записей с клиента (т.е. соотв. кол-во вызовов АПИ).
Ещё раз подумай...
18 мар 17, 14:44    [20308811]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Симонов Денис> результаты Firebird 3 могли бы быть чуть лучше (где-то 1-3%)

Я не знаю, насколько справедливо твоё замечание,
особенно с учетом слов Влада, но даже если так, то
1-3% - это в любом случае в пределах погрешности,
мало заслуживающей внимания.

Скорее уж тут надо сравнивать на более широких
таблицах + (без индексов | c 2-3 индексами).

Posted via ActualForum NNTP Server 1.5

18 мар 17, 15:26    [20308904]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Коваленко Дмитрий,

я уже говорил, что результаты твоего теста - фигня какая-то. Проверил 1млн вставку СКРИПТОМ, в isql, Firebird 3.0 SS, 1 столбец bigint+пк, 16к страница.
Диск sata.
FW=ON - 70 секунд, FW=OFF - 65 секунд.
А у тебя на RAM-диске - 128 секунд.
Ну да, триггера before insert у меня нет. Тем не менее.
18 мар 17, 16:51    [20309023]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Почему фигня-то? Просто тест снижает влияние IO из-за HDD vs RAM.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 17:11    [20309062]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 49375

kdv
Проверил 1млн вставку СКРИПТОМ, в isql

То есть к собственно вставке ты примешал ещё борьбу за кэш метаданных, ACL и парсер.
Теперь осталось угадать какая из этих частей плохо распараллеливается.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 18:06    [20309204]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
dimitr
Member

Откуда: PNZ
Сообщений: 6891
kdv
вставку СКРИПТОМ

вот это вообще не вижу смысла бенчмаркать, кого волнует производительность вставки так делать никогда не будут
18 мар 17, 20:10    [20309489]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Не будут - не так важно. Куда важнее сравнить
isql-скрипт c обычным вариантом через preapre.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 22:01    [20309732]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Dimitry Sibiryakov
То есть к собственно вставке ты примешал ещё борьбу за кэш метаданных, ACL и парсер.

ну что за....

я просто сделал скрипт с 1млн инсертов, и запустил его в isql. ОДИН раз, один isql, просто для сравнения с результатами Коваленко.
И сравнил полученные 65 секунд с его 128 секунд на RAM диске.
Какая еще борьба за кэш, и прочее?
dimitr
вот это вообще не вижу смысла бенчмаркать, кого волнует производительность вставки так делать никогда не будут

да ё-мое. У Коваленко в одном коннекте 128 секунд, препарированные вставки, на РАМ диске. У меня - 65 секунд на одном коннекте, текстовые инсерты, на SATA.
Гаджимурадов Рустам
isql-скрипт c обычным вариантом через preapre.

именно! Почему у меня скриптом в 2 раза быстрее чем prepare?

p.s. до кучи - размер кэша ФБ на рестор не влияет, соответственно на тест инсертов он тоже влиять не будет. Поэтому никакого смысла задирать кэш суперсерверу в этом тесте не было.
18 мар 17, 23:24    [20309847]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
kdv> я просто сделал скрипт с 1млн инсертов

Даже EB/SP было бы лучше, наверное.

> Почему у меня скриптом в 2 раза быстрее чем prepare?

Ежа с ужом. У вас компы разные, всё разное.
Размер кеша на простые инсерты и не должен
влиять, за какими-то необычными случаями.

Posted via ActualForum NNTP Server 1.5

19 мар 17, 00:58    [20309946]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Гаджимурадов Рустам
Ежа с ужом. У вас компы разные, всё разное.


то есть, Intel I7-6950X хуже AMD FX8350 ?
http://cpuboss.com/cpus/Intel-6950X-vs-AMD-FX-8350

база в RAM хуже SATA? Когда разница в 2 раза ! в голове должно возникнуть подозрение, что "что-то тут не так". Я считаю, что если C# в 2 раза медленнее скрипта, значит проблема в C#.
Придется написать тест с prepare, с gen_id в скрипте, и gen_id в триггере. И сравнить между собой уже эти вещи, как минимум однопоточно.

p.s. битва! :-)
19 мар 17, 03:12    [20310065]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
kdv,

для начала добавь триггер :)
19 мар 17, 03:20    [20310075]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
kdv
то есть, Intel I7-6950X хуже AMD FX8350 ?
http://cpuboss.com/cpus/Intel-6950X-vs-AMD-FX-8350

cpuboss
Reasons to consider the
AMD FX 8350
Significantly higher clock speed 4 GHz vs 3 GHz Around 35% higher clock speed
Higher turbo clock speed 4.2 GHz vs 3.5 GHz More than 20% higher turbo clock speed
19 мар 17, 03:23    [20310078]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
hvlad
для начала добавь триггер :)

я бы добавил, но ты меня этим советом ввел в ступор. В таблице Коваленко ведь 1 столбец. А что тогда в insert писать, если есть триггер?
insert into test values (ШТО?!?!)
:-)
hvlad
Reasons to consider the

там же написано, что в одноядерном режиме они почти эквивалентны. А вот 128 секунд и 65 секунд - не эквивалентны.
19 мар 17, 06:05    [20310104]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
Все форумы / Firebird, InterBase Ответить