Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
Коваленко Дмитрий,

спасибо, это было интересно.

БД на RAM диске, конечно, не может не отличаться от БД на HDD.

PS С 2.5 сравнить не хочешь в тех же условиях ? :)
17 мар 17, 17:12    [20306917]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 10378
Мимопроходящий,

как какой, он же из Red Soft
17 мар 17, 17:25    [20306970]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 31035

Hello, Симонов Денис!
You wrote on 17 марта 2017 г. 17:30:05:

Симонов Денис
он же из Red Soft
на нём не написано

Posted via ActualForum NNTP Server 1.5

17 мар 17, 17:30    [20306999]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Коваленко Дмитрий> У меня c FB3 SS получилась немного другая картина.

Спасибо, очень интересно. А можешь сравнить SS c CS (ну и SC до кучи) ?

hvlad> PS С 2.5 сравнить не хочешь в тех же условиях ? :)

Присоединяюсь.

Posted via ActualForum NNTP Server 1.5

17 мар 17, 18:09    [20307165]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Коваленко Дмитрий,

imho фигня полная. я даже не знаю, что комментировать.
17 мар 17, 19:20    [20307405]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Коваленко Дмитрий,

все-таки комментарий появился. а с какого боку тут мульти-тредовое приложение? Тест про вставку из параллельных коннектов.
Кроме того, один коннект в ФБ что 2.5 что 3.0 не распараллеливается. А я у тебя что-то там вставки в N коннектах совсем не вижу. Может я код C# не понимаю, но тем не менее.
Отсюда вывод, что результаты тем более ахинейные, и ты просто меряешь распараллеливаемость своего OLE DB провайдера.
17 мар 17, 19:40    [20307452]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Romanzek
Member

Откуда: Red Soft
Сообщений: 85
kdv,

на каждый воркер отдельное подключение. Вроде все корректно.
17 мар 17, 19:46    [20307472]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Romanzek,

ткните меня носом в код. В любом случае, я уже такое количество тестов проводил, что нутром чую, что тест должен быть максимально чистым. В нашем случае мы стартовали isql с входным скриптом insert. Что может быть чище? Никакого оверхеда на компоненты, worker threads, и так далее.

Кроме того, результаты. в 20 потоках 1млн записей вставляется в 4 раза быстрее, чем в 1. Это при том, что все эти потоки лупят в одну таблицу. Где тут распараллеливаемость может "вдруг случиться", скажите мне?
Каким образом 32 isql втыкают записи на супере, на 12-ядерном проце так же, как в 1 коннекте, и каким образом 20 тредов из одного приложения втыкают этот же миллион записей в 4 раза быстрее чем 1 коннект? Откуда может быть такая разница?
Ну давайте, объясните мне.
17 мар 17, 19:54    [20307496]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Коваленко Дмитрий
Member

Откуда: Липецк
Сообщений: 559
hvlad
Коваленко Дмитрий,

спасибо, это было интересно.

БД на RAM диске, конечно, не может не отличаться от БД на HDD.

Да, я тоже эту фишку просёк :)

hvlad
PS С 2.5 сравнить не хочешь в тех же условиях ? :)

Да можно. Суперклассик? Я на ночь оставлю.

Гаджимурадов Рустам
А можешь сравнить SS c CS (ну и SC до кучи) ?

Рустам, по секрету - сиди на суперсервере тройки :)

---
Пока я глазел на студенток шатался, тут посчитались цифры для 40млн записей.

1 4981
2 2744
4 1807
8 1458
10 1413
20 1316

База с 18MB (пустая) опухла до 2.4GB - то есть она еще даже за пределы страничного кэша не вылезла (3.1гига).
17 мар 17, 21:00    [20307666]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 8493
kdv
Ну давайте, объясните мне.
Дисковая малёху пошустрей?

тест с isql готов прогнать на своем десктопе, если что.
конфиг i3 проц, ссд на 240 гиг, 16 гиг ОЗУ, Suse42.2 FB 3.0.2
17 мар 17, 21:01    [20307670]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
Коваленко Дмитрий
hvlad
PS С 2.5 сравнить не хочешь в тех же условиях ? :)

Да можно. Суперклассик? Я на ночь оставлю.
SS тоже интересно.
17 мар 17, 21:06    [20307689]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
kdv
В нашем случае мы стартовали isql с входным скриптом insert. Что может быть чище? Никакого оверхеда на компоненты, worker threads, и так далее.
А у Коваленко препарированные инсерты. Ы ? :)
Или ты set bulk_insert умеешь готовить ? :)
17 мар 17, 21:15    [20307724]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
hvlad
Member

Откуда:
Сообщений: 10765
А ещё у него таблица всего с одним полем (индекс есть) и с неизвестным триггером (вдруг он ускоряет инсерты ? ).
17 мар 17, 21:19    [20307742]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
hvlad
А у Коваленко препарированные инсерты. Ы ? :)
Или ты set bulk_insert умеешь готовить ? :)

ну и нахрена это надо? я не очень понимаю смысл такого теста. Ну фиг с ним, пусть препарированные. Но пусть запускает N процессов тогда. Не надо вот этой псевдо-многопоточности в C#.

hvlad
А ещё у него таблица всего с одним полем (индекс есть)

у нас в тесте было
create table fix (
    id bigint not null
    ,rate_time timestamp not null
    ,dbwrite_time timestamp not null
    ,quote_ref int not null
    ,rate_bid double precision not null
    ,rate_ask double precision not null
    ,src_bid_ref int not null
    ,src_ask_ref int not null
    ,sl_session_uid bigint
    ,constraint pk_fix primary key (id) using index pk_fix
);


Что с одним, что с двумя столбцами - это напороться на артефакт с 50% заполнением страниц. Я про это уже несколько раз писал. Правда, на ФБ 3 не проверял.
17 мар 17, 21:47    [20307811]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
господа. Для повтора теста требуется некий консенсус по поводу условий этого теста.
Если я еще понимаю
1. проверку вставки без индексов совсем
хотя это нереальный случай, то
2. проверка вставки с несколькими индексами
относится несколько к другому тесту - а именно - замедлению вставки при увеличении количества индексов.
Понятно, что к тесту как таковой параллельной вставки это имеет мало отношения. У нас уже были семинары (за рубежом и в Москве) где Алексей Ковязин показывал разницу между вставкой с индексом bigint и индексом varchar(36).
То есть, понятно, что вставка с увеличением количества индексов замедлится, и ее можно было бы проверить в монопольном режиме, достаточно быстро, а дальше уже экстраполировать на результаты "минимальной" вставки в отношении "многопользовательского режима".

Но - вы чего хотите-то? Например, у нас в кулуарах зашел вопрос об использовании gen_id. Например, если его вообще исключить, то получится сугубо синтетический тест. С другой стороны, вызов gen_id на каждый insert "монополизирует" вставку. Но в реальной системе-то идентификаторы как-то генерятся! gen_id напрямую, или триггерами, или еще бог знает как.
Проводить тест "налысо", т.е. без минимальной привязки к практическому программированию, я не вижу смысла.

Соответственно, возникает вопрос. Либо повторить тест в том виде, в каком он был сделан, именно на 3.0.2, либо повторить тест с множеством отклонений. Понятно, что меня тоже интересует разница "вообще, при разных условиях". Но поскольку сам по себе тест займет не меньше недели (к слову, я [url=]тестил рестор 3гб базы[/url] в течение 3х суток, это чтобы было понятно, сколько времени занимают подобные тесты), то надо все же определиться, что тестировать, а что - нет. Иначе мы рискуем потратить пару недель на фиг знает что.
Итак, вопрос - что вы хотите протестировать на самом деле?
17 мар 17, 23:53    [20308104]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
kdv,

экая хня. урл на ютуб в теге http движок развернул в embedded видео. тут я не виноват.
17 мар 17, 23:55    [20308105]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Ты хочешь набор мнений услышать или чего?
Для этого надо четкую цель теста озвучить.

Лично я за тест на одной плоской таблице,
с 5-7 полями (2 строковых, остальные int),
в разрезе 1-8 коннектов по всем архитектурам,
а) без индексов совсем б) с PK+ 1-2 индекса.

10-40 лямов записей не нужно - достаточно,
чтобы минимальная длительность превышала
30 секунд и была стабильна. Ну и 2.5 vs 3.0.

kdv> gen_id. Например, если его вообще исключить,
kdv> то получится сугубо синтетический тест
kdv> Проводить тест "налысо", т.е. без минимальной привязки
kdv> к практическому программированию, я не вижу смысла.

Так он и сейчас синтетический. Теоретически, его
можно и позже "присвоить" update where pk is null.
А насчет реальной системы - в реально системе это
всё вряд ли будет монопольно, не говоря уже о том,
что у таблицы есть зависимости.

Неделей раньше или позже - значения не имеет.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 00:17    [20308136]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Гаджимурадов Рустам
10-40 лямов записей не нужно - достаточно,
чтобы минимальная длительность превышала
30 секунд и была стабильна. Ну и 2.5 vs 3.0

как видим, тут и 1 млн записей достаточно.
Гаджимурадов Рустам
Так он и сейчас синтетический.

тут ты совсем неправ. Исходный тест был разработан по мотивам (и со структурой таблицы) конкретной компании. Для проверки, что там у них "распараллеливается". Выяснилось, что все это фикция.
Гаджимурадов Рустам
А насчет реальной системы - в реально системе это всё вряд ли будет монопольно, не говоря уже о том, что у таблицы есть зависимости.

гм, что??? в куче систем есть задача по массовой заливке данных. Понятно что в 90% этих систем может быть задача по массовому обновлению данных, но это уже несколько другая тема :-)

в частности, мы периодически выкладывали логи нашего теста oltp-emul
https://ib-aid.com/en/logs-3-0/
Это куда более "синтетично" чем просто вставка или update. Это эмуляция вполне реальной системы.
18 мар 17, 00:26    [20308147]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
kdv> Исходный тест был разработан по мотивам
kdv> (и со структурой таблицы) конкретной компании

Она у них без зависимостей что ли?!

> гм, что??? в куче систем есть задача по массовой заливке данных.

И? Они заливку ночером на одной таблице запускают?
Это разве что с репликацией какой-то сравнить, да и-то
сильно вырожденный случай.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 00:35    [20308152]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
Кстати, да.
Интересно бы знать цель теста. И этого и нового.

Вот, например, вчера по рассылке ссылка на видео пришла.
+ Видео


И так совершенно понятно, что чем больше размер страницы - тем в целом быстрее, и что протокол tcp медленнее локального и тем более - чем se, и т.д. и т.п.

Да, любопытно было узнать, что FB 2.1 в некоторых случаях ресторится быстрее, чем прочие.
Но какая польза разработчику от этой информации? Неужели скорость рестора (даже не на "серверной" машине) будет определяющей при выборе версии сервера для очередного проекта?

Наверняка, цель какая-то была. Но вот какая - непонятно.
18 мар 17, 00:52    [20308166]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 60869
Цель всех тестов - сравнить. Вопросы звучат
как "что сравнивать?" и "чтобы что узнать?".

Posted via ActualForum NNTP Server 1.5

18 мар 17, 00:58    [20308171]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 49375

kdv
2. проверка вставки с несколькими индексами
относится несколько к другому тесту - а именно - замедлению вставки при увеличении
количества индексов.

Лично у меня есть подозрение, что это замедление вставки - тоже миф и большее количество
индексов увеличит распараллеливание.

Posted via ActualForum NNTP Server 1.5

18 мар 17, 01:07    [20308176]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
Гаджимурадов Рустам,

в том и вопрос: "чтобы что узнать".

Вот (например), лично для тебя, как для разработчика - какая польза от информации, что на десктопном компе с 4Гб ОЗУ фаерберд 2.1 ресторит базу быстрее, чем FB 2.5?
+
Это чем-то напоминает сие сообщение "британских ученых".

Общий вес жертв пауков составляет 400-800 миллионов тонн в год.
18 мар 17, 01:07    [20308177]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28568
Гаджимурадов Рустам
Она у них без зависимостей что ли?!

каких зависимостей?
что значат "зависимости" в твоем понимании? FK? Триггеры?
Гаджимурадов Рустам
И? Они заливку ночером на одной таблице запускают?

нет, постоянно заливка работает. биржевые котировки, микротранзакции.
Гаджимурадов Рустам
Это разве что с репликацией какой-то сравнить, да и-то сильно вырожденный случай.

да х. с ним. Есть же у людей задачи вставки нового товара, обновления прайсов, и прочего.
чччД
Интересно бы знать цель теста. И этого и нового.

есть такая мулька - "параллельно вставлять". Этот тест показал, что эта "мулька" бессмыслена.
чччД
Но какая польза разработчику от этой информации?

разработчику пользы нет, а администратору - есть. По крайней мере он может
- оценить 2.0 vs 2.1 2.5 если сидит на 2.0
- оценить restore с теми или иными опциями (-se или прочее)
чччД
Наверняка, цель какая-то была. Но вот какая - непонятно.

лично у меня была цель сравнить IB и FB. Ну и остальное.
Dimitry Sibiryakov
что это замедление вставки - тоже миф и большее количество индексов увеличит распараллеливание.

ну пендец...
18 мар 17, 01:20    [20308185]     Ответить | Цитировать Сообщить модератору
 Re: ANN: видео о мифе эффективности параллельной вставки  [new]
чччД
Guest
kdv
...
чччД
Но какая польза разработчику от этой информации?

разработчику пользы нет, а администратору - есть. По крайней мере он может
- оценить 2.0 vs 2.1 2.5 если сидит на 2.0
...


И?
Администратор, посмотрев твои видео, потребует от разработчика мигрировать программный комплекс на новую версию???

С каких пор администратор принимает решение о выборе СУБД?
18 мар 17, 01:25    [20308187]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
Все форумы / Firebird, InterBase Ответить