Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
Давно тут не было сравнений с цифрами. Вот ссылочка, позаимствованная из форума Sybase ASA, ASE, IQ:
http://www.sybase.com/content/1045499/Sybase_ASE_MySQL-102406-wp.pdf
Это результаты сравнения ASE 15 и MySQL 5 с использованием TPC-H benchmarking kit.
Даже на таких примитивных запросах MySQL в целом слил достаточно заметно, так что миф о его крутом быстродействии мягко говоря не совсем соответствует действительности. Разумеется, минус данного отчета в том, что его делали в Sybase, а не независимые эксперты, но тем не менее...
26 окт 06, 00:10    [3311614]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
Процитирую оттуда итоги для тех, кому лениво скачивать:

6.0 RESULTS
All the queries are executed 100 times, and the total time is reported. Response time is measured in seconds.
MySQL 5.0 has a query cache feature that stores the text of SELECT statements together with corresponding results.
This feature is not used in the benchmark.
As shown in the results table, ASE 15.0 outperforms MySQL 5.0 for most of the benchmark queries due to superior
plan generation by the ASE 15.0 optimizer and the efficiency of new features. All the queries are listed in Appendix B.
Query Name MySQL 5.0 ASE 15.0
Query 1 148 74
Query 2 1 1
Query 3 20 15.8
Query 4 218 5.6
Query 5 212 12
Query 6 54 7
Query 7 15 19
Query 8 6 5.3
Query 9 25 59
Query 10 44 31
Query 11 2 1.9
Query 12 189 20
Query 13 87 76
Query 14 65 7.6
Query 15 191 6.8
Query 16 9 17
Query 17 4 0.6
Query 18 3 80
Query 19 1 2.4
Query 20 323 24


Видно, что по некоторым запросам MySQL все-таки выграл, но в целом картина для него не радужная.
26 окт 06, 13:29    [3314302]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
Странно, что при 12Гб оперативной памяти, под буфера СУБД отвели 512Мб. Без приведённых планов запросов я, конечно, не могу утверждать, что их было недостаточно для MySQL (а для ASE мне и эта информация не поможет, не работал, не могу судить). Никоим образом не утверждаю, что этот выбор является причиной соотношения результатов, но выглядит он очень странно. У вас есть предположения о возможных причинах?
26 окт 06, 13:46    [3314467]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
DocAl
Странно, что при 12Гб оперативной памяти, под буфера СУБД отвели 512Мб.

А зачем больше? Не знаю, какой там объем данных, но по TPC-R при sacale factor =1 объем получался где-то около 1-2гб
DocAl

Никоим образом не утверждаю, что этот выбор является причиной соотношения результатов, но выглядит он очень странно. У вас есть предположения о возможных причинах?

Предполагаю, что делать тесты в расчете на то, что размера кэша хватит на помещение туда туда всей БД несколько раз, было бы весьма странно.
26 окт 06, 14:13    [3314735]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
Ну, т.к. не указан ни размер базы, ни scale factor, по которому можно было бы косвенно оценить его, по поводу достаточности буферов для чего либо мы можем лишь гадать. Как и, при отсутствии приведённых планов запросов, о том, вызван ли разброс во времени исполнения запросов на 1-2 порядка, то в одну, то в другую сторону, продвинутостью оптимизатора или невлезшими в буфера ключами.
26 окт 06, 14:44    [3315012]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
DocAl
Как и, при отсутствии приведённых планов запросов, о том, вызван ли разброс во времени исполнения запросов на 1-2 порядка, то в одну, то в другую сторону, продвинутостью оптимизатора или невлезшими в буфера ключами.

А это принципиально для того, чтобы сделать вывод о сравнении? Влезли или не влезли - это уж проблема разработчиков СУБД. Оба сервера работали с одинаковым размером кэша и на одной и той же системе. Базы данных, очевидно, тоже одинаковые. Суммарный итог: ASE затратил на выполнение всех запросов 466 секунд, MySQL - 1617, т.е. в 3.5 раза больше.
26 окт 06, 18:20    [3316947]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
Принципиально. Потому что неизвестно, какие были бы результаты при 256Мб и 1024Мб. А т.к., как вы сами заметили, тест проводился в Sybase, есть основания предполагать, что размер был выбран оптимальным для требуемых результатов.
А может быть, и не был, но информации, позволяющей об этом судить, мы не имеем.
26 окт 06, 18:48    [3317140]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Yo.!!
Guest
Александр Гoлдун

А это принципиально для того, чтобы сделать вывод о сравнении? Влезли или не влезли - это уж проблема разработчиков СУБД. Оба сервера работали с одинаковым размером кэша и на одной и той же системе. Базы данных, очевидно, тоже одинаковые. Суммарный итог: ASE затратил на выполнение всех запросов 466 секунд, MySQL - 1617, т.е. в 3.5 раза больше.


да, тест - лажа из серии пароходство бросило в окиян пароход и поезд, поезд затонул и счастливое пароходство сделало вывод, что поездами вообще перевозить грузы нельзя.
а вообще грусно, неужто у динозавра ASE все так грустно, что вместо того чтоб честно пройти тест в tpc council он мерятся с MySQL ... все мерятся с большими уже нечем и планирует боротся за нишу тех кто вырос из access ?
26 окт 06, 19:01    [3317214]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
DocAl
Принципиально. Потому что неизвестно, какие были бы результаты при 256Мб и 1024Мб.

Т.е. принипиально, потому что результат не понравился? Пора расстаться с мифами...
DocAl

А т.к., как вы сами заметили, тест проводился в Sybase, есть основания предполагать, что размер был выбран оптимальным для требуемых результатов.
А может быть, и не был, но информации, позволяющей об этом судить, мы не имеем.

Нет таких оснований полагать. Есть только догадки и вероятности. Полную лажу им гнать смысла нет - любой может самостоятельно прогнать тест и опровергнуть. Структуру БД и DBGEN можно свободно взять тут:
http://www.tpc.org/tpch/default.asp
26 окт 06, 19:11    [3317254]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
В списке сравнений на tpc, для теста TPC-H минимальный размер базы 100Гб. Иной информации о возможном объёме данных у меня нету. Для 100Гб крайне неадекватным выглядит выбор 512Мб под ключи при наличии 12гигов оперативной памяти. Т.о. образом, те предположения, которые я могу сделать на основе косвенных данных, говорят о некорректности сравнения. Но т.к. основаны эти предположения на _очень_ косвенных данных, враньём я их не назову, но и не вижу, что в такой ситуации обсуждать.)
26 окт 06, 19:30    [3317314]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
Yo.!!

а вообще грусно, неужто у динозавра ASE все так грустно, что вместо того чтоб честно пройти тест в tpc council он мерятся с MySQL ... все мерятся с большими уже нечем и планирует боротся за нишу тех кто вырос из access ?

tpc council - это совсем другое. А тут скорее всего боятся конкурента, быстро поднимающегося на волне армии переквалифицирующихся веб-мастеров :)
Oracle вот тоже оказался неравнодушным к MySQL, купив у них кажется движок InnoDB.
Ты MySQL на tpc.org видел? Я тоже не видел. За то миф про то, что он очень быстрый, встречал достаточно регулярно.
Может тест и лажа, но других не видел. А делать самому - лениво. Не планирую я с MySQL связываться, кроме как затягивать информацию из БД на сайтах хостеров.
26 окт 06, 19:33    [3317326]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
DocAl
В списке сравнений на tpc, для теста TPC-H минимальный размер базы 100Гб.

А это при чем тут?
DocAl

Иной информации о возможном объёме данных у меня нету. Для 100Гб крайне неадекватным выглядит выбор 512Мб под ключи при наличии 12гигов оперативной памяти. Т.о. образом, те предположения, которые я могу сделать на основе косвенных данных, говорят о некорректности сравнения.

Вот иная информация:

7.0 CONCLUSION
...
Although a small data set is used
for this benchmark, we expect similar performance improvements on larger data sets.

Хоть и косвенная, тем не менее обозвать 100 гигов small data set и выделить под это 512 мег кэша было бы очень странно. Можно подозревать в некоторой предвзятости, но обвинять в такой оголтелой неадекватности - это слишком.
Скорее всего воткнули scale factor=1 и размер БД был в пределах 1-2 гб.

У вас другие тесты с цифрами есть?
26 окт 06, 19:54    [3317378]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
Только старый, где MySQL 4.0.1 имеет производительность на уровне Oracle 9i, а ASE 12.5.0.1 отстаёт процентов на 20, а DB2 7.2 и SQL Server 2000 EE SP2 плетутся где-то в хвосте с третью производительности "лидеров".
Но я ж им тут не размахиваю.
26 окт 06, 20:04    [3317403]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Yo.!!
Guest
Александр Гoлдун

tpc council - это совсем другое.

конечно другое, там смошеничать не дадут :) вообще тут сайбез выглядит по меньшей мере странно, sybase IQ вышла как заточеная на Ad-Hoc видимо чтоб выполнять такие запросы лучше ASE ... но на tpc-h показывает наихудшие результаты, возникает вопрос - а что бы тогда показала ASE ?

Александр Гoлдун

А тут скорее всего боятся конкурента, быстро поднимающегося на волне армии переквалифицирующихся веб-мастеров :)
Oracle вот тоже оказался неравнодушным к MySQL, купив у них кажется движок InnoDB.

да какой конкурент, это ниша в которой оракл сейчас отсутсвует напроч (задачки хостеров и мелкого веба) и где кормится главный враг - MS. помагая mysql оракл просто выдавливает mssql с мелких задач, заодно пиар ...

Александр Гoлдун

За то миф про то, что он очень быстрый, встречал достаточно регулярно.
Может тест и лажа, но других не видел.

поверь мне - запросах в пару джойнов и бд в пару десятков мб mysql3 на isam таблицах заметно быстрее оракла, другое дело чуть сложнее запросы и чуть больше бд ... то начинаются варианты, но помне это нормально - у каждого своя задача.
26 окт 06, 20:12    [3317417]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
В догонку.
DocAl
В списке сравнений на tpc, для теста TPC-H минимальный размер базы 100Гб. Иной информации о возможном объёме данных у меня нету. Для 100Гб крайне неадекватным выглядит выбор 512Мб под ключи при наличии 12гигов оперативной памяти.

Ну не могла там быть 100 гиговая база! 20 запросов из TPC-H выполнились на ASE за 4 секунды. Допустим грубо, что в результате этих 20 запросов прочитано в сумме всего лишь 10% всех данных. 2,5 гигабайта в секунду? Пропускная способность Ultra Wide SCSI, к примеру, всего лишь 40мб/c...

Yo.!!

Александр Гoлдун

За то миф про то, что он очень быстрый, встречал достаточно регулярно.
Может тест и лажа, но других не видел.

поверь мне - запросах в пару джойнов и бд в пару десятков мб mysql3 на isam таблицах заметно быстрее оракла,

Да я и не сомневаюсь в этом. Но напомни мне, что такое MyISAM? Сверхбыстрый, но сверхпримитивный движок без намека на транзакции и т.п.?
Yo.!!

другое дело чуть сложнее запросы и чуть больше бд ... то начинаются варианты, но помне это нормально - у каждого своя задача.

Бесспорно. Но MySQL сейчас пытается себя уже позиционировать как полнофункциональный универсальный сервер. Говорят даже триггерами и хранимыми процедурами обзавелись :) И параллельно этому встречаются утверждения "Наряду с Oracle Database это одна из самых быстрых СУБД на сегодняшний день. " (википедия)
Так все-таки функциональный, надежный и быстрый или же эти эпитеты все по отдельности относятся по сути к разным продуктам?
26 окт 06, 20:33    [3317458]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
Однако, в тех тестах, что я упоминал, использовался вполне транзакционный InnoDB. ,)
26 окт 06, 21:06    [3317518]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290
DocAl
Однако, в тех тестах, что я упоминал, использовался вполне транзакционный InnoDB. ,)

Глянул. Понятно, почему этим тестом не размахивал
Уж если тест от Sybase можно назвать маркетинговой лажей, то этот whitepaper что?
Тест eWeek Database Benchmark. Непонятно что. Сошлюсь на мнение посетителей форума MySQL:
https://www.sql.ru/forum/actualthread.aspx?tid=46385#324019

По SysBench сравнения не увидел, замеряли только MySQL
Что такое SPECjAppServer2002? Как повторить сие чудо?
А про TPC сказано, что MySQL не тестировался этим, ибо результаты зависят от того, насколько крутое железо и диски использовались. Типа TPC не показывает реальной картины и не принимат во внимание общие стоимости системы. Станная отмазка. А я базу для TPC на домашнем компе поднимал. Им что помешало? Запросы слишком сложные?
26 окт 06, 23:56    [3317837]     Ответить | Цитировать Сообщить модератору
 Re: Сравнение производительности ASE 15 и MySQL 5 по TPC-H  [new]
kmike
Member

Откуда:
Сообщений: 286
У Сайбейза ещё где-то чудный документ есть, про тестирование 15шки на итаниуме на тесте, "поразительно похожем на TPC-C".
В духе "мы самые круте, leading performance" и всё такое, но слишком бедные, чтобы аудитить результат по правилам TPC, видимо.
30 окт 06, 05:42    [3327232]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить