Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Тест на скорость СУБД  [new]
Microsoft
Guest
Есть несколько СУБД, я лично определился с выбором. Вопрос стоит какая будет быстрее работать, возможности у них примерно одинаковые, для моей задачи.
Подскажите по какому алгоритму протестировать их, чтобы не быть голословным, а показать цифры.
30 апр 04, 13:12    [659517]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Quark
Member

Откуда: Екат
Сообщений: 1099
У большинства СУБД есть evaluation version/ Закачайте ее себе и протестируйте вашу задачу.
Но ИМХО возможна ошибка.
Для лучшего анализа вам надо взять по паре сертифицированных специалистов с большим опытом по каждому продукту и попросить их реализовать вашу задачу.
Например для MSSQL подойдет MSDBA, для Oracle - Oracle OCP/
Стоить это будет от 400уе за день тестирования/подготовки к тестированию
(В Москве)
30 апр 04, 13:49    [659640]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
Здесь тестируют СУБД: http://www.tpc.org

------------
Best regards, Jimmy
5 май 04, 14:15    [663411]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
>Здесь тестируют СУБД: http://www.tpc.org
Да не СУБД там тестируют, а программно-аппаратные комплексы и решения!!!!
5 май 04, 15:40    [663608]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
2 locky
Да не СУБД там тестируют, а программно-аппаратные комплексы и решения!!!!

О как!
А я то, думал, что:
0. Существует некая методика тестирования скорострельности СУБД, например TPC

1. Тесты основаны на наборе стандартных скриптов, которые:
-- генерят схему БД (одинаковую для всех платформ)
-- генерят данные для данной схемы
-- выполняют пакет эталонных запросов, эмулируя многопользовательский доступ к БД

2. Потом, на основании замеров скорострельности СУБД (да, на определенной аппаратной платформе!) получают некие характеристические величины, которые и являются результатами теста.

3. Эти характеристические величины можно сравнивать

4. Если задан вопрос о скорости СУБД, можно применить эти методики для сравнения работы двух программных платформ на общей аппаратной, или, на худой конец, посмотреть, какова величина, расчитаная для нужной СУБД в сравнении с эталонными величинами, доступными на этом сайте.
Конечно, результаты подобного теста будут весьма условными, но это - хоть что-то.

5. Вот так я рассуждал!!!! (special for locky!!!!)

ЗЫ Да, стесняюсь спросить, а как тестируют решения?
С помощью tpc тестов?


------------
Best regards, Jimmy
5 май 04, 18:33    [664190]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
Там тестируют Железо+СУБД+КЛИЕНТ!
Сама по себе СУБД может быть и быстрой, а вот связочка с клиентом, т.е. сам клиент....
Ну пойдите Вы и почитайте (может быть, я ошибаюсь): время отклика меряется как время от посылки последнего символа на сервер до того момента, как клиент отобразит последний полученный с сервера символ. Поэтому относится к сравнению текстового клиента, написанного на С, и веб-формы, сгенерированной IISом надо на мой взгляд очень осторожно.
Я не видел в TPC ни одной цифры, которая бы меряла время со стороны сервера
(типа
declare @d datetime set @d = GetDate()
exec SomeProc
select datediff(ms,@d,GetDate()) as Duration
).
Все числа - со стороны клиента.
5 май 04, 20:03    [664377]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
Тест TPC-B - меряет количество зафиксированных транзакций в сек.
Никакого клиента, который должен отразить что-то.
Здесь краткое описание: Тесты TPC
------------
Best regards, Jimmy
6 май 04, 09:43    [664793]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
Если я не ошибаюсь, TPC-B вроде как уже отозван, то бишь закрыт?
6 май 04, 12:27    [665275]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
А к вопросу о замере скорости СУБД это имеет отношение?
В данном случае?

------------
Best regards, Jimmy
6 май 04, 14:02    [665621]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
2Jimmy
В данном случае пожалуй, можно и согласится.
Хотя, наверное, надо послушать Кварка, но, может быть, не в такой экстремальной форме. Сделать прототип и там и там, поставить, замерить... Хотя, я, к примеру, вряд-ли реализую что-нить удобоваримое на Оракле - я его просто не знаю настолько хорошо. И буду иметь полное право орать, что Орацл - суксь :-)
6 май 04, 16:20    [666075]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32167
2ocky
А по-моему, TCP-тесты очень даже объективны.

Клиенты и сетевая инфраструктура выбирается так, что-бы не быть тормозом в тесте.

Насчёт разных платформ - можно найти тесты разных СУБД и на одной платформе.

А самое, на мой взгляд, объективное - сравнивать по стоимиости.
Скажем, у меня OLTP-система, и мне нужна производительность 60000 tpmC. Смотрю, какая платформа/СУБД мне подходит, составляю список:

tpmC		Price/tpmC	System
60,364 	3.51 US $	HP ProLiant ML370-G3-2M/3.20GHz-2P, Microsoft SQL Server, Microsoft Windows
60,366 	17.64 US $	hp server rp 7400, Sybase Adaptive Server Enterprise, HP-UX
61,564 	6.13 US $	HP Proliant DL580-G2-32GB, Microsoft SQL Server, Microsoft Windows
66,750 	37.57 US $	Bull Escala Epc 810 c/s, Oracle 8i, IBM AIX 4.3.3
66,750 	37.80 US $	IBM RS/6000 Enterprise Server M80 c/s, Oracle8, IBM AIX 4.3.3
67,102 	25.85 US $	Sun Enterprise 4500, SymfoWARE Server, Sun Solaris 8

и сразу всё ясно...
6 май 04, 16:52    [666212]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
2Alexeyvg
По моему, всё-ж таки надо выбирать СУБД основываясь не на TPC (хотя туда стоит посмотреть), а на особенностях конкретной задачи и собственных знаниях.
прежде всего стоит выбрать то, что знаешь :-)
Затем поглядеть на задачу...
К примеру у меня OLTP система, относительно ненагруженная.
Но кругом - масса запросов с объединением 20+ табличек. В TPC-C больше 2-х табличек в запросе вроде бы и нет.
Расчетов там тоже вроде бы нет особых. А у меня - есть, и достаточно много.
Так что лидер TPC-C вполне может мне не подходить.
Он может недостаточно хорошо оптимизировать связки, недостаточно быстро считать, недостаточно быстро парсить запросы, в конце-концов :-)
Всё от задачи зависит... Хотя, наверное, в первую очередь - от прямых рук разработчика.
P.S. Кстати, в TPC появилась китайская платформа - Langchao. Признаться, это было для меня откровением... Вот откуда угроза идёт :-)
6 май 04, 17:14    [666283]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
2 locky
Хотя, я, к примеру, вряд-ли реализую что-нить удобоваримое на Оракле - я его просто не знаю настолько хорошо.

В TPC скрипты одинаковые (насколько это возможно) для всех платформ.
А вообще - правильное замечание. Трудно судить о потенциале СУБД, если не знаешь тонкостей (я тоже Oracle не юзал никогда, так что здесь сыграют роль мои личные предпочтения, а не возможности платформы).

2 alexevg
А самое, на мой взгляд, объективное - сравнивать по стоимиости.
Скажем, у меня OLTP-система, и мне нужна производительность 60000 tpmC


К сожалению, так просто все не бывает. Как правильно заметил locky, есть и другие факторы.
Мы, в нашем текущем проекте наступили на грабли - Sybase ASE 12.5, железо нормальное, производительность приемлемая, только - опа! - ограничение max 50 join в запросе!


------------
Best regards, Jimmy
6 май 04, 17:40    [666362]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
2Jimmy
Странное како-ето число - 50, я когда читал доку на Sybase тоже обратил внимание. У MS хоть круглые числа были - 16, 256.. А тут - 50 :-(

Кстати, никто не знает соответсвующее ограничение у Оракла? я не нашел, а очень интересно. Аналогично для UDB/DB2, Informix e.t.c.
6 май 04, 18:53    [666515]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32167
2locky, Jimmy

Да понятно, что тест не может быть адекватен будущей задаче - на то он и универсальный.

Но какие-то представления он о производительности даёт; к тому-же есть кроме TCP-C и другие - TCP-H и т.д. По комбинации результатов и представляя содержимое тестов и свою задачу можно сделать выводы. Пусть они будут иметь большУю погрешность, но как можно сравнить лучьше - реализовать задачу на каждой платформе? :-)

Ну и естественно, что эти выводы касаются только производительности, а есть ещё много других факторов, не менее, а часто и более важных.

А мой предыдущий пост относился в первую очередь к тезису о невозможности сравнения производительности, потому-как железо совершенно разное. А я говорю - есть универсальное мерило - соотношение производительность/цена.

Насчёт всяких наступаний на грабли - вообще-то команда разработчиков должна набиратся после выбора платформы, а не до, и эти люди должны к моменту начала иметь несколько завершённых и успешно эксплуатируемых проектов такого-же размера.
Хоть речь и идёт во всех случаях о SQL-БД, в зависимости от платформы нужно по-разному проектировать и модель данных, взаимодействие клиента с серверов, и общую архитектуру, и т.п. - для сибэйса, оракла и мсскуэль всё это будет сильно отличаться.
7 май 04, 11:42    [667417]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
Насчёт всяких наступаний на грабли - вообще-то команда разработчиков должна набиратся после выбора платформы, а не до, и эти люди должны к моменту начала иметь несколько завершённых и успешно эксплуатируемых проектов такого-же размера.

А бывают люди с врожденным опытом? ;0)

------------
Best regards, Jimmy
7 май 04, 12:01    [667491]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32167
2Jimmy
автор
А бывают люди с врожденным опытом? ;0)

Почему с врождённым? Человек идёт в команду к спецам, работает с продуктом/технологией, потом идёт на другую работу, в другую команду уже как специалист, там в группе несколько спецов и берут одного учиться. А не всех берут учится :-)

Вообще, по другому только в программировании работают :-) Типа нужно построить мост или укомплектовать штат хирургов в новой больнице. А в здании работали стоматологи. Ну а так как хирургам платят больше и опять-же новые технологии, вот они и начинают резать :-)

А разработка инф. бизнес-системы - дело ответственное и затратное и я не понимаю почему при бюджете проекта в 100 тыщ или милион нельзя взять хотя-бы одного - двух спецов.
7 май 04, 13:46    [667812]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Jimmy
Member

Откуда: г.Москва
Сообщений: 3136
2 alexevg
А разработка инф. бизнес-системы - дело ответственное и затратное и я не понимаю почему при бюджете проекта в 100 тыщ или милион нельзя взять хотя-бы одного - двух спецов.

Я тоже не понимаю :0)

------------
Best regards, Jimmy
7 май 04, 16:43    [668329]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Markelenkov
Member

Откуда:
Сообщений: 2312
alexeyvg
А я говорю - есть универсальное мерило - соотношение производительность/цена


Видимо, имелось ввиду цена/производительность. Но хоть так, хоть этак - тогда MySQL forever
7 май 04, 18:58    [668608]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
Markelenkov
Member

Откуда:
Сообщений: 2312
locky
Кстати, никто не знает соответсвующее ограничение у Оракла? я не нашел, а очень интересно


Oracle9i Database Reference Release 2 (9.2)
Item - Type - Limit

GROUP BY clause - Maximum length - The GROUP BY expression and all of the
nondistinct aggregates functions (for example,
SUM, AVG) must fit within a single database block.

Subqueries - Maximum levels of subqueries in a SQL statement - Unlimited
in the FROM clause of the top-level query 255 subqueries in the WHERE clause
7 май 04, 19:00    [668611]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
чечако
Guest
Ерунда все эти тесты.
Берем mssql2000 и vfp 6.
Загружаем табличку 500000 тыс записей и выполняем один и тот же запрос в фоксе и sql.
В sql время выполнения t,а в фоксе время выполнения t/2.
И как все это понимать?
7 май 04, 20:12    [668713]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32167
2Markelenkov
Вы серьёзно считаете, что MySQL победит в TCP-C тестах? На 64-х процессорном сервере будет делать не один милион транзакций в минуту, как все, а два?

И вообще, очевидно, что цена/производительность - это только один из факторов.

2чечако
И фокспро не сделает никого по TCP-C :-) Как только к нему в тестовой задаче подключатся 10 тыщ юзеров... :-)
7 май 04, 23:14    [668830]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32167
2Markelenkov
Да, забыл - намёки на бесплатность MySQL не пройдут - "цена" берётся всего комплекса, а не лицензий на софт. А железо обычно дороже софта.
7 май 04, 23:17    [668833]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
www.fun4me.narod.ru
Member

Откуда: Moscow
Сообщений: 2406
Интересно, насколько актуально для России применение 64-процессорных серверов?

И есть ли где аналогичный тест, но с ограничениями на аппаратную часть, например, не более 4 процессоров Intell.

Если такого теста нет, его следует сделать! Неужели никому не интересно сравнить производительность всех СУБД, применяемых на этом сайте?
Составить список задач, общие запросы для них, etc?

Могу попытаться заняться этим вопросом при соответствующей оплате .

А лучше - пусть Microsoft все СУБДы протестит и на форуме напишет.
8 май 04, 08:50    [668914]     Ответить | Цитировать Сообщить модератору
 Re: Тест на скорость СУБД  [new]
alex_k
Member

Откуда: krasnoyarsk
Сообщений: 6694
А железо обычно дороже софта.
ну это смотря где...
8 май 04, 09:40    [668923]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить