Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
evgsh
Member

Откуда:
Сообщений: 13
Есть база. под yaffilом.под виндой. на машинке пень4 2.4 гиг памяти. 32 М кеш для базы. база 5-6 гиг,
но 95% это одна таблица в которую данные только инсертятся. к базе висит 3 коннекта и по 2 делаются селекты.
по третьему пишутся инсерты. к-во от 3 тысяч в час до 60-100 000 запросов в час. при 100 000 запросах в час
становится оч грустно - время ответа очень важно и должно быть минимальным.

когда начинали писать проект - нагрузка была значительно меньше, яфил полностью устраивал.

апгрейдим машинки. ставим 2 процесорный сервак, ставим классик и получаем полную жопу. он хоть и работает на двух
процах - работает както глючно. 10 селектов ответ 20 мс а потом вдруг 5 - ответы по 3 секнды. причем те же самые запросы.

начинаем внимательно тестить. наблюдаем такое 100 строк инсертятся потом коммитт и коммит делаетсся столко же времени
сколько и инсерт.

ставим на этом серваке суперсервер. он работает только на 1 проце (ну это понятно) но на ксеоне 2.8 он работает медленнее чем на пне 2.4
(памяти на обоих по гигу, на 1 машинке винты IDE, на каелоноовом серваке - scsi)

возвращаем все назад.
начинаем подробно тестить на наших запросах все интербейз клоны.
файрберд работает так же как яфил (кдасик так же глючит), только медленнее.
интербейз 7 - медленее файрберда.

у нас правда остался вариант запустить интербейз 7 на 2 процах этого еще не делали.

вопросы:

что нам делать:

1. интербейз 7 на 2 процах
2. решить проблему глюка в классике
3. срочно валить на другую базу.

время оч критично. простоя допускать нельзя. (ну минуты, ну час не более...)

не пробовали еще под фрей но нет времени на установку ее. и опять же на 2 процах будет ли он работать
безглючно на таком объеме запросов ?

для валить на другую базу - какую ? mysql - очень очень грустно от отсуттвия триггеров и хр процедур.
процентов на 30 выполнены работы для переноса на oracle. я правильно думаю что для нашей задачи это лучшее решение ?

или посоветуете что то другое ?

консультации или помощь по оперативному решению наших проблем будут оплачены.
23 окт 04, 22:39    [1056687]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
VladSh
Member

Откуда:
Сообщений: 244
Все решаемо.
Но зачем засорять своим длинным вопросом несколько форумов?
--
Шумов В.
www.acdplus.ru
23 окт 04, 23:51    [1056714]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Denis A.
Member

Откуда: Челябинск
Сообщений: 353
Переползайте на MSSQL, 100 тыщ в час это примерно 27 вставок в секунду? У меня ISA-сервер на целероне 2.4 ГГц с памятью 512 мб вставляет порой по 60 в секунду. Так что попробуйте потестить на MSSQL ваши запросы. Да и многопроцессорность тоже даст о себе знать - в MSSQL с этим намного лучше.
24 окт 04, 10:25    [1056772]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Yo!
Guest
если 30% уже сделано - одназначно оракл, по цене что mssql стандарт что oracle one (для 2х процов) $5K. требования у вас для такого железа детские, это железо гораздо большую нагрузку вытянет.
24 окт 04, 14:22    [1056849]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
tygra
Member

Откуда: Тверь (Иркутск, Край)
Сообщений: 9997
А может просто таблицу эту разбить на несколько - и все проблемы исчезнут. Потому как IB на таком количестве данных не очень то работает

-- Tygra's --
25 окт 04, 11:47    [1057715]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32896

Привет, tygra!
Ты пишешь:

tygra
t> А может просто таблицу эту разбить на несколько - и все проблемы исчезнут.
t> Потому как IB на таком количестве данных не очень то работает

Дарахой тыгра!
Давайте обсуждать вкусовые качества устриц с теми, кто их ел! (С)

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.0

25 окт 04, 11:58    [1057754]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
tygra
Member

Откуда: Тверь (Иркутск, Край)
Сообщений: 9997
Вот evgsh их ест - и что-то жалуется, больно невкусно :))

А разбивать таблицу такого размера в любой БД нужно - оно так получше то будет :)

-- Tygra's --
25 окт 04, 13:29    [1058138]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32896

Привет, tygra!
Ты пишешь:

tygra
t> Вот evgsh их ест - и что-то жалуется, больно невкусно :))

evgsh их первый раз в жизни попробовал ;)

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.0

25 окт 04, 13:31    [1058150]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Gold
Member

Откуда: Харьков
Сообщений: 2947
Сам раборотаю с FB, проблеммы производительности такого рода ещё решать не доводилось, но тут проблема со сборкой мусора явно. Причём это всех версионников касается, включая тот версионный МССкул, который ещё не вышел.
За консультацией советую обратиться в конверенцию, в которой Олег Лоа часто бывает (правда сегодня она у меня недоступна почему-то). Адрес такой: news://forums.demo.ru/epsylon.public.interbase

Также можно проконсультироваться в местном форуме по IB/FB/Ya - тут тоже можно толковый совет получить. Но всё же рекомендую новости.

PS. Сейчас Джим Старки работает над проектом Вулкан - это будет полностью новый движок для FB с поддержкой SMP у супер-сервера. Когда всё это доделают я не знаю - в планах написано весна 2005, но я сомневаюсь.

Ещё могу посоветиовать перейти на Linux - у меня одни и те же самые расчёты на FB1 со всеми установками по умолчанию в базе на линуксе (RH7) происходили в НЕСКОЛЬКО раз быстрее чем на Win2k. Почему - затрудняюсь сказать, но это факт.
25 окт 04, 13:34    [1058163]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Denis A.
Member

Откуда: Челябинск
Сообщений: 353
Сам раборотаю с FB, проблеммы производительности такого рода ещё решать не доводилось, но тут проблема со сборкой мусора явно.


Какая сборка мусора, человек же явно сказал:

наблюдаем такое 100 строк инсертятся потом коммитт и коммит делаетсся столко же времени сколько и инсерт.


Можно попробовать выключить Forced Writes, полегчает поди. А ваще - на таких объемах БД смотрите в MSSQL.
25 окт 04, 15:08    [1058602]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Gold
Member

Откуда: Харьков
Сообщений: 2947
Ой, и правда, какой мусор когда вставка идёт - торможу...
25 окт 04, 15:20    [1058644]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
evgsh
Member

Откуда:
Сообщений: 13
дело было в консерватории.

1. на классике поставили кеш 256 страниц и все залетало. загрузка проца 5-6%.

это не все.

поставили на нем другую базку где не была отключена сборка мусора. стало 50.

отключили сборку - 5-6%. сборка мусора тоже !
25 окт 04, 19:30    [1059562]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Gold
Member

Откуда: Харьков
Сообщений: 2947
Вобще сборка мусора - это когда ненужные версии записей удаляются. Если только вставка записей у вас, то версиям плодиться неоткуда по идее, как Denis A. правильно заметил.
26 окт 04, 13:11    [1061147]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32896

Привет, Gold!
Ты пишешь:

Gold
G> Вобще сборка мусора - это когда ненужные версии записей удаляются.
G> Если только вставка записей у вас, то версиям плодиться
G> неоткуда по идее, как Denis A. правильно заметил.
Где гарантия, что у них транзакции не отваливаются?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.1

26 окт 04, 14:56    [1061746]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Denis A.
Member

Откуда: Челябинск
Сообщений: 353
Где гарантия, что у них транзакции не отваливаются?

Настолько, что это является основной проблемой? ;) Да и как уже заметили - GC происходит при select.

Вобщем товарищу evgsh возможные способы решения проблемы:
1) выключить Forced Writes, поставив бесперебойник на сервер
2) использовать бОльший размер страницы (4 или 8 Кб) - увеличить количство записей на странице, уменьшив количество IO-операций.
3) помоему операция увеличения физического размера файла БД - времяемкая операция, попробуйте вручную задать заранее бОльший размер файла, но я не помню умеет такое Yaffil или нет.
4) переезжать на MSSQL :)
26 окт 04, 21:24    [1063086]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Gold
Member

Откуда: Харьков
Сообщений: 2947
Где-то была статейка на тему оптимизации - не могу найти :-(
Добавлю к сообщению Denis A. что действительно возможно добиться повышения производительности вставки данных за счёт заведомого увеличения размера файла БД, т.к. тогда при добавлении новых записей серверу не прийдётся просить ОС выделить место на диске для увеличения файла. Рецепт простой - создаёте новую таблицу и забиваете её парой сотен миллионов произвольных данных, например чтобы файл БД стал в 5 раз больше текущего, потом эту таблицу удаляете. Не знаю, нужно ли после этого делать свип, но можно сделать для профилактики. После этого в вашем файле БД будет полно свободного места.
27 окт 04, 11:46    [1064063]     Ответить | Цитировать Сообщить модератору
 Re: есть проблема с яфилом. решаема или валить на другую СУБД. какую ?  [new]
Gold
Member

Откуда: Харьков
Сообщений: 2947
Да, ну и ещё, разные файловые системы разной скоростью доступа к данным файла отличаются. Я слышал что по быстродействию RaiserFS сильно рулит...
27 окт 04, 11:49    [1064083]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить