Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Уважаемые господа!
Подскажите пожалуйста новичку, что выбрать бесплатное для Linux. Халява от Oracle/IBM/MS не проходит по процессорам, памяти, производительности (а использовать много экземпляров не хочется).

Нужно чтобы было бесплатно,
ODBC,
размер базы - 100 Гб.,
будет исполняться на железе, где 24 процессора, 128 Гб оперативки, и крутится аналитика, а базу не хочется выносить на отдельный сервер.

Максимальный приоритет для Insert-ов.
кол-во Insert-ов 100 тыс. в сек.,
тайм-аут 15 сек.,
Insert-ы идут 5 дней в неделю, оставшиеся 2 дня - реорганизация индексов, обновление статистики (т.к. не получается у меня использовать кластерные индексы - иногда не успевает до тайм-аута).

Средний приоритет Select.
кол-во 100 в сек.,
тайм-аут 30 сек.
Тяжёлые запросы разбиты на отдельные сессии, которые исполняются так, чтобы не создавать пиковых нагрузок.

Низкий приоритет - Update, Delete.
Исполняется когда низкая загруженность ресурсов.

Переписать код - не составляет никаких сложностей.
16 май 11, 18:46    [10660679]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
miksoft
Member

Откуда:
Сообщений: 38921
diary3
размер базы - 100 Гб.,
...
кол-во Insert-ов 100 тыс. в сек.,
...
Insert-ы идут 5 дней в неделю
Что-то не сходится.
Если допустить, что в среднем один Insert увеличвает БД на 100 байт, то за неделю база прирастет на 100*100000*60*60*24*5=4,3 Тбайт.
Сдается мне, что этот мегапрожект не взлетит...
16 май 11, 19:15    [10660825]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54850

И всё это через ODBC... Точно не взлетит.

Posted via ActualForum NNTP Server 1.4

16 май 11, 19:27    [10660887]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Поясняю:
Максимум бывает Insert-ов 100 тыс. в сек. в определённые часы суток. При этом желательно удерживать тайм-аут 15 сек. База больше чем 100 Гб. не распухает.

P.S.
Всё работает очень хорошо под MS Datacenter по отдельности. Отдельный сервер - отдельная база - отдельная таблица.
На прикладном уровне разруливается что куда посылать и что откуда запрашивать. Но стоит всё это немеренно, если лицензионно!!! Поэтому и возник вопрос: может уже появилась какая-либо халява, чтобы сделать "всё в одном" и без диких трат?
16 май 11, 19:33    [10660902]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
Yo.!
Guest
diary3,

из бесплатных есть смысл попробовать Postgres, там есть хоть какая-то пародия на партитионинг. но Postgres даже 8 ядер загрузить эффективно не сможет и с тяжелыми аналитическими запросами у него будет грусноватая производительность на фоне MSSQL. но если вы ему обеспечите памяти больше чем база, может и нормально справиться.
16 май 11, 19:47    [10660943]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Большое спасибо!
Буду копать на досуге.
16 май 11, 19:54    [10660971]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
miksoft
Member

Откуда:
Сообщений: 38921
diary3
Всё работает очень хорошо под MS Datacenter по отдельности.
Речь о Microsoft Windows Server Datacenter? Это же ОС, а не СУБД.
Насколько я понимаю задачу, крутая ОС не нужна. Лишь бы СУБД была подходящая и руки у архитектора прямые.
В связи с последним MySQL не советую.
16 май 11, 20:18    [10661099]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
автор
Всё работает очень хорошо под MS Datacenter ... Но стоит всё это немеренно, если лицензионно!!!


А зачем здесь Datacenter Edition, если учитывать, что размеры бд смехотворны, а

автор
оставшиеся 2 дня - реорганизация индексов, обновление статистики (т.к. не получается у меня использовать кластерные индексы - иногда не успевает до тайм-аута).


показывет, что даже фич Enterprise не требуется.

Исходя из того, что такой сервер (исходя из двух шестиядерных ксенонов с HT):

автор
будет исполняться на железе, где 24 процессора, 128 Гб оперативки


без дисковой системы будет стоить ближе к 20тке ихних денег, а дисковая система, которая бы обеспечила

автор
кол-во Insert-ов 100 тыс. в сек.,


тоже влетит в копеечку, стоимоть лицензий Windows Server 2008 R2 Entreprise + MS SQL 2008 R2 Standard не покажется уж и такой "немеряной".
16 май 11, 21:05    [10661244]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
miksoft
Речь о Microsoft Windows Server Datacenter? Это же ОС, а не СУБД.


Полагаю, речь все-таки идет о редакции MS SQL:

SQL Server 2008 R2 Edition Pricing:
EditionsPer Processor Pricing
Parallel Data Warehouse$57 498
Datacenter$57 498
Enterprise$28 749
Standard$7 499
16 май 11, 21:18    [10661279]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
miksoft
Member

Откуда:
Сообщений: 38921
pkarklin
miksoft
Речь о Microsoft Windows Server Datacenter? Это же ОС, а не СУБД.
Полагаю, речь все-таки идет о редакции MS SQL:
Да, я был не прав.
Впрочем, необходимости в SQL Server Datacenter Edition я тоже не вижу.
16 май 11, 21:27    [10661311]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Ну, если уж про MS, то:

1. Standard Edition может адресовать максимум 64 Гб. - не подходит.
2. Enterprise Edition позволяет установить только до 25 экземпляров - тут около сотни экземпляров, каждый на своём приоритете, со своей маской ProcessorAffinity. Иначе низкоприоритетные запросы иногда могут "заткнуть" высокоприоритетные.

Конечно, это всё легко разносится на десяток серверов с Standart Edition, но стоимость железа + ОС + SQL - выше.
16 май 11, 22:37    [10661551]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
инстансов
Guest
Всмысле 100 инстансов? И в каждом по 100 ГБ?
17 май 11, 02:26    [10662248]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Действительно имеются в виду Instance.

Несколько "инстантов" обслуживают приём данных, с высоким приоритетом на зарезервированных только для них процессорах и "складывают" всё в сотню баз с суммарным размером в сотню Гб. Старые базы просто sp_detach_db. И дальше файлы перемещаются на backup.

Остальные "инстанты" обслуживают аналитику. Соответственно приоритеты у них другие, процессоры другие и диски другие. Но это уже не так важно, т.к. это уже не realtime. Просто, что-то более приоритетно, что-то менее.
17 май 11, 03:41    [10662301]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
diary3,

Поставьте один инстанс Entreprise, а приорите разруливайте с помощью Resource Governor.
17 май 11, 08:21    [10662410]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
SERG1257
Member

Откуда:
Сообщений: 2934
Конечно не сходится
>Подскажите пожалуйста новичку, что выбрать бесплатное для Linux.
>на железе, где 24 процессора, 128 Гб оперативки
Топикстартер украл сервер и спрашивает совета что с ним делать ?

По сабжу я вижу три системы (бизнес задачи)
1 принять инсерт
2 обработать его в oltp программе
3 аналитика.

Спросите ваших BA насколько согласна подсистема 2 ждать результатов подсистемы 1.
Варианты ответов:
1 нисколько нужно немедленно мы торгуем в онлайне
2 пятнадцать секунд не больше
3 пять минут
4 час
5 иное значение
Я к тому что СУБД (любая) очень не любит режим бомбардировки инсертами, а для приема строки СУБД не нужна (проще писать в плоский файл и по таймеру из предыдущего вопроса заливать)

Аналитика тоже не требует результаты последней минуты, там таймер должен быть еще больше (опять же получаете подписанное подтверждение от BA)
17 май 11, 09:16    [10662586]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Resource Governor не используется.

Т.к. аналитические приложения сначала использовали MS SQL 7.0 , потом 2000, потом 2005. Сейчас 2008. Причём, каждое приложение - свой собственный сервер для промежуточных результатов и общий датацентр для общих результатов. При этом, всё потихоньку консолидировалось и масштабировалось. Поэтому и выросла куча экземпляров.

Resource Governor конечно же попробую, но не в 2008. Как то страшновато пробовать первую редакцию. Вдруг ещё его отменят...
17 май 11, 09:50    [10662744]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
SERG1257, согласен, всё правильно, так делают все.
Всё, что я видел, сделано именно так.

Но очень хочется поизвращаться.
17 май 11, 10:13    [10662886]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
инстанты
Guest
diary3
Действительно имеются в виду Instance.

Несколько "инстантов" обслуживают приём данных, с высоким приоритетом на зарезервированных только для них процессорах и "складывают" всё в сотню баз с суммарным размером в сотню Гб. Старые базы просто sp_detach_db. И дальше файлы перемещаются на backup.

Остальные "инстанты" обслуживают аналитику. Соответственно приоритеты у них другие, процессоры другие и диски другие. Но это уже не так важно, т.к. это уже не realtime. Просто, что-то более приоритетно, что-то менее.

Общий объем 100ГБ. Инстансов 100 штук..
100 ГБ/100 инстансов = 1 ГБ на инстанс. Вполне подходит SQL Express.
Я так понимаю на каждый инстанс так же приходиться не больше 1 CPU?

Сколько один инстанс использует максимально объем БД и потреблению CPU?
17 май 11, 16:04    [10665711]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Интересная арифметика...

Если бутылку водки будут пить из горла трое, то никак не получится по стакану на каждого. Кто-то выпьет больше, а кто-то меньше. Притом, бывает, что первый выпивает практически всё. Но остальным ведь тоже выпить надо! Поэтому бывают недовольные.

Следующий раз уже пьют из стаканов. Всем поровну. Но кому-то ещё мало, а кому-то уже много. Снова есть недовольные.

Тогда решают догоняться пивом. Вроде всем хватило. Но всё равно есть недовольные, т.к. все скидывались, а не все пили.

Тогда решают так: следующий раз купить бутылку водки и бочонок пива. Каждый что хочет, то и пьёт. Если что останется - на следущий раз. Если не хватит - скидываться снова. Главное взять четвёртого, чтобы развёз всех домой и наливать ему только пиво и только по 100 гр.

А Вы говорите бутылка на троих = по стакану. Не так всё просто!
17 май 11, 19:06    [10667308]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
инстансы
Guest
diary3
Интересная арифметика...

Если бутылку водки будут пить из горла трое, то никак не получится по стакану на каждого. Кто-то выпьет больше, а кто-то меньше. Притом, бывает, что первый выпивает практически всё. Но остальным ведь тоже выпить надо! Поэтому бывают недовольные.

Следующий раз уже пьют из стаканов. Всем поровну. Но кому-то ещё мало, а кому-то уже много. Снова есть недовольные.

Тогда решают догоняться пивом. Вроде всем хватило. Но всё равно есть недовольные, т.к. все скидывались, а не все пили.

Тогда решают так: следующий раз купить бутылку водки и бочонок пива. Каждый что хочет, то и пьёт. Если что останется - на следущий раз. Если не хватит - скидываться снова. Главное взять четвёртого, чтобы развёз всех домой и наливать ему только пиво и только по 100 гр.

А Вы говорите бутылка на троих = по стакану. Не так всё просто!

Но мы ждем, когда же разработчики столь чудной системы закончат пить и выдвинут адекватные требования к ПО. Или вы действительно не понимаете что нужно для принятия решения?
17 май 11, 23:40    [10668403]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Дело в том, что точно сказать, базу какого именно размера приложение создаст на конкретном экземпляре не представляется возможным. Можно лишь ограничивать этот конкретный экземпляр в ресурсах, чтобы его функционирование не привело к нарушению требований ко временным характеристикам системы. Больше данных - больше точность. Меньше данных - больше скорость. Баланс производительности определяется через мониторинг скорости исполнения запросов. При достижении нижнего порогового значения производительности, увеличивается ограничение на кол-во записей в запросе. При достижении верхнего порогового значения, уменьшается ограничение на кол-во записей. В нерабочее время неиспользуемые записи удаляются. (Хотя, конечно, некрасиво. Но не хочется усложнять всё сегментированием, чтобы не наделать ошибок.) Файлам баз расти не разрешается т.к. они нефрагментированы и выровнены по отношению к страйпу RAID-ов. Recovery model Simple, поэтому логи отдыхают. Все сортировки в tempdb которые на высокоскоростных массивах. У разных экземпляров разные приоритеты и разные ProcessorAffinity. Если вдруг оказывается, что какое-то аналитическое приложение нужно поднять в приоритете, то не нужно вновь пересматривать маски ProcessorAffinity или добавлять памяти чтобы случаем что-либо не напортить, а достаточно отключить базу от экземпляра и подключить к другому экземпляру. Приложения бывают почти одинаковыми и отличается вообще неизвестно чем - поэтому их базы не могут существовать в одном экземпляре (хотя всё можно переписать). Некоторые приложения создают базы по 40 Гб., некоторые по 100 Mb. Какое начнёт расти предположить нет возможности. Количество приложений меняется время от времени. Соответственно наблюдаются и "пустые" экземпляры, которые "ждут" своих приложений. Есть также несколько высокоприоритетных приложений, для которых экземпляры исполняются на выделенных процессорах. Также имеется множество приложений, которые исполняются на своих собственных серверах, и которые планируется перенести.
18 май 11, 03:25    [10668701]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
SERG1257
Member

Откуда:
Сообщений: 2934
Похоже главная цель приложений с точки зрения ТС - посильнее загрузить процессоры
18 май 11, 03:36    [10668704]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Собственно, пока вижу 2 основных пути:

1. Постараться избавиться от этого множества экземпляров серверов и оставить только один MS SQL Enterprise на высоком приоритете на всех процессорах. Приоритеты распределять через Resource Governor.

2. Получать не Insert-ы а уже готовые файлы. Перенести триггеры и курсоры из баз в сами приложения на этап загрузки данных. Мигрировать на Linux. Использовать что-то бесплатное для накопления результатов. Но остаётся вопрос, что делать, если нужно "покопаться"? Загружать все данные на SQL сервер?
18 май 11, 10:46    [10669528]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Вариант 1 получается решить ещё дешевле.

Достаточно 2 экземпляра Standard.
Один на высоком приоритете (для входящих данных), другой на среднем (для промежуточных и исходящих).
Использование ресурсов сервера мониторится из приложений. Запросы запускаются на исполнение, только когда нагрузка на ресурсы падает до определённого уровня. Сами приложения динамически меняют свои приоритеты, в зависимости от важности приложения и устаревания данных (чтобы не заснуть навсегда). Теряется примерно 0.3% производительности, но зато всё такое "отзывчивое".

Всем большое спасибо, что помогли расширить кругозор!
Форум - суперский.
23 май 11, 15:14    [10694860]     Ответить | Цитировать Сообщить модератору
 Re: Lunux Free Realtime 5x24  [new]
diary3
Member

Откуда:
Сообщений: 49
Самый последний вариант не подходит. Standard не хочет закреплять страницы в памяти и время от времени конкретно напрягает диски. Приходится вернуться к Enterprise, но с управлением по ресурсам с приложений.
24 май 11, 23:33    [10703221]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить