Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
Добрый день! Хотелось бы спросить совета, проблема несколько специфическая. В данный момент я перетаскиваю с win32 на Итаниум генетический софт, это набор исполняемых файлов, и далее собираюсь писать базу для хранения данных. Большая часть нагрузки приходится на эти модули, а не на sql, т.е. требования к базе пока минимальны, но конечно лучше подобрать конфигурацию так чтобы потом перебросить часть работы (поиск, индексация) на sql.

Сейчас я делаю ТОЛЬКО тестовую систему, которая должна жить в жестких условиях рабочей станции а не сервера. Железо - воркстейшн zx2000, Itanium 2 Madison 1GHz, кэш 1.5, 1Gb RAM. Могу позволить себе еще максимум 1 гиг памяти, ECC на итаниум дорогие. Винт скази 320 36г 15К рпм. Пока я должен крутить здесь и свою генетику и sql, в будущем надеюсь все хозяйство переедет на самый минимальный Integrity. Сейчас система - Дебиан. Задачи у нас исключительно научные, никакой коммерции. Но потому и бюджет соответствующий :)

1. Пара слов про то чем занимается основной код. Это 1) построение филогенетических сетей (методы хоть и не комбинаторные но жрут порядком и такты и память) 2) поиск мотивов в сиквенсах (память, много памяти). Все прочее не накладно. С компиляцией особых проблем нет. В будущем надеюсь отделить sql от алгоритмов и перенести их на другую машину, даже лучше на маленький кластер.

2. Клиентов пока не предполагается, потом будет что-нибудь вебподобное для заливки данных. Тестовая система должна общаться через мэйл-сервер, получать запросы и конфигурационные файлы, обрабатывать их (извлекая данные из базы и запуская модули) и высылать отправителю выборки либо построенные графы. В день на такую систему будет до 200-300 запросов, очередь не страшна, проблема в ограниченных ресурсах самой машины на больших данных. Не-SQLевские задачи я могу ранжировать без труда, предсказав по виду входных данных какая будет нагрузка. С sql сложнее, здесь понадобится отдельная очередь.

3. Какой я вижу серверную часть. Примерно 30 таблиц с основными данными, из которых только две-три будут огромными. Связи простые. Но понадобится здоровенный "кэш", так как основные таблицы будут хранить сиквенсы только в компактном представлении. Поэтому будут фоновые задачи по проверки согласованности таких кэшей и перестройке после каждого обновления (скажем раз в неделю). Поиск в больших текстовых полях мне не нужен, но сами поля нужны :)


Итак, собственно вопросы.

4. Как выбрать sql-сервер исходя из наших задач? Пристойнее всего я знаю mssql, но винды под итаниум у меня нет. Да и тащить все с gcc на win64 уже ни к чему (много кода было отлажено еще на симуляторе до покупки машины). Есть лицензия на db2, но я этой базу совсем не знаю. FireBird? Другие варианты?

5. Какая sql'ю требуется конфигурация? Стоит ли ограничивать количество памяти?


Заранее признателен за любые советы.
22 сен 06, 15:47    [3173694]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
Да, забыл уточнить: "большие" таблицы - это 150-200 тыс записей. При изменении формата записей может быть значительно больше (либо потребуется работать с огромными строками)
22 сен 06, 16:14    [3173903]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
Nikolay Kulikov
Member

Откуда: Москва
Сообщений: 607
DB2 + Federation Server которые могут прозрачно вытаскивать данные из генетических источников (KeGG, BLast etc) объединять их между собой и кучу других вкусностей, короче работаешь со всеми этими источниками как с обычной SQL БД. Единственное что не уверен так это поддержка Itanium. Слишком он еще экзотичный...
22 сен 06, 16:28    [3174004]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
Chik
Member

Откуда: Kharkov
Сообщений: 5
PostgreSQL
22 сен 06, 16:52    [3174172]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
Nikolay Kulikov
DB2 + Federation Server которые могут прозрачно вытаскивать данные из генетических источников (KeGG, BLast etc) объединять их между собой и кучу других вкусностей, короче работаешь со всеми этими источниками как с обычной SQL БД. Единственное что не уверен так это поддержка Itanium. Слишком он еще экзотичный...


Большое спасибо за ответ! Не знал что ibm об этом позаботилась:) дб2 на итаниум есть но боюсь что урезанная. Уточню у них.

беда еще в том что родной бласт грубоват для наших целей, так как у нас все завязано на индивидуальном весе каждого сайта. Фактически на входе фаста а вся дальнейшая работа уже не дружит ни с каким юзабельным форматом. Не от нашей вредности - просто локус с которым мы в основном работаем такой вредный :)
22 сен 06, 17:03    [3174269]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
Chik
PostgreSQL


видел его когда-то под фрюхой. А он скомпилируется под ia64?
22 сен 06, 17:08    [3174305]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
В принципе, IBM-овкий вариант самый подходящий в смысле лицензий. Мы участвуем в их дженографическом проекте так что софт можем получить бесплатно. Но остается вопрос - есть какие специфические тонкости с версией линукса? Тем более под итаниум?
22 сен 06, 17:24    [3174439]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
Nikolay Kulikov
Member

Откуда: Москва
Сообщений: 607
Itanium нет в списке для Federation Server, так что IMHO если понравится проще машину поменять.
http://www-306.ibm.com/software/data/integration/federation_server/requirements.html
22 сен 06, 17:29    [3174476]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
Nikolay Kulikov
Itanium нет в списке для Federation Server, так что IMHO если понравится проще машину поменять.
http://www-306.ibm.com/software/data/integration/federation_server/requirements.html


По описанию - нравится. Можно придумать бюджетный вариант с оптероном. Но тогда придется отделить базу от филогении. Еще раз спасибо вам - это хороший боевой вариант.
22 сен 06, 17:36    [3174538]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
Chik
Member

Откуда: Kharkov
Сообщений: 5
valery_z
Chik
PostgreSQL


видел его когда-то под фрюхой. А он скомпилируется под ia64?



Под фрюхой у нас работает....

А под ia64 - не знаю не пробовал...
22 сен 06, 17:45    [3174616]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
Chik
Member

Откуда: Kharkov
Сообщений: 5
А!
Вспомнил, у нас стоял на IBM'e, и нормально работал.
22 сен 06, 17:48    [3174649]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
С научными задачами и бюджетом -- скорей всего PostgreSQL, действительно.
Вообще, по вашему описанию непонятно, в чём должен быть особенный конёк СУБД под задачу и с чем может не справиться или быть сильно неоптимальным, скажем, тот же MySQL или любой другой. Однако, рекомендую PostgreSQL по той причине, что он довольно популярен в академической среде и, возможно, к нему есть какие-то расширения для решения ваших задач.
22 сен 06, 18:47    [3174985]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
DocAl
по вашему описанию непонятно, в чём должен быть особенный конёк СУБД под задачу и с чем может не справиться или быть сильно неоптимальным


Только тот конек что она должна жить на УЖЕ ВЫБРАННОЙ платформе на которой будет крутиться основной код жрущий время и память. Остальное - желательно, но пока не критично. Сюда относится распространенность этой СУБД, в том числе на итаниум, возможность найти софт для интеграции с вебом (в будущем), стоимость разработки наконец. Точно выяснить список подходящего мне софта - в моей ситуации уже немало.
22 сен 06, 19:19    [3175081]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
DocAl
С научными задачами и бюджетом


Предполагается более серьезный бюджет, как минимум до начального Интегрити. Но к тому времени когда мы будем составлять смету, я бы хотел иметь уже работающую тестовую систему.
22 сен 06, 19:23    [3175094]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
Аноним123
Guest
valery_z
Chik
PostgreSQL


видел его когда-то под фрюхой. А он скомпилируется под ia64?


Вот тут в списке есть:
http://www.postgresql.org/docs/8.1/static/supported-platforms.html

должен собаться
23 сен 06, 16:11    [3176175]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
моррут
Guest
valery_z
Chik
PostgreSQL


видел его когда-то под фрюхой. А он скомпилируется под ia64?


если у вас там ДЕбиан - посмотрите apt-cache search postgres - должен быть уже собранный (может и не последняя версия)
28 сен 06, 14:07    [3196704]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
моррут
Guest
моррут
valery_z
Chik
PostgreSQL


видел его когда-то под фрюхой. А он скомпилируется под ia64?


если у вас там ДЕбиан - посмотрите apt-cache search postgres - должен быть уже собранный (может и не последняя версия)

http://packages.debian.org/testing/misc/postgresql-8.1
в тестинге - последняя (если бету 8.2 не считать)
28 сен 06, 14:32    [3196872]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
valery_z
Member

Откуда:
Сообщений: 16
Прошу прощения, отсутствовал пару недель. Всем огромное спасибо! Поставил сервер и то к нему прилагалось в дистре. Ищу гуевого клиента - ужас, не компилится пгадмин! Проблема возможно в том что некоторые конфиги того от чего он зависит требуют глиба от 2.5 а на итаниуме компилится только 2.0.

Может кто знает - имеет ли смысл заменить его какими-нибудь другими гуями?
8 окт 06, 02:32    [3233879]     Ответить | Цитировать Сообщить модератору
 Re: Выбор sql сервера  [new]
моррут
Guest
apt-get install pgadmin3 для начала
можно ещё pgacces
и зачем компилировать то что есть в дистрибутиве?
9 окт 06, 11:55    [3236145]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить