Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Выбор СУБД и архитектуры  [new]
z1xel
Member

Откуда:
Сообщений: 9
Приветствую!

Есть задача: хранить статистику(что-то типа баннерной сети) и делать по ней агрегативные выборки. Данные предполагается хранить в агрегированом виде, за интервалы времени, представляют из себя таймстемп, гео и еще какой-то набор признаков(несколько отдельныйх полей). Предположительный объем данных 2-5 млн. записей в месяц, но в силу наличия этих самых неопределенных "признаов", объем может возрасти на несколько порядков(самый выражденный случай - около миллиарда записей).

Вопросы:
Какую СУБД выбрать?
Как организовать данные?

На данный момент смотрю в сторону PostgreSQL(в силу того, что есть опыт, но больше со сложными структурами, нежели с большими объемами), данные думаю разбивать на помесячные таблички.

Советы? Критика? Опыт? Буду весьма признателен... =)
19 дек 11, 20:38    [11792093]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
Росгоснанораспилтрест
Member [заблокирован]

Откуда: Главпилорама
Сообщений: 2421
автор
На данный момент смотрю в сторону PostgreSQL в силу того, что есть опыт


Сам спросил, сам ответил - всегда бы так.
Бери Постгрес, отличная СУБД.
19 дек 11, 20:46    [11792126]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
SERG1257
Member

Откуда:
Сообщений: 2931
z1xel
самый выражденный случай - около миллиарда записей
Это в месяц или итого?
z1xel
Какую СУБД выбрать?
Если уже есть опыт работы с PostgreSQL и все устраивает, то нужно очень постараться чтобы склонить вас к другой СУБД.
z1xel
Как организовать данные?
...
данные думаю разбивать на помесячные таблички.
У меня было так
Данные младше месяца - по дням
Данные старше двух месяцев - по месяцам
Затем по годам и дальше должна быть одна табличка СТАРЫЕ_ДАННЫЕ (я уволился раньше чем эта таблица наполнилась)
То есть раз в день создается/заливается очередная таблица
Раз в месяц старые подневные таблички объединяются в месячную таблицу
Раз в год последние месяцы заливаются в годовую.
И всем рулила одна большая вьюха с union all, так что для пользователя заливка проходила мгновенно (как alter view)
Связано это было со спецификой запросов - последние данные (с фильтром по дате) запрашивали чаще всего.

С другой стороны при наличии хороших агрегаторов (производных таблиц или материализованных вьюх) сырые данные могут хранится как угодно.
19 дек 11, 23:19    [11792806]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
в PG есть мат вью?
Guest
SERG1257
С другой стороны при наличии хороших агрегаторов (производных таблиц или материализованных вьюх) сырые данные могут хранится как угодно.

А разве в PG есть мат вью?
Только если самому реализовывать на триггерах.
20 дек 11, 00:29    [11793087]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
SERG1257
Member

Откуда:
Сообщений: 2931
автор
Только если самому реализовывать на триггерах.
Какие триггеры? Это чистая read-only система (по описанию).
20 дек 11, 01:24    [11793199]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
в PG есть мат вью?
Guest
SERG1257
автор
Только если самому реализовывать на триггерах.
Какие триггеры? Это чистая read-only система (по описанию).

Расскажите как вы собираетесь делать мат вью на PG?
20 дек 11, 01:45    [11793225]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
Росгоснанораспилтрест
Member [заблокирован]

Откуда: Главпилорама
Сообщений: 2421
в PG есть мат вью?
SERG1257
пропущено...
Какие триггеры? Это чистая read-only система (по описанию).

Расскажите как вы собираетесь делать мат вью на PG?


Да хоть на тех же триггерах. Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?
20 дек 11, 02:29    [11793292]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
SERG1257
Member

Откуда:
Сообщений: 2931
в PG есть мат вью?
Расскажите как вы собираетесь делать мат вью на PG?
На PG я буду делать производные агрегатные таблицы заполняемые/обновляемые при заливке очередной порции данных. Приложение будет знать имя этих таблиц и верить что они заполнены верно.
20 дек 11, 04:26    [11793371]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Росгоснанораспилтрест
Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?


Пусть попробует indexed views в MS SQL Express Edition, вдруг понравится. :) Правда хинтик NOEXPAND приедтся в запросики добавлять.
20 дек 11, 09:04    [11793591]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Росгоснанораспилтрест
Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?

Сами спросили, сами ответили - всегда бы так. (с) Росгоснанораспилтрест
Такой выбор снимет все технические причины выбора раз и на долго. Ну пока Оркал не начнгет отставть от кого-либо.
20 дек 11, 09:22    [11793670]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2497
vadiminfo, как только начнут косячить по-крупному - отстанут. Они не первые и не последние.
20 дек 11, 10:14    [11793997]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2497
vadiminfo, А если чуваки делают прикладной софт, который будут продавать в коробке, требующей базу?
Морочиться с экспрессами, или заставлять покупать ещё и оракель? Не нормально.
Это неуважение к клиенту.
20 дек 11, 10:16    [11794019]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
ОКТОГЕН,

Вообще-то для коробки от Оракла скидки чуть-ли не 80 процентов от цены: я на семинаре от их слышал. Там все культурно с коробками.
20 дек 11, 10:43    [11794230]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
Росгоснанораспилтрест
Member [заблокирован]

Откуда: Главпилорама
Сообщений: 2421
pkarklin
Росгоснанораспилтрест
Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?


Пусть попробует indexed views в MS SQL Express Edition, вдруг понравится. :) Правда хинтик NOEXPAND приедтся в запросики добавлять.


Нет, не нужно.
20 дек 11, 11:33    [11794659]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
Росгоснанораспилтрест
Member [заблокирован]

Откуда: Главпилорама
Сообщений: 2421
vadiminfo
Росгоснанораспилтрест
Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?

Сами спросили, сами ответили - всегда бы так. (с) Росгоснанораспилтрест
Такой выбор снимет все технические причины выбора раз и на долго. Ну пока Оркал не начнгет отставть от кого-либо.


Круто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =)))
20 дек 11, 11:34    [11794672]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Росгоснанораспилтрест
Нет, не нужно.


Что так?!
20 дек 11, 11:38    [11794718]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Росгоснанораспилтрест
Круто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =)))

Ну это Вам, наверное, на форум БелазКлуб. Возможно, там подскажут как попасть на тест драйв Белазов. Сам то я Белазами не интересуюсь. Меня больше Бэхи там всякие занимают.
20 дек 11, 11:50    [11794851]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2497
vadiminfo, то есть, вас устраивает, что ваша репутация зависит от политики кого-то там?
Всё же считаю, что заставлять клиента покупать сторонний софт это некорректно и непрофессионально.
Скрытые платежи из той же серии.
20 дек 11, 11:51    [11794860]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
ОКТОГЕН
vadiminfo, то есть, вас устраивает, что ваша репутация зависит от политики кого-то там?
Всё же считаю, что заставлять клиента покупать сторонний софт это некорректно и непрофессионально.
Скрытые платежи из той же серии.

Ну я не сторонник КПРФ, чтобы чрезмерно отрицательно относиться к репутации людей юзающих какие-то буржуазные идеи при торговле.
Скрытые платежи есть читобы Вы не покуапали. Или компы тоже самому производить, чтобы не заставлять покупать посторонний хард?
20 дек 11, 12:24    [11795183]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
Росгоснанораспилтрест
Member [заблокирован]

Откуда: Главпилорама
Сообщений: 2421
pkarklin
Росгоснанораспилтрест
Нет, не нужно.


Что так?!


Ну, во-первых: человек уже знает PostgreSQL.
Во-вторых: PostgreSQL прекрасно справится с данной задачей.
В-третьих: скорее всего, это WEB, а значит никакой венды там нет, и она там неприменима чуть более, чем совсем.
В-четвёртых: зачем человеку лишние затраты, измеряющиеся тысячами, а в перспективе - десятками тысяч долларов?
20 дек 11, 12:25    [11795188]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
Росгоснанораспилтрест
Member [заблокирован]

Откуда: Главпилорама
Сообщений: 2421
vadiminfo
Росгоснанораспилтрест
Круто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =)))

Ну это Вам, наверное, на форум БелазКлуб. Возможно, там подскажут как попасть на тест драйв Белазов. Сам то я Белазами не интересуюсь. Меня больше Бэхи там всякие занимают.


Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться...
20 дек 11, 12:26    [11795202]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2497
vadiminfo, зачем накручивать цену товара, если вам с этого ничего не перепадёт?
Смысл какой? Упрощать сложно, а вот усложнять просто.
20 дек 11, 12:28    [11795227]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Росгоснанораспилтрест
Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться...

А почему не так:

Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БЕХа за батоном и пивом гонять. Но ея прокатиться не дал бы.
20 дек 11, 12:34    [11795272]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
ОКТОГЕН
vadiminfo, зачем накручивать цену товара, если вам с этого ничего не перепадёт?
Смысл какой? Упрощать сложно, а вот усложнять просто.

Смысл великий есть: от снять для себя проблему выбора СУБД раз и на долго, до надежды найти нужну фичу в нужный момент.
20 дек 11, 12:36    [11795299]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД и архитектуры  [new]
ОКТОГЕН
Member

Откуда:
Сообщений: 2497
vadiminfo, для того, чтоб были все фичи раз и надолго - вы ценник видели?
Экспресс не пойдёт, ограничения имеются.
20 дек 11, 12:39    [11795330]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить