Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Вопрос о методе хранения данных  [new]
miks85
Member

Откуда:
Сообщений: 153
Итак есть следующее:

БД с очень большими таблицами.
В среднем размер таблицы достигает 80.000.000 - 100.000.000 записей.
Таких больших таблиц около 15, остальные значительно меньше.

Записи представляют собой набор некоторых исторических данных за несколько лет.
Эти записи можно хранить в более компактном формате.
Причем форматов несколько: компактный (сжимаются до 500.000), еще более компактный (50.000) и еще и т.д.

Пользователю нужно предоставить доступ к этим данным, причем во всех форматах (не сжатый (~100.000.000 записей), компактный (~500.000 записей), более компактный(~50.000) и др.)

Собственно вопрос - для предоставления таких форматов лучше:
1) написать хранимые процедуры, который берут все записи (100.000.000) и конвертируют их в компактные (500.000 или 50.000 и др.) по команде пользователя ?

2) просто хранить дополнительные таблицы с уже сжатыми (компактными 500.000, 50.000 и др.) данными ?

PS: Что-то мне подсказывает, что лучше 2) вариант, так как первый наверно грохнет всю базу...
5 дек 09, 23:45    [8024754]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос о методе хранения данных  [new]
buser
Member

Откуда: Санкт-Петербург
Сообщений: 4537
Сжатый это как (агрегаты)? Доступ для каках нужд(отчеты/аналитики)? OLAP?!
5 дек 09, 23:50    [8024762]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос о методе хранения данных  [new]
miks85
Member

Откуда:
Сообщений: 153
buser
Сжатый это как (агрегаты)?

В данном случае речь идет об исторических данные, поэтому:
1) не сжатые (100.000.000) - данные за каждую секунду времени
2) компактные (500.000) - за каждую минуту
3) (50.000) - за каждые 10 мин.
4) потому за каждый час, день и так далее.

buser
Доступ для каках нужд(отчеты/аналитики)? OLAP?!

Пользователь будет задавать определенный период времени, скажем 10 дней и формат (секунды, минуты, 10 минуты и др.) и проводить с данными некоторые операции (среднее, дисперсия, разброс, короче статистические функции).
6 дек 09, 00:08    [8024795]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос о методе хранения данных  [new]
Владимир Затуливетер
Member

Откуда:
Сообщений: 427
miks85,
Естественно при конвертировании данных в сжатые форматы необходимо определенно время, ресурсы.
Если вы их имеете то лучше думаю оставить одну таблицу с несжатыми данными.
Предварительно необходимо проэкспериментировать, и узнать сколько времени затрачивает процедура для преобразования данных.
Хотя лучше подумать об OLAP.
6 дек 09, 14:58    [8025308]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос о методе хранения данных  [new]
Var79
Member

Откуда:
Сообщений: 890
Пользователю нужно предоставить доступ к этим данным, причем во всех форматах (не сжатый (~100.000.000 записей), компактный (~500.000 записей), более компактный(~50.000) и др.)


какое время занимает выполнение скриптов? насколько оно приемлемо?
6 дек 09, 18:24    [8025648]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос о методе хранения данных  [new]
LexMinsk
Member

Откуда: Republic of Belarus
Сообщений: 451
Если количество форматов ограничено, то может создать таблицу на каждый формат? Да, вставка будет долгой, т.к. записывать нужно одну и ту же запись в несколько таблиц, однако, выборка будет быстрее, если сразу указывать таблицу нужную таблицу, а не преобразовывать данные.
7 дек 09, 10:06    [8026611]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить