Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Посоветуйте СУБД для архива логов  [new]
Se3rG
Member

Откуда:
Сообщений: 7
Есть .Net 4.0 приложение, использующее Entity Framework 4 + MS SQL 2008 R2. Приложение пишет события изменения объектов в базу.
Задача: перенести не актуальные события в файловую СУБД и использовать ее в качестве архива. Размер архива может достигать 1000ГБ и вмещать миллионы событий.

Подскажите какую СУБД лучше использовать чтобы удовлетворялись условия задачи и не тратить много времени на разработку обращений приложению в архив.
29 июл 13, 14:36    [14632246]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
Infernal V. Raven
Member

Откуда: St.Petersburg
Сообщений: 1710
Se3rG,

файловая система
29 июл 13, 14:47    [14632314]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

Se3rG
Размер архива может достигать 1000ГБ и вмещать миллионы событий.

Всего лишь террабайт и миллионы записей? Такую мелочь не имеет смысла выносить из MS SQL,
оно легко полежит и внутри.

Posted via ActualForum NNTP Server 1.5

29 июл 13, 15:20    [14632544]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
Se3rG
Member

Откуда:
Сообщений: 7
Dimitry Sibiryakov
Se3rG
Размер архива может достигать 1000ГБ и вмещать миллионы событий.

Всего лишь террабайт и миллионы записей? Такую мелочь не имеет смысла выносить из MS SQL,
оно легко полежит и внутри.

К сожалению, просто полежать не может, т.к. данная база участвует в репликации и каждый раз при реинициализации подписки передавать 1ТБ весьма накладно. Кроме того иногда используется версия express у которой ограничение в 10Гб на базу, из-за чего приходится периодически руками переносить и подрезать логи.
29 июл 13, 15:32    [14632634]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Периодически (раз в день, неделю, месяц) данные переносить в другую бд, текущую чистить, "другую бд" бэкапить и складывать в файлопомойку. При необходимости поднимать бэкап за необходимый период.
29 июл 13, 15:42    [14632725]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Se3rG
К сожалению, просто полежать не может, т.к. данная база участвует в репликации и каждый раз при реинициализации подписки передавать 1ТБ весьма накладно.


Ну так уберите эти таблицы из подписки.
29 июл 13, 15:44    [14632738]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
Se3rG
Member

Откуда:
Сообщений: 7
pkarklin
Se3rG
К сожалению, просто полежать не может, т.к. данная база участвует в репликации и каждый раз при реинициализации подписки передавать 1ТБ весьма накладно.


Ну так уберите эти таблицы из подписки.

Убрать таблицы из подписки нельзя, т.к. они используются для оперативной работы и данные по событиям также должны быть синхронизированы.


pkarklin
Периодически (раз в день, неделю, месяц) данные переносить в другую бд, текущую чистить, "другую бд" бэкапить и складывать в файлопомойку. При необходимости поднимать бэкап за необходимый период.

Была такая мысль, но реализация механизма доступа к данным в этом случаем несколько сложна и затратна по времени.
В качестве решения я смотрю в сторону SQLite, но может есть решение поинтереснее.
29 июл 13, 16:30    [14633085]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Se3rG
В качестве решения я смотрю в сторону SQLite, но может есть решение поинтереснее.


Express редакция может нести 32 767 баз, каждая по 10 Гб. Не понимаю, зачем еще куда-то смотреть... Доступ к данным организовать как партицированную вьюху в основной бд. Единственная пичалька будет в том, что Вы не сможете (из-за ограничений редакции) использовать основную фичу PV - чтение данных только из соответствующих критерию отбора таблиц.
29 июл 13, 16:43    [14633162]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

Se3rG
Убрать таблицы из подписки нельзя, т.к. они используются для оперативной
работы и данные по событиям также должны быть синхронизированы.

Что мешает разделить таблицу на две - оперативную и архивную - в пределах одной базы и
реплицировать только оперативную? Перенос из одной в другую сделать джобом раз в сутки.

Posted via ActualForum NNTP Server 1.5

29 июл 13, 17:06    [14633302]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
Se3rG
Задача: перенести не актуальные события в файловую СУБД и использовать ее в качестве архива.
Не понял, вам архивную файловую СУБД тоже нужно реплицировать?

Вообще лучше использовать для архивной СУБД тоже MSSQL, только конечно не экспресс.
Переносит данные можно, сделав секционирование по суткам и сделав SSIS пакет для этого.
30 июл 13, 08:39    [14635400]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1207
Se3rG
может есть решение поинтереснее.

Всяк кулик...
http://www.db2-symposium.com/articles/comparing-db2-10-5-express-c-with-its-competitors/ :)
30 июл 13, 09:21    [14635535]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте СУБД для архива логов  [new]
saycale
Member

Откуда: Москва->Сидней
Сообщений: 32
у нас используется MongoDB. Всем довольны.
20 авг 13, 07:44    [14728514]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить