Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Помогите с архитектурным решением построения системы хранения  [new]
PavluxaF
Member

Откуда: СПб
Сообщений: 126
Доброго времени суток!

Опишу существующую систему и ее недостаки.
Система состоит из 7 разнородных хранилищ данных. Данные поступают из 20-30 разнородных источников и равномерно распределяются между хранилищами. Скорость поступления данных приблизительно 10Гб/час. Данные в формате RAW-файлов. 5 раз в сутки запускаются JOBы внесения. Данные заливаются в плоскую таблицу, далее на ней строятся индексы. Каждое внесение происходит в свою таблицу. Ночной JOB процессит и секционирует всю эту кашу.
Основной недостаток - проседание производительности пользовательских запросов во время заливки данных. Критическое время для пользовательского запроса - 6 минут. Оптимизировать запросы или базу прошу не предлагать.
Проседание производительности происходит в основном из-за наслаивания нескольких JOBов внесения. Каждый из 5 запусков процесса внесения - 6 JOBов внесения разнородных данных. JOBы частично разнесены по времени. Разнести JOBы дальше невозможно т.к. объемы данных каждого вида очень сильно варьируются.

Работодатель в деньгах не ограничен. Согласен вложиться в технику.
Что хочу сделать:
Хочу вынести все текущие данные (за сутки) на один или несколько серваков, где данные будут заливаться либо в индексированную таблицу либо что-нибудь еще придумать (типа заливать данные порционно в множество таблиц и делать их доступными для запросов после построения индексов), но боюсь это лишь освободит хранилища. А серваки с суточными данными будут также лагать для пользовательских запросов.

Подскажите пожалуйста как правильно построить архитектуру такой системы. Объем суточных данных 200 Гб. Задержка по внесению - максимум 5 часов.
7 ноя 13, 20:45    [15093722]     Ответить | Цитировать Сообщить модератору
 Re: Помогите с архитектурным решением построения системы хранения  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
PavluxaF
Работодатель в деньгах не ограничен. Согласен вложиться в технику.


Тут, боюсь, не только в технику надо будет вкладываться, но и в специалистов, имеющих соответствующий опыт, и готовых взяться за этот проект.
7 ноя 13, 21:33    [15093924]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить