Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 БД > 1 Тб c картинкамии геопространственной информацией  [new]
Алексей Михайлович
Guest
Добрый день всем. С какими проблемами можно столкнуться в работе такой системы и что можете посоветовать?

Есть пять компов постоянно заливающих по локальной сети данные на сервер в БД. Данные: изображения + описание,т.е. картинки по 10-100 Кб, описание до 1 Кб (в совокупности по всем полям, в т.ч. к картинкам привязаны координаты в системе WGS-84).Итого до 10 Гб в сутки по всем пяти машинам. Прирост порядка 3 Тб в год. Размер БД не более 12 Тб. Обновлений и удалений как таковых нет, только для очистки старых данных. Есть еще пять компов, которые по атрибутам (не картинкам) запрашивают картинки и обычные данные. Тут нагрузку пока предугадать сложно, нужно выжать максимум при том условии, что каждый из пяти клиентов последовательно выполняет запросы. Запросы достаточно простые: выбрать в заданной прямоугольной области все объекты с изображениями, поиск по атрибутам, селекция по времени и т.п. без сложных соединений. Схемы данных пока нет, система создается с нуля.
Для этого заказа куплен сервер с двумя процессорами Xeon по 6 ядер, 64 Гб оперативки, 16 ЖД по 2 Тб на 7200 оборотов SAS. Работать будет под Windows 2008 Server и MS SQL Server 2008 R2 Ent 64 bit.
По-моему дисковая подсистема – самое слабое место. Поднять RAID 10. Данные хранить прямо в БД в BLOB, без Filestream. Для координатной информации использовать Spatial data types и spatial-индексирование. Куда это резервировать - непонятно.
Какие мысли есть?)
17 сен 11, 21:25    [11293603]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31965
Алексей Михайлович
По-моему дисковая подсистема – самое слабое место
Раз требуемая нагрузка пока неизвестна, то достаточно :-)
Алексей Михайлович
64 Гб оперативки
Смотрите, чтобы запас был для расширения.
Алексей Михайлович
Поднять RAID 10
Не забудьте для лога отдельный рейд.
Алексей Михайлович
Куда это резервировать - непонятно.
Отдельный массив или файлсервер. Резервирование - это обязательно...
17 сен 11, 21:38    [11293647]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
Алексей Михайлович
Guest
alexeyvg, а как насчет BLOB без FileStream - MS рекомендует двоичные данные до 1 Мб хранить в BLOB, так действительно лучше, все ж несколько терабайт таких данных будет? И опять же геопространственные данные - на таких объемах потянет?
17 сен 11, 22:02    [11293753]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31965
Алексей Михайлович
alexeyvg, а как насчет BLOB без FileStream - MS рекомендует двоичные данные до 1 Мб хранить в BLOB, так действительно лучше, все ж несколько терабайт таких данных будет?
Я тоже считаю, что для записей 10-100 Кб ещё можно рассматривать хранение в BLOB.

Но тут ещё много зависит от использования этих данных и от архитектуры БД. И от соотношения требований к железу и требований к простоте разработки и обслуживания.
Алексей Михайлович
И опять же геопространственные данные - на таких объемах потянет?
Я честно говоря тут не понимаю специфики геопространственных данных, как геопространственность влияет на быстродействие при больших объёмах...
18 сен 11, 00:30    [11294164]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
Алексей Михайлович
Guest
alexeyvg
Я честно говоря тут не понимаю специфики геопространственных данных, как геопространственность влияет на быстродействие при больших объёмах...

С геопространственными данными меня смущает, что это тип CLR, пусть и системный. И сама возможность новая, насколько она может масштабироваться не ясно, примеров пока не видел.
18 сен 11, 09:52    [11294449]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
Пользователь MSSQL
Guest
Алексей Михайлович
alexeyvg
Я честно говоря тут не понимаю специфики геопространственных данных, как геопространственность влияет на быстродействие при больших объёмах...

С геопространственными данными меня смущает, что это тип CLR, пусть и системный. И сама возможность новая, насколько она может масштабироваться не ясно, примеров пока не видел.
Хреновенько она масштабируется (сравнивали с Oracle Spatial). Закладывайте процессоров побольше.
18 сен 11, 14:09    [11294725]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
Алексей Михайлович
Guest
Пользователь MSSQL
Хреновенько она масштабируется (сравнивали с Oracle Spatial). Закладывайте процессоров побольше.

2*6 ядер мало? Сколько нужно? Можете поподробнее написать? Про объем базы, количество одновременных клиентов, сложность запросов и т.п.
18 сен 11, 14:27    [11294745]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
Алексей Михайлович
Guest
up
19 сен 11, 07:06    [11295980]     Ответить | Цитировать Сообщить модератору
 Re: БД > 1 Тб c картинкамии геопространственной информацией  [new]
Алексей Михайлович
Guest
Переформулирую: geospatial возможности кто-нибудь использовал? И что за дурацкое ограничение: для сравнения две точки должны быть в одном полушарии? Т.е. на экваторе это работать не будет?
19 сен 11, 18:50    [11301080]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить