Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 шардинг sql server базы  [new]
eAdmin
Guest
Подскажите насколько имеет смысл шардировать базу на несколько машин ? Допустим я хочу развернуть у себя базу, в которую в день будет проливаться несколько сотен гигабайт мелкограннулированных данных. Т.е. достаточно высокая нагрузка. Главная проблема, что нагрузка совсем скоро может кардинально сильно вырасти(а может и нет). Т.е. необходимо иметь возможность гибкого масштабирования.

Соответсвенно появилась мысль - шардировать проливаемые данные в несколько абсолютно идентичных баз на разных машинах. Основная идея - сильно выросла нагрузка - докупили дополнительную машину и шардировали входящий контент еще и на неё. По принципу - эту треть контента на первую машину, другую на вторую, остальное на третью. Проблем с загрузкой данных не будет, алгоритмы как шардировать известны.

Основная проблема которую вижу в будущем:
1) дублированный контент(в случаях когда надо поддерживать уникальность контента, который может находится на разных базах)
2) запросы к такой базе - получается каждый запрос будет распределенным ?

Представляет ли microsoft что-нибудь для поддержки такого рода решений ?
Может данная идея вообще глупа ? Тогда как обеспечить хорошее масштабирование ?
16 ноя 13, 21:08    [15142068]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
eAdmin
Guest
Тема все еще сильно актуальна. Буду рад любой помощи.
17 ноя 13, 13:46    [15143419]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
Glory
Member

Откуда:
Сообщений: 104751
http://technet.microsoft.com/en-us/library/ms190381(v=sql.105).aspx
http://technet.microsoft.com/en-us/library/ms191185(v=sql.105).aspx
17 ноя 13, 14:59    [15143634]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
eAdmin
Guest
Glory, спасибо! Внимательно изучил штатные средства шардирования.

Теперь вот думаю. А есть ли смысл в этом смысл ? Не понятно когда шардирование будет предпочтительнее обычных кластеров. Вроде в кластер точно так-же можно добавить новую машину и иметь хорошую масштабируемость.
17 ноя 13, 20:49    [15144655]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
SandalTree
Member

Откуда: Перехлёсток восьми батог
Сообщений: 28146
А зачем вам это нужно?

При реально больших обьёмах данных подумывают про Big Data.

Может быть это вам сможет помочь?
18 ноя 13, 01:05    [15145713]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
Glory
Member

Откуда:
Сообщений: 104751
eAdmin
Вроде в кластер точно так-же можно добавить новую машину и иметь хорошую масштабируемость.

А как вы в кластере будете балансировать нагрузку ?
18 ноя 13, 10:37    [15146522]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
eAdmin
Guest
SandalTree
При реально больших обьёмах данных подумывают про Big Data.

думал. Но тут мало пространство развернуться. Если я правильно понимаю, единственное реальное решение для big data от мелкомягких - это PDW. Решение конечно крутое, но у меня не настолько много данных(не десятки терабайт). А стоимость решения - заоблачная.

Другое решение - заюзать hadoop, но сколько не анализировал прихожу к выводу, что к структурированным данным его адекватно не применить. Просто напросто потому что на уровне hadoop отсутствует всяческое понятие индекса => при каждом обращении он будет собирать mdf файл базы, а уже потом из него выдирать нужные данные. Хотя если кто-то считает иначе буду рад услышать. На самом деле довольно сложно анализировать такие технологии. Надо пробовать, чем и хочу заняться в ближайшие дни.

Glory
А как вы в кластере будете балансировать нагрузку ?

понял свою ошибку. Никак :(
18 ноя 13, 11:14    [15146772]     Ответить | Цитировать Сообщить модератору
 Re: шардинг sql server базы  [new]
SandalTree
Member

Откуда: Перехлёсток восьми батог
Сообщений: 28146
eAdmin
SandalTree
При реально больших обьёмах данных подумывают про Big Data.

думал. Но тут мало пространство развернуться. Если я правильно понимаю, единственное реальное решение для big data от мелкомягких - это PDW. Решение конечно крутое, но у меня не настолько много данных(не десятки терабайт). А стоимость решения - заоблачная.

Другое решение - заюзать hadoop, но сколько не анализировал прихожу к выводу, что к структурированным данным его адекватно не применить. Просто напросто потому что на уровне hadoop отсутствует всяческое понятие индекса => при каждом обращении он будет собирать mdf файл базы, а уже потом из него выдирать нужные данные. Хотя если кто-то считает иначе буду рад услышать. На самом деле довольно сложно анализировать такие технологии. Надо пробовать, чем и хочу заняться в ближайшие дни.

Glory
А как вы в кластере будете балансировать нагрузку ?

понял свою ошибку. Никак :(
А про FileStream не думал как альтернативе Big Data?
18 ноя 13, 20:27    [15150836]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить