| Добро пожаловать в форум, Guest >> Войти | Регистрация | Поиск | Правила | | В избранное | Подписаться | ||
| Все форумы / Microsoft SQL Server |
  |
||
 шардинг sql server базы
|
|
|
eAdmin
Guest |
Подскажите насколько имеет смысл шардировать базу на несколько машин ? Допустим я хочу развернуть у себя базу, в которую в день будет проливаться несколько сотен гигабайт мелкограннулированных данных. Т.е. достаточно высокая нагрузка. Главная проблема, что нагрузка совсем скоро может кардинально сильно вырасти(а может и нет). Т.е. необходимо иметь возможность гибкого масштабирования. Соответсвенно появилась мысль - шардировать проливаемые данные в несколько абсолютно идентичных баз на разных машинах. Основная идея - сильно выросла нагрузка - докупили дополнительную машину и шардировали входящий контент еще и на неё. По принципу - эту треть контента на первую машину, другую на вторую, остальное на третью. Проблем с загрузкой данных не будет, алгоритмы как шардировать известны. Основная проблема которую вижу в будущем: 1) дублированный контент(в случаях когда надо поддерживать уникальность контента, который может находится на разных базах) 2) запросы к такой базе - получается каждый запрос будет распределенным ? Представляет ли microsoft что-нибудь для поддержки такого рода решений ? Может данная идея вообще глупа ? Тогда как обеспечить хорошее масштабирование ? |
| 16 ноя 13, 21:08 [15142068] Ответить | Цитировать Сообщить модератору | |
| Re: шардинг sql server базы
|
|
|
eAdmin
Guest |
Тема все еще сильно актуальна. Буду рад любой помощи. |
| 17 ноя 13, 13:46 [15143419] Ответить | Цитировать Сообщить модератору | |
| Re: шардинг sql server базы
|
|
|
Glory Member Откуда: Сообщений: 104751 |
http://technet.microsoft.com/en-us/library/ms190381(v=sql.105).aspx http://technet.microsoft.com/en-us/library/ms191185(v=sql.105).aspx |
| 17 ноя 13, 14:59 [15143634] Ответить | Цитировать Сообщить модератору | |
| Re: шардинг sql server базы
|
|
|
eAdmin
Guest |
Glory, спасибо! Внимательно изучил штатные средства шардирования. Теперь вот думаю. А есть ли смысл в этом смысл ? Не понятно когда шардирование будет предпочтительнее обычных кластеров. Вроде в кластер точно так-же можно добавить новую машину и иметь хорошую масштабируемость. |
| 17 ноя 13, 20:49 [15144655] Ответить | Цитировать Сообщить модератору | |
| Re: шардинг sql server базы
|
|
|
SandalTree Member Откуда: Перехлёсток восьми батог Сообщений: 28146 |
А зачем вам это нужно? При реально больших обьёмах данных подумывают про Big Data. Может быть это вам сможет помочь? |
| 18 ноя 13, 01:05 [15145713] Ответить | Цитировать Сообщить модератору | |
| Re: шардинг sql server базы
|
|||
|
Glory Member Откуда: Сообщений: 104751 |
А как вы в кластере будете балансировать нагрузку ? |
||
| 18 ноя 13, 10:37 [15146522] Ответить | Цитировать Сообщить модератору | |||
| Re: шардинг sql server базы
|
|||||
|
eAdmin
Guest |
думал. Но тут мало пространство развернуться. Если я правильно понимаю, единственное реальное решение для big data от мелкомягких - это PDW. Решение конечно крутое, но у меня не настолько много данных(не десятки терабайт). А стоимость решения - заоблачная. Другое решение - заюзать hadoop, но сколько не анализировал прихожу к выводу, что к структурированным данным его адекватно не применить. Просто напросто потому что на уровне hadoop отсутствует всяческое понятие индекса => при каждом обращении он будет собирать mdf файл базы, а уже потом из него выдирать нужные данные. Хотя если кто-то считает иначе буду рад услышать. На самом деле довольно сложно анализировать такие технологии. Надо пробовать, чем и хочу заняться в ближайшие дни.
понял свою ошибку. Никак :( |
||||
| 18 ноя 13, 11:14 [15146772] Ответить | Цитировать Сообщить модератору | |||||
| Re: шардинг sql server базы
|
|||||||
|
SandalTree Member Откуда: Перехлёсток восьми батог Сообщений: 28146 |
|
||||||
| 18 ноя 13, 20:27 [15150836] Ответить | Цитировать Сообщить модератору | |||||||
| Все форумы / Microsoft SQL Server | |
|
x