Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
Размер одного винта SAS - максимум 3Тб.

В традиционные серверы можна засунуть до 12 винтов.
Выходит что максимум можна получить 12*3=36Тб на сервере.
Ещё есть RAID и это минус какой-то обём от 36Тб.

Нужно что-то отдать под ОС и т.д.

Для БД останеться меньше 30Тб.

Если БД будет иметь размер, например 100Тб (число не важно, просто боооольшая БД), то какой чудо сервер нужно покупать и где его вообще можна найти?

Как и какое железо подобрать для БД больше 100Тб?
11 апр 13, 15:19    [14167642]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Вам чудо СХД надо ,а не чудо север
Смотреть Ентпрайз левел IBM, EMC
11 апр 13, 15:28    [14167731]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Да и вообще стоимсоть аппартного решения под такой обьем будет не кислой
СХД,Сервера,инфаструктура......
Если инетерестно то пишите в личку ,правда не думаю что у вас бюджет потянет сие ,честно
11 апр 13, 15:30    [14167744]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shakill
Member

Откуда: мск
Сообщений: 1880
Shovgenyuk
Размер одного винта SAS - максимум 3Тб.

В традиционные серверы можна засунуть до 12 винтов.
Выходит что максимум можна получить 12*3=36Тб на сервере.
Ещё есть RAID и это минус какой-то обём от 36Тб.


не минус какой-то, а объем уменьшится в два раза. если зеркала будут или raid10, например
11 апр 13, 15:36    [14167800]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shakill,

посему прощет аппратной плтформы под БД такого размера требует тщательной проработки
11 апр 13, 15:39    [14167836]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
Shovgenyuk
Как и какое железо подобрать для БД больше 100Тб?


А почему упоминается только объем? Где требования к IOPSам?! От этого очень много будет зависеть. Но в любом случае путь у Вас один - SAN.
11 апр 13, 15:43    [14167866]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Гость333
Member

Откуда:
Сообщений: 3683
Maxx
Вам чудо СХД надо ,а не чудо север

Чудо-сервер, весьма вероятно, тоже понадобится. Чтобы эти 100 терабайт нормально шевелились, а не задыхались от нехватки памяти/процессоров/etc.
11 апр 13, 15:44    [14167889]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Гость333,

ну можно чет вертикально маштабируемое брать типа ibm 3850m2 или страше , яж говорю ,что ето комлекс надо считать и строить,а не просто кудаб мне диски запихнуть
11 апр 13, 15:49    [14167938]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
Поставил тестовый проэкт что бы понять что и к чему, так как раньше с таким не сталкивался и задача была сложной и до конца неизвестной.

Данные сбрасывались в БД по сети.
За год набросали около 5Тб
Так как прэкт был тестовый то подключены были не все пользователи.
Есть пожелание от пользователей, что бы данные были доступны на протяжение 15 лет.

За год всем так понравилось что забыли о том что это был експеремент и счас шум и гам ...ДАВАЙ ДЕЛАЙ ВСЕМ, без этого дальше никак!!...

Прикинул
что если подключить всех желающих, то в год будет около 8Тб данных.
8*15=120Тб

Три первых года данные будут использоваться активно, а остальные 12 лет редко, но будут.

Счас стоит задача подобрать под это все какое-то апаратное решение и плюс ко всему надо что бы эта БД была доступна в режиме 24/7/365 и отказоустойчивая...
Тоесть надо что бы в случае аварии автоматом и очень быстро поднимался какой-то резервный сервер...
Ещё добавляеться задача по бекапированию...

Бюджет надо посчитать, но есть готовность руководства на очень серёзные затраты, потому что этого всем очень нужно...

Куда копать и как это всё соорудить?
11 апр 13, 15:49    [14167946]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
Shovgenyuk
Бюджет надо посчитать, но есть готовность руководства на очень серёзные затраты


На $1 500 000 (примерно) готовность есть?

ЗЫ. Про IOPSы так ничего и не сказано...
11 апр 13, 15:53    [14167978]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk
Счас стоит задача подобрать под это все какое-то апаратное решение и плюс ко всему надо что бы эта БД была доступна в режиме 24/7/365 и отказоустойчивая...
Тоесть надо что бы в случае аварии автоматом и очень быстро поднимался какой-то резервный сервер...
Ещё добавляеться задача по бекапированию...

Бюджет надо посчитать, но есть готовность руководства на очень серёзные затраты, потому что этого всем очень нужно...

Куда копать и как это всё соорудить?



УУУУУ ..... Мой вам совет - обратитесь хотя бы в Инком (Киев),мы строили похожие решения с 0 до ввода в работу,есть и опыт и команда ,и поставщики и сервис.Могу сказать прямо к кому обратиться.
11 апр 13, 15:54    [14167989]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
pkarklin
$1 500 000

похоже на правду
11 апр 13, 15:55    [14168000]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
pkarklin

На $1 500 000 (примерно) готовность есть?



Нет, на $ 300 000 , примерно есть готовность

pkarklin
ЗЫ. Про IOPSы так ничего и не сказано...


Что за IOPSы ?
11 апр 13, 15:57    [14168034]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk
$ 300 000

неа......у вас бюджета не хватет ,для такой "железяки" по хорошему ,скорее всего
Выж не учитываете,что кроме самого железа идут еще и лицензии на Память,на Процы которые едтя кучу денег
11 апр 13, 16:00    [14168061]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31486
Shovgenyuk
Как и какое железо подобрать для БД больше 100Тб?
Объём набрать не так сложно и дорого - покупаются внешние полки, втыкаются винты, и нет проблем. Винты сейчас ёмкие и недорогие (хотя бытовые конечно нельзя брать - нужно серверные или хотя бы ширпотребовские для RAIDов, типа WD RE)

Сложность в обеспечении производительности на таким объёме, плюс доступность, надёжность...
Нужно максимально подробно сформулировать требования, определить планируемую нагрузку на дисовую систему.
Раз система уже в эксплуатации, то вы сможете всё это сделать.

Далее можете обращаться к разным поставщикам, они вам помогут подобрать железо и посчитать, вы сравните.

Другие параметры железа (память, процессоры) зависят уже не столько от объёма, сколько от вашего приложения, тут вы наверняка сможете спрогнозировать, и там особых затрат быть не должно, раз вы не упоминали жуткую текущую нагрузку на процессоры.
Shovgenyuk
плюс ко всему надо что бы эта БД была доступна в режиме 24/7/365 и отказоустойчивая...
Тоесть надо что бы в случае аварии автоматом и очень быстро поднимался какой-то резервный сервер...
Ещё добавляеться задача по бекапированию...
Бакапы, резервный сервер, зеркало, отказоустойчивый кластер - много есть решений. Вы требования подробно формулируйте, лучше в нескольких вариантах, для каждого считайте стоимость, а то она может в разы отличаться в зависимости от того, например, сколько времени простоя допускается в год для вашего "24/7/365".
11 апр 13, 16:01    [14168068]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
stavgreengo
Member

Откуда:
Сообщений: 710
м-да, с такими познаниями мы просто нерационально используете имеющиеся деньги, пригласите на консультацию DBA специалиста и грамотно растолкуйте ему что вы вообще хотите, а он скажет что вам нужно. Самому крайне не рекомендую проявлять самодеятельность.
11 апр 13, 16:05    [14168108]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31486
Maxx
Shovgenyuk
$ 300 000

неа......у вас бюджета не хватет ,для такой "железяки" по хорошему ,скорее всего
Выж не учитываете,что кроме самого железа идут еще и лицензии на Память,на Процы которые едтя кучу денег
Это всё зависит от запросов к этой базе и требований к отказоустойчивости.

Для 24/7/365 конечно денег мало, для интенсивной нагрузки тоже, но понятие "интенсивная" у всех разное, а 24/7/365 может иметься в виду, что база работает круглосуточно, и восстановление из бакапа за сутки вполне устроит.

В общем, нужно требования писать, обязательно несколько вариантов, и считать, что бы почувствовать цену.
А то боссы говорят "при неисправности нужно переключение на резерв за 1 минуту", но когда узнают, что можно снизить цену с двух милионов до одного, если переключаться за полчаса... :-)
11 апр 13, 16:06    [14168117]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
alexeyvg,

знаю,проходили
посему и написал - что с кандычка сие не решаеться ,в самом начале топика
11 апр 13, 16:07    [14168125]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
понятно что буду приглашать специалистов и т.д.

Но сначала хочу покопаться и изучить "матчасть", так как придётся общаться с приглашёнными специалистами, а шарлатанов счас везде полно...
11 апр 13, 16:09    [14168133]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk,

Ети могут,проверенно. Хотя сам уже там не работаю
11 апр 13, 16:11    [14168148]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
если бюджета не хватит, то думаю как-то делить на две части:
1) данные за три года (~24Тб) - которіе используються относительно часто и активно
2) данные за 12 лет-которые не меняються и должны быть доступны только для чтения и не очень часто и доступ может предоставляться по запросу: типа пользователь делает какую-то заявку, указывает какие данные ему нужны (дату и т.д.), и через несколько часов получает эти данные.
11 апр 13, 16:14    [14168170]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk,

пункт 2 можно решить через файловую группу лежащуюю на "дешевом" массиве , опять если она рид онли -то и бекапить ее сильно часто не надо
11 апр 13, 16:16    [14168186]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31486
Shovgenyuk
если бюджета не хватит, то думаю как-то делить на две части:
1) данные за три года (~24Тб) - которіе используються относительно часто и активно
2) данные за 12 лет-которые не меняються и должны быть доступны только для чтения и не очень часто и доступ может предоставляться по запросу: типа пользователь делает какую-то заявку, указывает какие данные ему нужны (дату и т.д.), и через несколько часов получает эти данные.
Может, у вас данные - это файлы? тогда можно не хранить всё непосредственно в СУБД, хранить просто в файловой системе. Можно так же использоать тип filestream, он будет это делать прозрачно для существующего кода.
11 апр 13, 16:24    [14168230]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
alexeyvg
Может, у вас данные - это файлы? тогда можно не хранить всё непосредственно в СУБД, хранить просто в файловой системе. Можно так же использоать тип filestream, он будет это делать прозрачно для существующего кода.


Да, счас большая часть данных - это файлы
И этих файлов ооочень большое количество и все они маленького размера.

Но софт можна настроить так что файлов на диске не будет, они могут храниться у самой БД.
11 апр 13, 16:30    [14168273]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
так вам файловый сервер нужен или сервер СУБД все таки ?
11 апр 13, 16:31    [14168283]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
Maxx
так вам файловый сервер нужен или сервер СУБД все таки ?

СУБД
Есть СУБД где храняться данные, но из СУБД есть ссылки на кучу файликов.

Счас есть СУБД и файлы, НО можно всё поменять так что бы файлов не было и тогда все данные будут в СУБД.
Но в любом случае СУБД нужна.
11 апр 13, 16:35    [14168319]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk,

у вас я так понял основной размер - ето файлы,тогда можно обойтись довльно малой кровыю,но все равно переход на SAN вам светит по любому. И при таком расскладе влоне реально вписаться в бюджет ваш . Просто задачу нужно озвучивать целиком.
11 апр 13, 16:41    [14168358]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34099
Блог
Shovgenyuk
Нет, на $ 300 000 , примерно есть готовность


у вас едва-едва на лицензии хватает)

SQL Server Enterprise Core 2012, это 400к рублей на каждые 2 ядра
допустим 4 процессора, 40 ядер, всего в сумме будет 8 млн рублей - это уже $267к...
11 апр 13, 16:45    [14168388]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Критик,

уже выяснили ,что ему такое не надо..посему не так страшен черт как его малюют
11 апр 13, 16:47    [14168398]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
Всем спасибо за ответы

Понял что копать надо в сторону SAN


Иду читать матчасть :)
11 апр 13, 17:02    [14168513]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31486
Shovgenyuk
из СУБД есть ссылки на кучу файликов
Так получится дешевле, так и надо делать.
Критик
Shovgenyuk
Нет, на $ 300 000 , примерно есть готовность

у вас едва-едва на лицензии хватает)

SQL Server Enterprise Core 2012, это 400к рублей на каждые 2 ядра
допустим 4 процессора, 40 ядер, всего в сумме будет 8 млн рублей - это уже $267к...
Может, достаточно SQL Server Standart 2008 R2 на один сокет? тогда будет чуть дешевле :-)

Shovgenyuk
Понял что копать надо в сторону SAN
Если нагрузка небольшая, то в принципе не так это и дорого, хотя конечно не копейки, учитывая ещё и потребность в месте для бакапов (то есть нужно 2 SAN)
Типа того: http://www.dell.com/us/business/p/powervault-md32x0-series/pd?oc=brct22y&model_id=powervault-md32x0-series
Оно ещё и расширяется покупкой дополнительных полок.
11 апр 13, 17:11    [14168571]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
Shovgenyuk
Что за IOPSы ?


Просто терабайты объема мало интересуют. Интересуют требования к кол-ву операций ввода\вывода в секунду (Input\Output operations Per Second).

Сообщение было отредактировано: 11 апр 13, 17:34
11 апр 13, 17:34    [14168736]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Hibernate
Member

Откуда: Киев
Сообщений: 1670
а не думали о том, что максимальный ваш объем накопится только через 15 лет? Может надо рассчитывать на ближайшие 4-5 лет, а к тому времени - мир изменится, и скорее всего? про слово "терабайт" применительно к HDD все забудут как сейчас о "мегабайтах" никто и не вспоминает.
12 апр 13, 11:25    [14171609]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
milana92
Guest
см.
hp
cisco
а детально - это уже вам решать.
мне лично cisco чуть больше нравится.
12 апр 13, 12:03    [14171874]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / Microsoft SQL Server Ответить