Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
Размер одного винта SAS - максимум 3Тб.

В традиционные серверы можна засунуть до 12 винтов.
Выходит что максимум можна получить 12*3=36Тб на сервере.
Ещё есть RAID и это минус какой-то обём от 36Тб.

Нужно что-то отдать под ОС и т.д.

Для БД останеться меньше 30Тб.

Если БД будет иметь размер, например 100Тб (число не важно, просто боооольшая БД), то какой чудо сервер нужно покупать и где его вообще можна найти?

Как и какое железо подобрать для БД больше 100Тб?
11 апр 13, 15:19    [14167642]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Вам чудо СХД надо ,а не чудо север
Смотреть Ентпрайз левел IBM, EMC
11 апр 13, 15:28    [14167731]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Да и вообще стоимсоть аппартного решения под такой обьем будет не кислой
СХД,Сервера,инфаструктура......
Если инетерестно то пишите в личку ,правда не думаю что у вас бюджет потянет сие ,честно
11 апр 13, 15:30    [14167744]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shakill
Member

Откуда: мск
Сообщений: 1880
Shovgenyuk
Размер одного винта SAS - максимум 3Тб.

В традиционные серверы можна засунуть до 12 винтов.
Выходит что максимум можна получить 12*3=36Тб на сервере.
Ещё есть RAID и это минус какой-то обём от 36Тб.


не минус какой-то, а объем уменьшится в два раза. если зеркала будут или raid10, например
11 апр 13, 15:36    [14167800]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shakill,

посему прощет аппратной плтформы под БД такого размера требует тщательной проработки
11 апр 13, 15:39    [14167836]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
Shovgenyuk
Как и какое железо подобрать для БД больше 100Тб?


А почему упоминается только объем? Где требования к IOPSам?! От этого очень много будет зависеть. Но в любом случае путь у Вас один - SAN.
11 апр 13, 15:43    [14167866]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Гость333
Member

Откуда:
Сообщений: 3683
Maxx
Вам чудо СХД надо ,а не чудо север

Чудо-сервер, весьма вероятно, тоже понадобится. Чтобы эти 100 терабайт нормально шевелились, а не задыхались от нехватки памяти/процессоров/etc.
11 апр 13, 15:44    [14167889]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Гость333,

ну можно чет вертикально маштабируемое брать типа ibm 3850m2 или страше , яж говорю ,что ето комлекс надо считать и строить,а не просто кудаб мне диски запихнуть
11 апр 13, 15:49    [14167938]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
Поставил тестовый проэкт что бы понять что и к чему, так как раньше с таким не сталкивался и задача была сложной и до конца неизвестной.

Данные сбрасывались в БД по сети.
За год набросали около 5Тб
Так как прэкт был тестовый то подключены были не все пользователи.
Есть пожелание от пользователей, что бы данные были доступны на протяжение 15 лет.

За год всем так понравилось что забыли о том что это был експеремент и счас шум и гам ...ДАВАЙ ДЕЛАЙ ВСЕМ, без этого дальше никак!!...

Прикинул
что если подключить всех желающих, то в год будет около 8Тб данных.
8*15=120Тб

Три первых года данные будут использоваться активно, а остальные 12 лет редко, но будут.

Счас стоит задача подобрать под это все какое-то апаратное решение и плюс ко всему надо что бы эта БД была доступна в режиме 24/7/365 и отказоустойчивая...
Тоесть надо что бы в случае аварии автоматом и очень быстро поднимался какой-то резервный сервер...
Ещё добавляеться задача по бекапированию...

Бюджет надо посчитать, но есть готовность руководства на очень серёзные затраты, потому что этого всем очень нужно...

Куда копать и как это всё соорудить?
11 апр 13, 15:49    [14167946]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
Shovgenyuk
Бюджет надо посчитать, но есть готовность руководства на очень серёзные затраты


На $1 500 000 (примерно) готовность есть?

ЗЫ. Про IOPSы так ничего и не сказано...
11 апр 13, 15:53    [14167978]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk
Счас стоит задача подобрать под это все какое-то апаратное решение и плюс ко всему надо что бы эта БД была доступна в режиме 24/7/365 и отказоустойчивая...
Тоесть надо что бы в случае аварии автоматом и очень быстро поднимался какой-то резервный сервер...
Ещё добавляеться задача по бекапированию...

Бюджет надо посчитать, но есть готовность руководства на очень серёзные затраты, потому что этого всем очень нужно...

Куда копать и как это всё соорудить?



УУУУУ ..... Мой вам совет - обратитесь хотя бы в Инком (Киев),мы строили похожие решения с 0 до ввода в работу,есть и опыт и команда ,и поставщики и сервис.Могу сказать прямо к кому обратиться.
11 апр 13, 15:54    [14167989]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
pkarklin
$1 500 000

похоже на правду
11 апр 13, 15:55    [14168000]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
pkarklin

На $1 500 000 (примерно) готовность есть?



Нет, на $ 300 000 , примерно есть готовность

pkarklin
ЗЫ. Про IOPSы так ничего и не сказано...


Что за IOPSы ?
11 апр 13, 15:57    [14168034]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk
$ 300 000

неа......у вас бюджета не хватет ,для такой "железяки" по хорошему ,скорее всего
Выж не учитываете,что кроме самого железа идут еще и лицензии на Память,на Процы которые едтя кучу денег
11 апр 13, 16:00    [14168061]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31444
Shovgenyuk
Как и какое железо подобрать для БД больше 100Тб?
Объём набрать не так сложно и дорого - покупаются внешние полки, втыкаются винты, и нет проблем. Винты сейчас ёмкие и недорогие (хотя бытовые конечно нельзя брать - нужно серверные или хотя бы ширпотребовские для RAIDов, типа WD RE)

Сложность в обеспечении производительности на таким объёме, плюс доступность, надёжность...
Нужно максимально подробно сформулировать требования, определить планируемую нагрузку на дисовую систему.
Раз система уже в эксплуатации, то вы сможете всё это сделать.

Далее можете обращаться к разным поставщикам, они вам помогут подобрать железо и посчитать, вы сравните.

Другие параметры железа (память, процессоры) зависят уже не столько от объёма, сколько от вашего приложения, тут вы наверняка сможете спрогнозировать, и там особых затрат быть не должно, раз вы не упоминали жуткую текущую нагрузку на процессоры.
Shovgenyuk
плюс ко всему надо что бы эта БД была доступна в режиме 24/7/365 и отказоустойчивая...
Тоесть надо что бы в случае аварии автоматом и очень быстро поднимался какой-то резервный сервер...
Ещё добавляеться задача по бекапированию...
Бакапы, резервный сервер, зеркало, отказоустойчивый кластер - много есть решений. Вы требования подробно формулируйте, лучше в нескольких вариантах, для каждого считайте стоимость, а то она может в разы отличаться в зависимости от того, например, сколько времени простоя допускается в год для вашего "24/7/365".
11 апр 13, 16:01    [14168068]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
stavgreengo
Member

Откуда:
Сообщений: 710
м-да, с такими познаниями мы просто нерационально используете имеющиеся деньги, пригласите на консультацию DBA специалиста и грамотно растолкуйте ему что вы вообще хотите, а он скажет что вам нужно. Самому крайне не рекомендую проявлять самодеятельность.
11 апр 13, 16:05    [14168108]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31444
Maxx
Shovgenyuk
$ 300 000

неа......у вас бюджета не хватет ,для такой "железяки" по хорошему ,скорее всего
Выж не учитываете,что кроме самого железа идут еще и лицензии на Память,на Процы которые едтя кучу денег
Это всё зависит от запросов к этой базе и требований к отказоустойчивости.

Для 24/7/365 конечно денег мало, для интенсивной нагрузки тоже, но понятие "интенсивная" у всех разное, а 24/7/365 может иметься в виду, что база работает круглосуточно, и восстановление из бакапа за сутки вполне устроит.

В общем, нужно требования писать, обязательно несколько вариантов, и считать, что бы почувствовать цену.
А то боссы говорят "при неисправности нужно переключение на резерв за 1 минуту", но когда узнают, что можно снизить цену с двух милионов до одного, если переключаться за полчаса... :-)
11 апр 13, 16:06    [14168117]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
alexeyvg,

знаю,проходили
посему и написал - что с кандычка сие не решаеться ,в самом начале топика
11 апр 13, 16:07    [14168125]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
понятно что буду приглашать специалистов и т.д.

Но сначала хочу покопаться и изучить "матчасть", так как придётся общаться с приглашёнными специалистами, а шарлатанов счас везде полно...
11 апр 13, 16:09    [14168133]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk,

Ети могут,проверенно. Хотя сам уже там не работаю
11 апр 13, 16:11    [14168148]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
если бюджета не хватит, то думаю как-то делить на две части:
1) данные за три года (~24Тб) - которіе используються относительно часто и активно
2) данные за 12 лет-которые не меняються и должны быть доступны только для чтения и не очень часто и доступ может предоставляться по запросу: типа пользователь делает какую-то заявку, указывает какие данные ему нужны (дату и т.д.), и через несколько часов получает эти данные.
11 апр 13, 16:14    [14168170]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Shovgenyuk,

пункт 2 можно решить через файловую группу лежащуюю на "дешевом" массиве , опять если она рид онли -то и бекапить ее сильно часто не надо
11 апр 13, 16:16    [14168186]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31444
Shovgenyuk
если бюджета не хватит, то думаю как-то делить на две части:
1) данные за три года (~24Тб) - которіе используються относительно часто и активно
2) данные за 12 лет-которые не меняються и должны быть доступны только для чтения и не очень часто и доступ может предоставляться по запросу: типа пользователь делает какую-то заявку, указывает какие данные ему нужны (дату и т.д.), и через несколько часов получает эти данные.
Может, у вас данные - это файлы? тогда можно не хранить всё непосредственно в СУБД, хранить просто в файловой системе. Можно так же использоать тип filestream, он будет это делать прозрачно для существующего кода.
11 апр 13, 16:24    [14168230]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Shovgenyuk
Member

Откуда: Ивано-Франковск-Киев
Сообщений: 462
alexeyvg
Может, у вас данные - это файлы? тогда можно не хранить всё непосредственно в СУБД, хранить просто в файловой системе. Можно так же использоать тип filestream, он будет это делать прозрачно для существующего кода.


Да, счас большая часть данных - это файлы
И этих файлов ооочень большое количество и все они маленького размера.

Но софт можна настроить так что файлов на диске не будет, они могут храниться у самой БД.
11 апр 13, 16:30    [14168273]     Ответить | Цитировать Сообщить модератору
 Re: Сервер для базы данных большого размера  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
так вам файловый сервер нужен или сервер СУБД все таки ?
11 апр 13, 16:31    [14168283]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить