Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5 6   вперед  Ctrl      все
 Re: Помогите выбрать дисковый расклад  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
vino

...Извините! копипаст подвел. Это, конечно, мой ответ:
Да и RAID6 не стоит так унижать (все-таки отказоустойчивость RAID6 в два диска против одного RAID5):
1) вычислительные мощности растут и дешевеют, так что возможно появление адекватных контроллеров
2) актуально уменьшение количества железа на "файлопомойках" (активно работающих шпинделей)


Я не знаю, как в медиахранилищах (в них я ничего не смыслю), а вот для базы данных ребилд одного вышедшего из строя диска даже на RAID5 становится катастрофой, я уже не говорю о RAID6...
Все проблемы RAID не от контроллеров, а от того, что несколько монополистов-вендоров до сих пор заставляют всё человечество использовать в серверах технологии середины прошлого века :( Стыдно подумать, что мы с вами вынуждены использовать устройства с механическим приводом (HDD), которые по всем показателям тормозят, в прямом и переносном смысле... эх :(
Посмотрите, часто ли используют зеркалирование банков оперативной памяти? ...в 99% жизненных ситуаций в этом нет необходимости... Т.ч. не надейтесь на улучшение этих допотопных технологий, надейтесь на скорую их замену :)
23 апр 09, 13:03    [7104069]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
Александр, ты случано не планируешь доклад на клубе на тему дисковых хранилищ? ;)
23 апр 09, 13:07    [7104119]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
DeColo®es
Александр, ты случано не планируешь доклад на клубе на тему дисковых хранилищ? ;)


https://www.sql.ru/forum/actualthread.aspx?bid=1&tid=657016&pg=2#7096867
23 апр 09, 13:51    [7104485]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
Александр Гладченко
https://www.sql.ru/forum/actualthread.aspx?bid=1&tid=657016&pg=2#7096867
Упс. Не заметил.
С моей стороны будет доклад "про счетчики" (генераторы).
23 апр 09, 15:06    [7105153]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
Александр Гладченко

Все проблемы RAID не от контроллеров, а от того, что несколько монополистов-вендоров до сих пор заставляют всё человечество использовать в серверах технологии середины прошлого века :( Стыдно подумать, что мы с вами вынуждены использовать устройства с механическим приводом (HDD), которые по всем показателям тормозят, в прямом и переносном смысле... эх :(
Посмотрите, часто ли используют зеркалирование банков оперативной памяти? ...в 99% жизненных ситуаций в этом нет необходимости... Т.ч. не надейтесь на улучшение этих допотопных технологий, надейтесь на скорую их замену :)

Вы знаете более скоростные устройства энергонезависимого хранения со сравнимым с HDD ресурсом?
Даже качественная оперативная память пока еще слишком дорога, что уж говорить об энергонезависимых изделиях. Да и в 99% случаях выхода из строя серверных HDD виноваты пользователи, а не брак при производстве. Однако ж зеркалом подстраховать полезно и от оставшегося процента. Опять же - технологии обнаружения или коррекции "на лету" для ОП - тоже вид страховки. А страховка - она как в жизни - качество процесса не улучшает, а затрат прибавляет
23 апр 09, 16:06    [7105718]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
vino
Вы знаете более скоростные устройства энергонезависимого хранения со сравнимым с HDD ресурсом?
Вопрос как раз в том, что их нет.
Хотя за те деньги, которые производителия просят за решения на десяток-другой дисков можно собрать например нечто на оперативной памяти с приличной батарейкой и одним ба-альшим устройством долговременного хранения на "обычном" HDD или Flash.
В большинстве случаев ведь объем даже одного самого мальнекого диска в 74Gb уже достаточен, чтобы вместить большинство баз. Но для того, чтобы это решение стало действительно быстрым одного диска мало - нужно платить очень немаленькие деньги за счастье иметь набор отдельных шпинделей, при этом их объем будет использоваться неэффективно.
Так в чем проблема - сделать плату со 128Гб памяти, батарейкой и подключаемым по SATA диском для фонового сброса данных для долговременного хранения?
Скорее всего и правда в том, что такой платы хватит для большинства баз в мире и рынок больших систем хранения сузится в разы.
23 апр 09, 22:44    [7107641]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
DeColo®es
vino
Вы знаете более скоростные устройства энергонезависимого хранения со сравнимым с HDD ресурсом?
Вопрос как раз в том, что их нет.
Хотя за те деньги, которые производителия просят за решения на десяток-другой дисков можно собрать например нечто на оперативной памяти с приличной батарейкой и одним ба-альшим устройством долговременного хранения на "обычном" HDD или Flash.
В большинстве случаев ведь объем даже одного самого мальнекого диска в 74Gb уже достаточен, чтобы вместить большинство баз. Но для того, чтобы это решение стало действительно быстрым одного диска мало - нужно платить очень немаленькие деньги за счастье иметь набор отдельных шпинделей, при этом их объем будет использоваться неэффективно.
Так в чем проблема - сделать плату со 128Гб памяти, батарейкой и подключаемым по SATA диском для фонового сброса данных для долговременного хранения?
Скорее всего и правда в том, что такой платы хватит для большинства баз в мире и рынок больших систем хранения сузится в разы.

Не кажется ли Вам, что речь о специализированном компе со специализированной БД со 128Гб ОП?
Думаю, проблема не в том чтобы такое сделать, хотя объем ОП в 128Гб требуют довольно сложных технологий и денег нежели давно отработанные HDD
23 апр 09, 22:55    [7107669]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
vino
Не кажется ли Вам, что речь о специализированном компе со специализированной БД со 128Гб ОП?
Хм... Мы же не называем жесткий диск или дисковое хранилище "компом"? ;)
А суть-то таже - есть "быстрая" ненадежная память, есть память долговременная, но медленная.

vino
Думаю, проблема не в том чтобы такое сделать, хотя объем ОП в 128Гб требуют довольно сложных технологий и денег нежели давно отработанные HDD
Ну, так и 128Гб - это много.
Существенный процент баз и в 16-32 уложится, что уже совсем реально и недорого, тем более, что для такого объема в качестве долговременной памяти можно использовать уже "бытовые" на сегодняшний день Flash.
24 апр 09, 01:05    [7107896]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
kampuz
Member

Откуда: Красноярск
Сообщений: 96
и что флэш память на сегодняшний день работает быстрее по записи чем жесткие диски?
24 апр 09, 05:46    [7107977]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
kampuz
и что флэш память на сегодняшний день работает быстрее по записи чем жесткие диски?
За скорость отвечает обычная память, флэш нужен строго на время выключения компьютера.
24 апр 09, 10:36    [7108746]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
DeColo®es, увы, ресурс флэш по записи пока еще слишком мал по сравнению с магнитной. Но не нужно пессимизма - уже флэш-диски повсеместно используются там, где скорость записи не так важна, как отсутствие движущихся деталей. Есть правда еще одна проблема - скорость многопоточной записи. Если вспомнить, что внутренняя скорость чтения/записи в HDD уже перевалила за Гигабайт, а распараллеливание - дело кэша и алгоритмов, то флэшкам тоже надо встраивать буферизацию, что делает их пока существенно дороже HDD. И не забудьте, что физическое чтение-запись распараллелить на флэш-памяти тоже не последняя проблема. Как думаете, почему? Потому же, почему для ускорения передачи данных переходят от синхронных к асинхронным интерфейсам.
24 апр 09, 11:55    [7109399]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
vino
DeColo®es, увы, ресурс флэш по записи пока еще слишком мал по сравнению с магнитной.
Еще раз... :)
За чтение и запись в предлагаемом решении отвечает не флэш или HDD, а RAM.
По сути почти ничего не меняется по сравнению с "обычным" кэш-контроллером, за тем исключением, что чисто идеологически кэш контроллера и сам "диск" меняются ролями - долговременное хранилище перестает быть "основным", а "кэш" становится именно основным хранилищем с точки зрения работающей системы. Соответственно "диск" - это именно оперативная память на контроллере. Если стоит 16Гиг "кэша" - значит и диск ограничен этими 16Гб. Но зато и скорость обмена с диском зависит уже только от производительности шины, в которую воткнут контроллер и скорости обмена с памятью. На диск данные вообще сбрасывать ненужно.

Контроллер можно удешевить за счет того, что выкинуть сложную логику (хитрые RAID, переупорядочивание запросов и т.д.), навороченные интерфейсы (SCSI, SAS, оптика).
Нам не нужно уметь быстро сбрасывать на диск - мы должны только следить за соотношением заряда батареи и объемом несброшенных изменений. Ну можно ради надежности поставить простейший RAID1 на 2 диска.
В случае флеш-накопителя, достаточно вообще при отключении питания или критическом заряде батареи сбрасывать изменившиеся данные. Вряд ли это будет происходить чаще, чем раз в месяц - ресурса вполне должно хватить.
24 апр 09, 15:32    [7111391]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
DeColo®es, эта схема не нова
Берем любой надежный сервер: вставляем ему ОП, чтобы вся БД туда вошла и еще на программы осталось, обеспечиваем бесперебойным питанием, запрещаем свопинг и запускаем БД - все работает! А миниатюризация такого сервера до размера одной платы - это задача совершенно не связанная с производительностью.
24 апр 09, 15:42    [7111458]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
Не совсем.
Скажем, так, сбалансированный сервер, в который можно установить больше 16Гб оперативки, будет заведомо дороже специализированной платы с тем же объемом памяти на борту.
26 апр 09, 22:33    [7115599]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
DeColo®es
Не совсем.
Скажем, так, сбалансированный сервер, в который можно установить больше 16Гб оперативки, будет заведомо дороже специализированной платы с тем же объемом памяти на борту.

Так вот в чем проблема, оказывается
На самом деле эти пределы по ОП связаны с техническими трудностями, так что трудно подсчитать, намного ли дешевле выйдет такая спец.плата
27 апр 09, 17:08    [7119609]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
[quot vinoНа самом деле эти пределы по ОП связаны с техническими трудностями, так что трудно подсчитать, намного ли дешевле выйдет такая спец.плата[/quot]Хм...
Ну какие там трудности... Не верю (С).
Материнка MSI P45 ZILENT поддерживает 16Гб, стоит меньше 7 т.р.
Контроллер с onboard кэшем обойдется в 10-20т.р.
Если объединить возможности этих дейвайсов и "технологические трудности", они намного превзойдут требования, предъявляемые к одной плате в разы.

На примере "навороченных" материнок видно, что само производство "плат", в которые можно набить много-много памяти стоит в общем-то копейки.
На примере контроллера видим, что даже разработка технологий (у контроллеров больше нагрузка как раз стоимости дизайна на себестоимость в силу малосерийности) тоже не делает цену устройства космической. (Кстати, дисковый контроллер за такие деньги по-любому в сервере стоит. ;) )

Оперативка стоит 500-1000р за гигабайт. Тем более, что там самая быстрая в общем-то не нужна.
Так что 32Гб "плата" при более-менее серийном производстве обойдется не дороже одного навороченного 16-ти канального контроллера (без дисков).
27 апр 09, 17:32    [7119815]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
DeColo®es, посмотрите хотя бы на один достаточно старый девайс
О простой и быстродействующей оперативке с батарейкой, тем более дешевой, не стоит и говорить - батареи нужны мощные. Поэтому-то флэш-память и в развитии.
А сервера со 128 Гб сейчас без проблем купить - были бы деньги
27 апр 09, 18:48    [7120188]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
vino
DeColo®es, посмотрите хотя бы на один
Брррр...
1) Кто бы объяснил, почему вместо того, чтобы сделать нормальный контроллер на самой плате, они использовали SATA "loopback"?
2) Ну почему не сделали такую элементарную вещь, как доп. разъем питания?
Ведь тогда можно было сделать вообще универсальную плату под разные "шины".


vino
О простой и быстродействующей оперативке с батарейкой, тем более дешевой, не стоит и говорить - батареи нужны мощные. Поэтому-то флэш-память и в развитии.
А сервера со 128 Гб сейчас без проблем купить - были бы деньги
Так в том и вопрос...
Сервер со 128Гб будет не 5 копеек стоить - придется платить за соответствующий корпус, 2 сокета, встроенный недорейд на материнке и т.д.
Во-вторых, к сожалению не всегда получается заставить сервер использовать память, как кэш. Например, нужно как-то поднять базу в буфер после холодного старта.
Быстродействие же оперативки вообще роли не играет - она обгонит любой дисковый интерфейс в любом случае.
Ну а батарейку... Вот уж не проблема - доплатить "лишние" $20 за большую емкость.
27 апр 09, 22:31    [7120668]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
[quot DeColo®esТак в том и вопрос...
Сервер со 128Гб будет не 5 копеек стоить - придется платить за соответствующий корпус, 2 сокета, встроенный недорейд на материнке и т.д.
Во-вторых, к сожалению не всегда получается заставить сервер использовать память, как кэш. Например, нужно как-то поднять базу в буфер после холодного старта.
Быстродействие же оперативки вообще роли не играет - она обгонит любой дисковый интерфейс в любом случае.
Ну а батарейку... Вот уж не проблема - доплатить "лишние" $20 за большую емкость.[/quot]
Когда покупается сервер со 128 Гб для БД - это и есть "все в одном". Для него не нужен хитрый недораид - достаточно встроенного RAID1 (правда, к сожалению, мне HotSwap пока не встречался).
Чтобы заставить использовать этот объем ОП, достаточно умной СУБД, ну или - как минимум - эмуляция RAMDISK'а. Тогда и необходимость в остальных уровнях RAID полностью отпадает.
А для повышения надежности лучше использовать тиражирование на разные СУБД, которые физически разнесены по миру - тогда-то и будет настоящая надежность, да и быстродействие при надлежащих клиентских алгоритмах тоже повышается.
28 апр 09, 11:39    [7122174]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
vino
Member

Откуда:
Сообщений: 1191
DeColo®es, да, по поводу надежных накопителей, более перспективных чем простой RAM в обертке
28 апр 09, 11:41    [7122194]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
http://www.rusdoc.ru/articles/ssd-nakopitel_ocz_z-drive_objemom_do_1_tb/18520/
28 апр 09, 13:13    [7122758]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
Не думаю, что 450Мб/сек - это именно то, о чем мечтают все DBA, но неплохо, что рынок шевелиться начал.
28 апр 09, 13:22    [7122821]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
V. Goncharenko
Member

Откуда:
Сообщений: 126
vino,

завязывали бы Вы со словоблудием, а ?
28 апр 09, 16:24    [7124305]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5503
Блог
Вот действительно достойное сервера решение.
28 апр 09, 20:12    [7125735]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать дисковый расклад  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
DeColo®es
Александр, ты случано не планируешь доклад на клубе на тему дисковых хранилищ? ;)


https://www.sql.ru/forum/actualthread.aspx?tid=663174
12 май 09, 13:26    [7169523]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5 6   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить