Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
 MS SQL Server & SSD  [new]
Ckey
Member

Откуда:
Сообщений: 56
Привет Всем, помогите пожалуйста нийти истину.
Поставленая цель: сумашедше быстрая база на рид и SSRS, SSAS
зачем: пользователям ныжно обень быстро отображать отчеты, которые содержат очень много данных. Примерно отчет будет содержать 50 тыс. записей с десятка таблиц по 100 тыс-1 мл записей.
Что есть на данный момент:
сервер:
System Manufacturer: HP
System Model: ProLiant DL380 G5
Part Number: 470064-447
Processor(s): 2 Processor(s) Installed. Intel Xeon E5310, 1.60 Ghz
[01]: Intel64 Family 6 Model 15 Stepping 7 GenuineIntel ~1600 Mhz
[02]: Intel64 Family 6 Model 15 Stepping 11 GenuineIntel ~1600 Mhz
Total Physical Memory: 16,382 MB, может быть увеличина до 32 гб (надеюсь, не проверял).
Система:
Windows Server 2012 Standard
Microsoft SQL Server 2008 R2 (SP2) - 10.50.4000.0 (X64) Standard Edition (64-bit) возможет вариант с SQL Server 2012 Standard (пока над этим не задумывался, но есть лицензии)
База данных:
DBsize_MB file_Size_MB
548120.07 528024.38
файлы базы:
Logical_Name SizeMB Group
Data_File1 236734 MDF
Log 20095 LDF
idx_File1 204790 NDF
Data_File2 36700 NDF
idx_File2 49800 NDF

Обновление базы наежечасовой основе, порядка 300 мб.
Чтобы база не росла, старые данные будут удаляться с интервалом в месяц.

Если нужно еще что-то, дайте знать пожалуйста.

И так, сомое интересное, нужно найти SSD SAS которые будут иметь возможносты выдержать больше нагрузки и частое чтение.
+ каждые из выше упомянутых файлов должен быть расположен на своем физическом диске.
Темпдб файлов, будет столько, сколько виртальных ядер. Это буде првильно?

Что посоветуете на счет конфигурации и на какие диски стоит обратить внимание.
В какои дейде эти диски лучше всего себя будут чувствовать, с учетом того, что все будет на SSD (система и сиквел).

Чесно говоря, я только недавно начал вникать в детали, так что опыта у меня не много, точнее очень мало.
Вашапомощь будет уместна.

Спасибо заранее
10 апр 14, 22:15    [15865176]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 33930
Блог
Ckey,

не взлетит )

1) 50 тыс записей пользователь не сможет проанализировать своими глазами
2) если все же есть такое желание, то посмотрите сначала на сеть, во сколько МБ превратятся эти 50 тыс, может у вас тут узкое место?
3) если у вас в SSAS активно используется MDX, то ограничением будет скорость 1 ядра процессора, т.к. расчетная подсистема SSAS однопоточна, а у вас всего 1.60 Ghz

и не совсем ясно, что вы оптимизируете, DWH или кубы?
10 апр 14, 23:15    [15865329]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37050
Хотите быстро - в топку SAS. PCE-E наше все: ioDrive2

Ну и 512 Гб памяти не очень дорого нынче.

Сообщение было отредактировано: 11 апр 14, 00:05
11 апр 14, 00:03    [15865452]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Гавриленко Сергей Алексеевич
Хотите быстро - в топку SAS. PCE-E наше все: ioDrive2

Ну и 512 Гб памяти не очень дорого нынче.


Не фонтан эти ioDrive2 при такой то цене.


ТС

Какой бюджет на железо?
9 июл 14, 14:31    [16281226]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Гавриленко Сергей Алексеевич

Ну и 512 Гб памяти не очень дорого нынче.


Это однозначно.
На 32 ГБ ОЗУ - берите тогда не ксеон, а Intel Extrim Edition - больше толку будет.
9 июл 14, 14:32    [16281240]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37050
Volochkova
Не фонтан эти ioDrive2 при такой то цене.
Чем же "не фонтан"? Кроме цены?
9 июл 14, 14:52    [16281406]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Knyazev Alexey
Member

Откуда: Екб -> Мск
Сообщений: 10234
Блог
Критик
1) 50 тыс записей пользователь не сможет проанализировать своими глазами

+100500 никогда не понимал смысла в таких отчётах...тупо чтобы было? Буквально сегодня слышал жалобы, что SSRS при построении отчёта с 100 000 записями тормозит и какой же ужасный этот SSRS...так и хотелось сказать, что по определению таким отчётом подтереться нужно...
9 июл 14, 14:57    [16281456]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Shakill
Member

Откуда: мск
Сообщений: 1880
Ckey
зачем: пользователям ныжно обень быстро отображать отчеты, которые содержат очень много данных.
как вы представляете рабочий процесс такого пользователя? что говорит сам пользователь?
9 июл 14, 15:06    [16281535]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Crimean
Member

Откуда:
Сообщений: 13148
Shakill,

не поверите, в эксель грузят и там после "крутят"
9 июл 14, 15:39    [16281802]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Shakill
Member

Откуда: мск
Сообщений: 1880
Crimean,
а для чего тогда требование "очень быстро", будто пользователь скачет с одного отчета на другой?
и, может, в таком случае стоит отдавать сформированный экселевский файл, а не выводить на экран через ssrs
9 июл 14, 15:43    [16281839]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Konst_One
Member

Откуда:
Сообщений: 11538
вообще странная идея получать оперативные данные с сервера SQL через отчёты SSRS.
может нужно таким пользователям(менеджерам) дать другой инструмент для доступа к оперативным данным?
9 июл 14, 15:49    [16281886]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
WarAnt
Member

Откуда: Питер
Сообщений: 2421
Shakill
Ckey
зачем: пользователям ныжно обень быстро отображать отчеты, которые содержат очень много данных.
как вы представляете рабочий процесс такого пользователя? что говорит сам пользователь?


я да примерно представляю как выглядит этот пользователь:)
9 июл 14, 15:53    [16281925]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Гавриленко Сергей Алексеевич
Volochkova
Не фонтан эти ioDrive2 при такой то цене.
Чем же "не фонтан"? Кроме цены?


Цена / Скорость.

Этот "понт" проигрывает банальной 10 ке из 8 SSD. И по объему и по скорости.
10 июл 14, 02:03    [16284259]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Crimean
Shakill,

не поверите, в эксель грузят и там после "крутят"


Для этого давно сводные таблицы существуют и SSAS OLAP.
10 июл 14, 02:07    [16284264]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
rahzer
Member

Откуда:
Сообщений: 2294
Менять сервак, как минимум..
Не буду углубляться в тонкости железа, но Г5 уже и далеко не торт по всем мощностям, они по 10 тысяч на барахолке идут..
Если надо SSD, то как минимум S3500\3700, но текущее железо их не переварит и бутылочное горло будет
10 июл 14, 03:33    [16284320]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
vlavr
Member

Откуда:
Сообщений: 39
Если касаться только дисковой подсистемы, то мы переходили на SSD диски с оракловой базой из-за необходимости очень быстрой записи множества транзакций. Уменьшение времени записи одной транзакции составило примерно с 30 мс до 5-9 мс.
Диски использовались SLC 64 Gb, малоемкие, очень дорогие, но имеющие максимум циклов записи.
Сейчас ИМХО оптимально брать для этих задач eMLC ( на эту тему http://en.wikipedia.org/wiki/Multi-level_cell ) и обязательно делать RAID с хорошим контроллером, который не просаживает скорость работы с SSD SATA дисками, т.е. имеет IOPs на уровне используемых SSD дисков. RAID нужен, чтобы система работала с запиленным диском и его можно было заменить без останова системы.
Если база очень большая, то оптимально разделить хранение - на SSD хранить самые критичные к скорости данные.
10 июл 14, 10:26    [16284996]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37050
Volochkova
Гавриленко Сергей Алексеевич
пропущено...
Чем же "не фонтан"? Кроме цены?


Цена / Скорость.

Этот "понт" проигрывает банальной 10 ке из 8 SSD. И по объему и по скорости.
И куда 8 SSD пихать? В дисковую полку? А если у меня 8 таких "понтов" в сервер влезает?

По скорости не все так однозначно. Да, если смотреть чистые спецификации и опустить влияние рейд-контроллера в случае с "банальной десяткой", то 8 SSD выдают в два раза больше IOPS на чтение, но, внезапно, в два раза меньше на запись.

Объем? Да, на дисках больше получится.

Цена? Ну сколько вы SSD в корпус напихаете? Много не влезет. Надо покупать полки, hba, свичи и прочую лабудень, которая превращает якобы дешевую "банальную десятку" в уже не такую дешевую. Ну и скорости при этом падают.

Так что я бы не спешил с выводами.

З.Ы. По SSD смотрел эту спецификацию на первый попавшийся диск - http://www.intel.com/content/dam/www/public/us/en/documents/product-specifications/ssd-dc-s3700-spec.pdf

Сообщение было отредактировано: 10 июл 14, 13:20
10 июл 14, 12:32    [16285840]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Гавриленко Сергей Алексеевич
Volochkova
пропущено...


Цена / Скорость.

Этот "понт" проигрывает банальной 10 ке из 8 SSD. И по объему и по скорости.
И куда 8 SSD пихать? В дисковую полку? А если у меня 8 таких "понтов" в сервер влезает?

По скорости не все так однозначно. Да, если смотреть чистые спецификации и опустить влияние рейд-контроллера в случае с "банальной десяткой", то 8 SSD выдают в два раза больше IOPS на чтение, но, внезапно, в два раза меньше на запись.

Объем? Да, на дисках больше получится.

Цена? Ну сколько вы SSD в корпус напихаете? Много не влезет. Надо покупать полки, hba, свичи и прочую лабудень, которая превращает якобы дешевую "банальную десятку" в уже не такую дешевую. Ну и скорости при этом падают.

Так что я бы не спешил с выводами.

З.Ы. По SSD смотрел эту спецификацию на первый попавшийся диск - http://www.intel.com/content/dam/www/public/us/en/documents/product-specifications/ssd-dc-s3700-spec.pdf


Это хорошо что у Вас 8 в сервер входят, знакомый собственник тоже повелся на HP и 6 впихнул. Теперь мается - места мало, работает медленнее, чем мой вариант. А я потратил в 3-4 раза дешевле денег, а скорость в итоге в 8 раз выше чем на теме HP.

Есть сервера - до 72 ssd можно вставить.
Получится все равно дешевле.
А про провал производительности - не знаю, у меня тесты производительности показали что скорость записи даже выше скорости чтения.

После того как у меня в руках были и Fusion и обычные SSD - вопросов у меня нет.
Цена и производительность - не на стороне Fusion.

Тесты делались на базе в 400 гигабайт, запросы и ftx.
10 июл 14, 14:14    [16286767]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37050
Volochkova
Есть сервера - до 72 ssd можно вставить.
Есть сервера, куда 10Tb фьюжны влезают.

Volochkova
а скорость в итоге в 8 раз выше чем на теме HP
Не знаю, надо детали смотреть (какие были фьюжны - первые или вторые? - и какое было все остальное). К тому же фьюжены требовательны к питанию и могут резать производительность если им его не хватает.

Но если уж охота масштабироваться до посинения, то надо брать какой-нибудь IBM Flash в количествах, на которые хватит бюджета.
10 июл 14, 14:30    [16286903]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
rahzer
Member

Откуда:
Сообщений: 2294
автор
Хотите быстро - в топку SAS. PCE-E наше все: ioDrive2

Не забывайте, что PCI-Eх есть разных скоростей, под рэйд-контроллер выделяют самую быструю, а для периферии оставляют помедленнее. И может получиться так, что напихаете Вы в слоты PCI-Eх быстрых модулей, но сама шина будет узким местом и профита будет немного.
Такое решение требует не совсем стандартной разводке платы, поэтому оно и не получило сильного распространения, что в серверах, что в СХД.
автор
Ну сколько вы SSD в корпус напихаете? Много не влезет

Есть вполне себе корпуса с корзинами на 24 диска, есть и больше. Но я в них смысла не вижу, проще уж СХД купить. Кроме этого, напихать ioDrive2, тоже вполне проблематично, даже если опустим проблемы с разводкой. У ТС еще и сервак старый, там у него PCI-Ex пара слотов, да и те медленные.
автор
Надо покупать полки,

Я бы не говорил во множественном числе в данном случае) Тем более, что иодрайвов, вы так же не сможете много напихать, а если и напихаете, то шина не переварит.
автор
свичи

Их то зачем?
автор
Ну и скорости при этом падают

В пределах разумного при передаче\конвертации сигнала, но не критично.
10 июл 14, 14:37    [16286958]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Гавриленко Сергей Алексеевич
Volochkova
Есть сервера - до 72 ssd можно вставить.
Есть сервера, куда 10Tb фьюжны влезают.

Volochkova
а скорость в итоге в 8 раз выше чем на теме HP
Не знаю, надо детали смотреть (какие были фьюжны - первые или вторые? - и какое было все остальное). К тому же фьюжены требовательны к питанию и могут резать производительность если им его не хватает.

Но если уж охота масштабироваться до посинения, то надо брать какой-нибудь IBM Flash в количествах, на которые хватит бюджета.


Дисками я получаю 24 ТБ SSD на дисках в одном сервере, без полок, при том что около 10 дисков уходят на hotspare.

Вопрос масштабирования не рассматриваю.

Я исключительно за сервер , диски ssd против Fusion.
Получается дешевле, производительнее.

По скоростям - собственник, с fusion теперь кусает локти и копит деньги на нормальный сервер.
10 июл 14, 14:37    [16286959]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37050
rahzer
Не забывайте, что PCI-Eх есть разных скоростей, под рэйд-контроллер выделяют самую быструю, а для периферии оставляют помедленнее. И может получиться так, что напихаете Вы в слоты PCI-Eх быстрых модулей, но сама шина будет узким местом и профита будет немного
Если мы упираемся в шину, то особого профита не будет ни от чего - ни от фьюжнов, ни от ssd, рейд-контроллер для которых воткнут туда же, ни от полок, которые в итоге через hba или еще что втыкаются опять в те же слоты.

И потом, чтобы упереться в шину, надо выбирать весь bandwidth всех этих железяк, чего при работе с oltp-бд обычно не наблюдается, ибо основое io - мелкое и рандомное. В таком случае уже роляет не пропускная способность, а отклик железяки. Поэтому как ни крути, отклик железяки, воткнутой напрямую в PCI-слот все равно выше, чем отклик железяки, подключенной или просто в контроллер, или в контроллер а потом еще и в hba.
rahzer
По скоростям - собственник, с fusion теперь кусает локти и копит деньги на нормальный сервер.
Что-то я логики не прослеживаю. На "дорогое и медленное" решение он деньги нашел, а на "быстрое и дешевое" у него внезапно не нашлось?
10 июл 14, 14:58    [16287100]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Volochkova
Member

Откуда:
Сообщений: 2321
Гавриленко Сергей Алексеевич
Что-то я логики не прослеживаю. На "дорогое и медленное" решение он деньги нашел, а на "быстрое и дешевое" у него внезапно не нашлось?


Так вот, кончились денежки у него. А с больших трат, не получил должной отдачи.

То что FUSION будет воткнут в те же порты что и SSD - я с Вами полностью согласна.
Но за меньшие деньги, можно получить решение, в те же объемы = меньше PCI-X портов придется занять при равных объемах массивах и итого скорости.

У меня на руках отличные факты, и на fusion меня не заманишь.
Я предпочту "лишние" деньги потратить на другие цели, чем на fusion.
10 июл 14, 15:07    [16287163]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
GordonF
Member

Откуда:
Сообщений: 39
Купить нормальную внешнюю систему хранения на SSD и не париться всякими фюжинами или десктопными ссд.
11 июл 14, 17:29    [16293412]     Ответить | Цитировать Сообщить модератору
 Re: MS SQL Server & SSD  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10729
Блог
Тестировал несколько решений на MLCe, Самым выгодным считаю FusionIO. Если использовать массивы на внутреннем бэкплейне, нужен дорогой контроллер, что бы составить конкуренцию PCIe. Да и шпинделей понадобиться больше, если требования к записи высокие. Внешний массив, типа 840-го флеша, закрутиться достойно только если его всего забить до предела и подключать по оптике 16Гб. Иначе, вам HBA-шек понадобиться не меньше, чем плат FusionIO.
Осенью появится третье поколение FusionIO. Я в конце августа должен получить одну плату на 5Тб для тестов, тогда расскажу, насколько стало круче :) ...одно уже сейчас из анонсов известно, больше не будет нужды в дополнительном питании, т.ч искать в серверах молексы больше не будем...
ИМХО, спор тут не имеет смысла, если производительности внутреннего рейда хватает, нет смысла переплачивать. Если же бюджет позволяет покупать PCIe и внешние SSD полки, тогда можно так "задрать" производительность, что системный монитор будет писать стыдливые ошибки о переполнении диапазона значений переменных
Вообще, SSD настолько хороши, что мы практикует все три решения в одном сервере.
14 июл 14, 13:06    [16300943]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить