Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Перед о мной стоит задача выбора железа для сервера.
Что представляет из себя сервер и его задачи:
1) Данных примерно 35-45 Терабайт в год.
Горячих данных примерно 0.5-1 терабайт.
2) Количество пользователей 5-10
3) Запросы очень емкие, один отчет может выбирать до 0,5 терабайт данных
4) Ежесекундно на сервер льется 2000 строк, что выливается в 20000 транзакций в секунду, это примерно 1 мегабайт на запись в секунду 24на7. В день это 86 Гигабайт в день.
5) т.е. запросы к подсистеме IO это много операций на разбросанное чтение и немного но очень больших операций на последовательное чтение.
6) Что будет стоять на сервере? Oracle DB + Oracle BI


На какие вопросы я хочу получить ответ:
1) Выбор массива RAID
Я остановился пока на RAID 10. Все остальные имею маленькую скорость случайно записи.

2) Выбор дисков
Мое видение 32 SSD in RAID 10 + 16 SSD RAID 0 () + 16 SAS RAID 10
С маркой винта определиться сложно, разброс за цену 1 Гб очень большой,
от 35 рублей Seagate ST120HM000 до 165 рублей OCZ TL2RSAK2G2M1X-0200

Склоняюсь к этому варианту.
OCZ D2RSTK251E19-0100 eMLC
http://ocz.com/enterprise/deneva-2-sata-ssd/rs-emlc-specifications
Из плюсов:
Up to 16PB перезаписи.
Скорость.
Цена.

Так же думаю рассмотреть Seagate ST200FM0073
http://www.seagate.com/ru/ru/internal-hard-drives/solid-state-hybrid/1200-ssd/
Плюсы:
Серверный интерфейс SAS уменьшающий число ошибок по сравнению с SATA
пропускная способность канала 12Gb/s в 2 раза больше чем у SATA
Минусы:
Цена неизвесна.
Меньше циклов презаписи.

3)
Сколько и как ставить over-provision?
Встроен ли он в серверные винты, как объяснить это контроллеру?


3) Выбор контроллера RAID
У меня 1 том под горячие, 1 под Oracle TEMP + UNDO + ORACLE BI CACHE, 1 под обычные данные.
У меня должно быть 3 контроллера?

Знаю например что Контроллер Adaptec ASR-7805Q SGL держит 12-16 SSD.

32 SSD в параллельном чтении это 2 000 000 IOPS в секунду на пике, какой контроллер это потянет?
Где посмотреть количество IOPS которые тянет контроллер, ни в одной спецификации не видел?

Как объяснить контроллеру про over-provision?

4) Вопрос по замени дисков, их отказаучтойчивости


5) Выбор процессора который справится с таким объемом информации
Есть золотое правило по которому на одно ядро должно приходится по 50 мегабайт в секунду. 1 диск ssd дает скорость в 400 мб/c * 32 = 12 800 мб/c / 50 = 256 ядер, это звучит нереально
Xeon vs SPARC
Какой Xeon выбрать?

6) Какое количество памяти
Я думаю 64 Гб вполне хватит?
19 авг 13, 20:34    [14727648]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 51752

Skulll
Я остановился пока на RAID 10. Все остальные имею маленькую скорость случайно
записи.

Зато не теряют абсолютно все данные при выходе из строя двух дисков. Лучше смотри в
сторону RAID 6.

Posted via ActualForum NNTP Server 1.5

19 авг 13, 20:45    [14727678]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4916
Блог
Однозначно с точки зрения лицензирования ставить BI и Database на одну железку я не стал бы.
А, вообще, такой большой DWH на Oracle это в 99% Exadata либо SuperCluster - очень сильно поможет сжатие и от многих индексов можно будет отказаться.
Оперативной памяти однозначно чем больше тем лучше. На современных системах лучше от 1 ТБ.
19 авг 13, 21:07    [14727724]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
-2-
Member

Откуда:
Сообщений: 15330
Skulll
1) Данных примерно 35-45 Терабайт в год.
Выбирать контроллеры, тип рейда и дисков? Внутрь писюка столько не заткнуть, чтобы это еще и работало. Любой приличный сторейдж, обеспечивающий требуемые характеристики, накладывает ограничения на используемые носители.

Оценки, что запись случайная, а чтение последовательное необоснованны. И не понятен акцент на этом, если ориентация на SSD.
19 авг 13, 21:10    [14727733]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Dimitry Sibiryakov
Skulll
Я остановился пока на RAID 10. Все остальные имею маленькую скорость случайно
записи.

Зато не теряют абсолютно все данные при выходе из строя двух дисков. Лучше смотри в
сторону RAID 6.


У RAID 6 надежность хорошая, но скорость случайно записи на уровне одного диска, т.к. для расчета контрольной суммы нужно прочитать со всех дисков секторов.
19 авг 13, 21:11    [14727735]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Alexander Ryndin
Однозначно с точки зрения лицензирования ставить BI и Database на одну железку я не стал бы.
А, вообще, такой большой DWH на Oracle это в 99% Exadata либо SuperCluster - очень сильно поможет сжатие и от многих индексов можно будет отказаться.
Оперативной памяти однозначно чем больше тем лучше. На современных системах лучше от 1 ТБ.


У нас по пользователям, лицензия.

Да у Exadata хороший алгоритм сжатия, но я думаю собрать тоже самое только в несколько раз дешевле.

Я думаю особо памяти мне не нужно, запросы каждый раз разные, кэшировать особого смысла нет.
19 авг 13, 21:13    [14727738]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 51752

Skulll
скорость случайно записи на уровне одного диска

Журналы пишутся последовательно, случайная скорость пофиг.

Posted via ActualForum NNTP Server 1.5

19 авг 13, 21:15    [14727744]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
-2-
Skulll
1) Данных примерно 35-45 Терабайт в год.
Выбирать контроллеры, тип рейда и дисков? Внутрь писюка столько не заткнуть, чтобы это еще и работало. Любой приличный сторейдж, обеспечивающий требуемые характеристики, накладывает ограничения на используемые носители.

Оценки, что запись случайная, а чтение последовательное необоснованны. И не понятен акцент на этом, если ориентация на SSD.


Система грузит данные 24на7 в режиме Real-Time, ETL работает маленькими порциями, следовательно запись случайная.
Чтение последовательное, это факт.
19 авг 13, 21:16    [14727749]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Dimitry Sibiryakov
Skulll
скорость случайно записи на уровне одного диска

Журналы пишутся последовательно, случайная скорость пофиг.


Хорошо бы сравнение скорость случайное + последовательное чтение RAID 6 vs RAID 10
19 авг 13, 21:25    [14727767]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4916
Блог
Skulll
Alexander Ryndin
Однозначно с точки зрения лицензирования ставить BI и Database на одну железку я не стал бы.
А, вообще, такой большой DWH на Oracle это в 99% Exadata либо SuperCluster - очень сильно поможет сжатие и от многих индексов можно будет отказаться.
Оперативной памяти однозначно чем больше тем лучше. На современных системах лучше от 1 ТБ.

У нас по пользователям, лицензия.
Да у Exadata хороший алгоритм сжатия, но я думаю собрать тоже самое только в несколько раз дешевле.
Я думаю особо памяти мне не нужно, запросы каждый раз разные, кэшировать особого смысла нет.
При лицензировании есть ограничение - минимум 25 пользователей на 1 CPU...
Такой "хороший алгоритм сжатия" как у Exadata без резкого снижения производительности не получится.
Память нужна еще и для всяких сортировок и join
19 авг 13, 21:27    [14727776]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Ramin Hashimzade
Member

Откуда: Азербайджан, Баку
Сообщений: 9979
Блог
Skulll,

А нафиг потратить столько денег и собирать машину в ручную? Может сразу азять ехадата и не париться, потому что в любом случае внутренный софт ехадата ( который дает очень хороший выигрышь как на чтении так и на записи) вам не приобрести без него.
19 авг 13, 21:46    [14727827]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Ramin Hashimzade
Skulll,

А нафиг потратить столько денег и собирать машину в ручную? Может сразу азять ехадата и не париться, потому что в любом случае внутренный софт ехадата ( который дает очень хороший выигрышь как на чтении так и на записи) вам не приобрести без него.


Я был на пресконференции по Exadata. И специ Оракла не смогли убедить по крайней мере меня, что железо Exadata != Exadata.
Ну алгоритм сжатия чуть лучше, ну подумаешь. Какой то sql фильтрация на программно-аппаратном уровне. А что это?
19 авг 13, 21:49    [14727838]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Ramin Hashimzade
Member

Откуда: Азербайджан, Баку
Сообщений: 9979
Блог
Вот этот
Какой то sql фильтрация на программно-аппаратном уровне. А что это?

Будет решать твоих 80% проблемы при селектах. А сжатие будет сэкономить не мало бабло
19 авг 13, 22:06    [14727898]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Ramin Hashimzade
Вот этот
Какой то sql фильтрация на программно-аппаратном уровне. А что это?

Будет решать твоих 80% проблемы при селектах. А сжатие будет сэкономить не мало бабло


А есть независимые экспертные оценки этой чудо фильтрации, а не просто рекламные плакаты?
19 авг 13, 22:09    [14727903]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4916
Блог
Skulll
Ramin Hashimzade
Skulll,

А нафиг потратить столько денег и собирать машину в ручную? Может сразу азять ехадата и не париться, потому что в любом случае внутренный софт ехадата ( который дает очень хороший выигрышь как на чтении так и на записи) вам не приобрести без него.


Я был на пресконференции по Exadata. И специ Оракла не смогли убедить по крайней мере меня, что железо Exadata != Exadata.
Ну алгоритм сжатия чуть лучше, ну подумаешь. Какой то sql фильтрация на программно-аппаратном уровне. А что это?
"Чуть лучше" - это раза в 4-5 больше, чем у Advanced Compression (это реальные данные с тестирований банков и телекомов).
По поводу sql фильтрации - по-простому это возможность давать винчестеру команду отсеивать строки по предикату и возвращать только те столбцы, которые нужно. В Exadata роль такого умного "винчестера" выполняет ячейка (storage cell).

Напишите лучше на мой email - я дам контакты людей, которые расскажут все это детально.
19 авг 13, 23:29    [14728220]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4916
Блог
Skulll
Ramin Hashimzade
Вот этот
пропущено...

Будет решать твоих 80% проблемы при селектах. А сжатие будет сэкономить не мало бабло


А есть независимые экспертные оценки этой чудо фильтрации, а не просто рекламные плакаты?
Что такле "независимая экспертная оценка"?

Эта фильтрация иногда помогает - иногда нет.
Надо тестировать. Я видел случаи, и когда ускорялось в 10-ки раз, и когда без тюнинга скорость была такой же.
Но для DWH чаще всего она стреляет и очень даже сильно.
19 авг 13, 23:35    [14728227]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Ramin Hashimzade
Member

Откуда: Азербайджан, Баку
Сообщений: 9979
Блог
Skulll
Ramin Hashimzade
Вот этот
пропущено...

Будет решать твоих 80% проблемы при селектах. А сжатие будет сэкономить не мало бабло


А есть независимые экспертные оценки этой чудо фильтрации, а не просто рекламные плакаты?


да причем тут экспертные оценки, реальный резултат будет в реальной жизни , если все криво написано и настроено тебя даже дедушка ехадата не поможет, а так я сам лично не пробывал но слыхал в одном телекоме дает очень сильный выигрыш. А телекомах огромный обьем бывает.
20 авг 13, 09:22    [14728780]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
orawish
Member

Откуда: Гадюкино-2 (City)
Сообщений: 15487
Skulll
Ramin Hashimzade
Вот этот
пропущено...

Будет решать твоих 80% проблемы при селектах. А сжатие будет сэкономить не мало бабло


А есть независимые экспертные оценки этой чудо фильтрации, а не просто рекламные плакаты?

от задачи зависит очень многое. и архитектурку надо под конкретную задачу кроить. даже и не под задачу (в целом), а под элементы её составляющие. весьма внушительное сжатие (с возможностью варьирования алгоритма на уровне партиций), причем учтите - сжатие не только спейс экономит, но и значительно увеличивает скорость чтения-записи ~0.9*кфцт_сжатия.
а еще - индексы стореджевые, непревычно (лично для меня, во всяком случае :) много памяти, возможность фильтрации данных не на сервере базы , а на ячейках хранения - реально работают
в целом - оракл внешне тот же, а внутри (местами) работать может совсем иначе.
20 авг 13, 12:39    [14730116]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
orawish
Skulll
пропущено...


А есть независимые экспертные оценки этой чудо фильтрации, а не просто рекламные плакаты?

от задачи зависит очень многое. и архитектурку надо под конкретную задачу кроить. даже и не под задачу (в целом), а под элементы её составляющие. весьма внушительное сжатие (с возможностью варьирования алгоритма на уровне партиций), причем учтите - сжатие не только спейс экономит, но и значительно увеличивает скорость чтения-записи ~0.9*кфцт_сжатия.
а еще - индексы стореджевые, непревычно (лично для меня, во всяком случае :) много памяти, возможность фильтрации данных не на сервере базы , а на ячейках хранения - реально работают
в целом - оракл внешне тот же, а внутри (местами) работать может совсем иначе.


Спасибо, где можно поподнобнее почитать про эти стореджевые индексы?

А что из себя представляют ячейки хранения? Это тоже самое что и привычные системы хранения + префильтрация на них?
20 авг 13, 13:47    [14730711]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Ramin Hashimzade
Member

Откуда: Азербайджан, Баку
Сообщений: 9979
Блог
Skulll
А что из себя представляют ячейки хранения? Это тоже самое что и привычные системы хранения + префильтрация на них?

имеется веду , грубо говоря селект прямо работает на уровне storage. то есть из storage возвращается только нужные колонки (нужные данные) а не вес блок , что дает выигрышь и на трафике тоже.
20 авг 13, 13:57    [14730807]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
jan2ary
Member

Откуда: Киев
Сообщений: 1780
Skulll,

Если на пальцах, то вот Using Exadata Smart Scan
Ну и весь раздел на Oracle Learning Library с тегом Exadata - http://apex.oracle.com/pls/apex/f?p=44785:2:15762195800530:::2:P2_TAGS:Exadata
20 авг 13, 14:20    [14730939]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4916
Блог
Skulll
orawish
пропущено...

от задачи зависит очень многое. и архитектурку надо под конкретную задачу кроить. даже и не под задачу (в целом), а под элементы её составляющие. весьма внушительное сжатие (с возможностью варьирования алгоритма на уровне партиций), причем учтите - сжатие не только спейс экономит, но и значительно увеличивает скорость чтения-записи ~0.9*кфцт_сжатия.
а еще - индексы стореджевые, непревычно (лично для меня, во всяком случае :) много памяти, возможность фильтрации данных не на сервере базы , а на ячейках хранения - реально работают
в целом - оракл внешне тот же, а внутри (местами) работать может совсем иначе.


Спасибо, где можно поподнобнее почитать про эти стореджевые индексы?
А что из себя представляют ячейки хранения? Это тоже самое что и привычные системы хранения + префильтрация на них?
Начну с коноца:
2) Storage Cell - это Intel-компьютер, в который напиханы диски. На Storage Cell не стоит СУБД Oracle, но на ней стоит Exadata Storage Server Software. База данных умеет часть работы перекладывать на плечи Storage Cell. Все данные размазываются по этим Storage Cell так чтобы соблюдался достаточный уровень дублирования.
1) Storage Index это довольная простая штука. Если вы делает smart scan (фильтрация на уровне ячеек), то Storage Cell строит у себя в оперативной памяти индекс. В этом индексе для каждого хранимого мегабайта записаны граничные значения по столбцам. При следующем smart scan ячейка не будет сканировать области, в которых нет значений, удовлетворяющих условию. Они очень сильно помогают если нет партиционирования, либо партиционирование сделано по одному столбцу, но данные еще неявно отсортированы по другому столбцу.
20 авг 13, 14:35    [14731030]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
Alexander Ryndin
Skulll
пропущено...


Спасибо, где можно поподнобнее почитать про эти стореджевые индексы?
А что из себя представляют ячейки хранения? Это тоже самое что и привычные системы хранения + префильтрация на них?
Начну с коноца:
2) Storage Cell - это Intel-компьютер, в который напиханы диски. На Storage Cell не стоит СУБД Oracle, но на ней стоит Exadata Storage Server Software. База данных умеет часть работы перекладывать на плечи Storage Cell. Все данные размазываются по этим Storage Cell так чтобы соблюдался достаточный уровень дублирования.
1) Storage Index это довольная простая штука. Если вы делает smart scan (фильтрация на уровне ячеек), то Storage Cell строит у себя в оперативной памяти индекс. В этом индексе для каждого хранимого мегабайта записаны граничные значения по столбцам. При следующем smart scan ячейка не будет сканировать области, в которых нет значений, удовлетворяющих условию. Они очень сильно помогают если нет партиционирования, либо партиционирование сделано по одному столбцу, но данные еще неявно отсортированы по другому столбцу.


Спасибо, теперь более менее понятно!
20 авг 13, 16:54    [14731954]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
kinky cat
Member

Откуда: с дивана23
Сообщений: 1238
Skulll,
гм собрирать наколеночный нищебродский сторажд дла dwh oracle... что то тут не так
как то это не коррелирует со стоимостью лицензий Oracle DB + Oracle BI
20 авг 13, 17:16    [14732080]     Ответить | Цитировать Сообщить модератору
 Re: Hardware for DWH  [new]
Skulll
Member

Откуда: Чехия
Сообщений: 487
kinky cat
Skulll,
гм собрирать наколеночный нищебродский сторажд дла dwh oracle... что то тут не так
как то это не коррелирует со стоимостью лицензий Oracle DB + Oracle BI


Сейчас бюджет не известен, через месяц скажу
20 авг 13, 17:17    [14732088]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Oracle Ответить