Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 ETL и sql server на одном сервере  [new]
Алекс1990
Guest
Привет всем!

Хочу понять имеет ли смысл выносить ETL процессы на отдельный физический сервер ? 90% ETL нагрузки аккумулировано на этом-же сервере(между разными базами). И не особо охота гонять файлы по сети.

Вроде sql server резервирует у винды оперативную память в виде своего buffer pool. В то же время ETL процессы работаю как любые другие процессы винды с общей памятью и не могут мешать buffer pool'у => вопрос только в CPU
24 дек 13, 11:47    [15338308]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31949
Алекс1990
Вроде sql server резервирует у винды оперативную память в виде своего buffer pool. В то же время ETL процессы работаю как любые другие процессы винды с общей памятью и не могут мешать buffer pool'у => вопрос только в CPU
Все программы используют общую физическую память сервера. Если для одновременной работы sql server и ETL процессов памяти достаточно, то проблем нет.
То же самое можно сказать о CPU.
24 дек 13, 12:58    [15339062]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
Алекс1990
Guest
alexeyvg
Все программы используют общую физическую память сервера. Если для одновременной работы sql server и ETL процессов памяти достаточно, то проблем нет.
То же самое можно сказать о CPU.

Спасибо! А что если для ETL процессов поставить отдельные диски ? Не нравится затея нагружать диски sql server'а другими задачами. Реально такое сконфигурировать ?

Насчет cpu ок. Хотя тоже - имеет ли смысл пытаться как-то зарезервировать ядра ?
24 дек 13, 13:51    [15339547]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31949
Алекс1990
Спасибо! А что если для ETL процессов поставить отдельные диски ? Не нравится затея нагружать диски sql server'а другими задачами. Реально такое сконфигурировать ?
Ну, почему нет, это же ваша прогрпммп, наверное, реально.

Про CPU - сиквел позволяет указать, какие ядра ему можно использовать. В принципе этого обфычно достаточно, другие процессы будут использовать другие ядра.
24 дек 13, 14:25    [15339794]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35369
Блог
Алекс1990,

etl обычно ночью выполняется, так что вполне может оставаться на рабочем сервере.
Если же у вас онлайн-хранилище, то тут нужно анализировать нагрузку.

Если рассматриваете второй сервер, то будет актуален вопрос лицензирования, возможно будет просто дешевле проагрейдить основной сервер.

По разным дискам раскидать желательно.
CPU - без разницы, обычно узкое место - диски.
Конечно, если у вас сверхсложные расчеты и нужно чтобы одновременно активно работала система-источник, то можно и вынести на отдельную машину
24 дек 13, 14:34    [15339843]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
Алекс1990
Guest
Критик
По разным дискам раскидать желательно.

Наверное очень глупый вопрос, но как указать ETL какие диски ему использовать ? Если с базой все понятно - там где mdf/ndf/ldf файлы те и будут нагружаться, то с ETL не очевидно. С ходу в голову лезет только виртуальная машина.
Если я правильно понимаю, то ETL'у диски нужны только для кеширования того, что не влезло в память или того, что надо использовать в разных процессах. Ввиду чего диски ему нужны небольшие.

Насчет CPU запариваться действительно маразм. Т.к. ETL буду запускать в моменты минимальной нагрузки(скорей всего каждые сутки ночью). И вполне возможно, что ETL процессы за ночь будут есть больше CPU чем вся работа сервера за сутки.
24 дек 13, 15:45    [15340455]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31949
Алекс1990
Наверное очень глупый вопрос, но как указать ETL какие диски ему использовать ? Если с базой все понятно - там где mdf/ndf/ldf файлы те и будут нагружаться, то с ETL не очевидно.
Эээ, чего? Имеется в виду, что ETL делает загрузку из каких то файлов. Вот эти файлы и можно перенести на другой диск.
Или что вы имеете в виду?
Алекс1990
Если я правильно понимаю, то ETL'у диски нужны только для кеширования того, что не влезло в память или того, что надо использовать в разных процессах. Ввиду чего диски ему нужны небольшие.
Это вам виднее, что требуется вашей проге "ETL".
Вообще странно было бы, если программе подготовки и загрузки данных не хватает памяти для кода и переменных, и она интенсивно использует диск для кеширования. Нужно как то расчитывать, что бы всё помещалось в память.
24 дек 13, 16:49    [15341062]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 2414
Алекс1990
И не особо охота гонять файлы по сети.


поставьте два сервера рядом, и мост межу ними
24 дек 13, 17:15    [15341201]     Ответить | Цитировать Сообщить модератору
 Re: ETL и sql server на одном сервере  [new]
Алекс1990
Guest
alexeyvg, у меня бывают временные помутнения в разуме. спасибо за ответы.

StarikNavy
поставьте два сервера рядом, и мост межу ними

Что вы называете мостом между серверами ? Все равно будет витая пара, все равно будут сетевые карты. Это было бы целесообразно, если данные тянутся с нескольких серверов...
24 дек 13, 17:30    [15341294]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить