Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
Здраствуйте Уважаемые, я здесь новенький, поэтому если что-то не допишу, извеняйте, уточняйте. Не могу найти решение.

Сначала немного, как все у нас бежит. Есть много систем, источников информации/данных: другие SQL Сервера, SAP, Navision, FTP и т.д.
Есть примерно такое же количество систем, в которые поступают данные. Все данные переносятся/трансформируются SSIS пакетами.
Примерное количество их 300-400 штук. От простых до сложных. Есть достаточно мощная машина, 24 проц. 64 Гб RAM, RAID и т.д. причем в Windows/SQL кластере, дисковый ресурс один, для случаев Failover. Простоев быть не должно, максимум, 30-60 сек. Но не в этом дело.

Все пакеты выполняются от минутного до пяти минутного интервала. SSISDB примерно 80-90Гб. Все пакеты входят в один проект SSIS, и загрузка или обновление просходит через Visual Studio > Deployment (Модель проекта: Project Deployment).

Иногда пакеты не выполяются или в протоколе стоят различные ошибки типа: Out of memory или TSN connection lost, вообщем во время тестовой фазы, мы умышленно уменьшали обьем RAM: многие пакеты вообще исполнялись с ошибками.

Да, нужно еще добавить что в один промежуток время (по крайне мере сейчас) выполняются одновременно от 50 до 70 пакетов. (по статистике примерно от 10 до 30 секунд)

После неудачных продолжительных поисков в Интернет спрашиваю у специалистов, тех, кто уже возможно сталкивался с такой проблемой: Как скалировать SSIS и все систему в ширину. Не хочу одну жирную машину, хочу 5-10 так называемых Application Server на которых бы исполнялись пакеты, причем желательно с одним SSIS Каталогом и одной базой SSISDB для протоколирования исполнения на центральном сервере. Интересуют все возможные варианты. Спасибо.
27 июл 16, 16:52    [19463486]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37202
Не умеют в MS в скалирование, в т.ч. и SSIS-каталога. Ставьте 5-10 машин и делите ваши пакеты по ним.

Сообщение было отредактировано: 27 июл 16, 16:56
27 июл 16, 16:56    [19463518]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5114
Гавриленко Сергей Алексеевич
Не умеют в MS в скалирование
ну, правды ради... стоит вспомнить про APS который умеет таки :) (хотя автору это и не поможет).
27 июл 16, 17:49    [19463859]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34998
Блог
AlexejG
Не хочу одну жирную машину, хочу 5-10 так называемых Application Server на которых бы исполнялись пакеты


цену на лицензии сперва посчитайте
27 июл 16, 21:46    [19464595]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37202
Дедушка
Гавриленко Сергей Алексеевич
Не умеют в MS в скалирование
ну, правды ради... стоит вспомнить про APS который умеет таки :) (хотя автору это и не поможет).
Это весьма специфическое решение, далеко не из коробки и весьма не по тривиальным деньгам.
28 июл 16, 01:19    [19465265]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5114
Гавриленко Сергей Алексеевич
Это весьма специфическое решение, далеко не из коробки и весьма не по тривиальным деньгам.
+ оффтоп
специфическое - да, как всякая MPP
не из коробки - воткнуть кабеля в купленный ящик это как? для таких систем вы платите и вам устанавливают и настраивают
нетривиальные деньги - по заверениям MS у них самая низкая цена за терабайт ~5т, да и с MS всегда можно договориться (по апокрифичным данным там много чего идёт "бесплатно")
28 июл 16, 11:24    [19466254]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
Цена сейчас не интересует, скажем я могу установить столько SQL серверов (SSIS служб), сколько нужно.
28 июл 16, 16:40    [19468836]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 587
AlexejG,

Там есть еще несколько проблем. Рядом в теме [url=про развертывание пакетов на нескольких серверах]https://www.sql.ru/forum/1224408/integration-service-razvertyvanie-paketov[/url] их обсуждают. Если с самими пакетами вы сможете справится, еще есть environments, которые не имеют стандартных методов экспорта, и для них придется [url=делать скрипты]http://microsoft-ssis.blogspot.ru/2014/02/deploying-ssis-2012-environments.html[/url]. Единую базу SSISDB для нескольких серверов - гм, решение неоднозначное, на одной базе и обном сервере ловил дедлоки с ошибками при запуске пакетов, если интервал между запусками пакетов менее 0,2 секунды.
По распределению запусков - придется писать что-то свое, чтобы решать какой именно сервер будет запускать пакет. И повышаются требования к пакетам, например, если используются файловые кеши - придется придумывать для них шару и т.п.
28 июл 16, 20:34    [19469974]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
i-i
Guest
Уважаемый, мы же говорим о MS SQL Server, не об ORACLE - в нашем случае одна мощная железяка намного лучше кучи немощей. Та же RAM стоит настолько неприлично мало, что я удивлен зачем вы размер уменьшаете - вам бы его как раз увеличить.
28 июл 16, 21:08    [19470074]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31823
Дедушка
Гавриленко Сергей Алексеевич
Не умеют в MS в скалирование
ну, правды ради... стоит вспомнить про APS который умеет таки :) (хотя автору это и не поможет).
Вопрос же о горизонтальном масштабировании именно SSIS, т.е. средств ETL.
Что бы база с кодом ETL была одна, логи одни, а физическое выполнение распределялось на разные серверы.

Разве такое хоть у кого то есть?

Просто, видимо, это настолько редкий случай, что просто никому не нужно.

Там, где есть что масштабировать в ETL, делают это сами, тем более что это не сильно сложно.


i-i
Уважаемый, мы же говорим о MS SQL Server, не об ORACLE - в нашем случае одна мощная железяка намного лучше кучи немощей. Та же RAM стоит настолько неприлично мало, что я удивлен зачем вы размер уменьшаете - вам бы его как раз увеличить.
Да оракл тоже такого не умеет, как я понимаю.
64 гига для 30-40 одновременно выполняемых пакетов - это конечно нечто.
Стоимость удвоения памяти будет меньше, чем просто стоимость времени специалиста, которое он потратит на "погуглить" на эту тему.

И страшно даже представить, сколько бабла нужно, что бы внедрить распараллеливание, даже если бы оно было уже реализовано в SSIS как опция.
Похоже на госконтору :-)
28 июл 16, 21:40    [19470132]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37202
i-i
Уважаемый, мы же говорим о MS SQL Server, не об ORACLE - в нашем случае одна мощная железяка намного лучше кучи немощей. Та же RAM стоит настолько неприлично мало, что я удивлен зачем вы размер уменьшаете - вам бы его как раз увеличить.
У концепции с одной железкой с кучей памяти есть один косяк -- когда вы таки достигнете предела памяти, с которым может работать сервер, а вам надо больше, придется раскошелиться на другой, который стоить будет, наверное, раза в 4 больше.

Сообщение было отредактировано: 28 июл 16, 23:31
28 июл 16, 23:31    [19470372]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31823
Гавриленко Сергей Алексеевич
У концепции с одной железкой с кучей памяти есть один косяк -- когда вы таки достигнете предела памяти, с которым может работать сервер, а вам надо больше, придется раскошелиться на другой, который стоить будет, наверное, раза в 4 больше.
В этом конкретном случае (для совсем слабых серверов) непохоже, что, более мощный сервер будет стоить дороже кучи маленьких.
А если прибавить затраты труда на это, да хоть если придётся взять ещё одного админа, то апгрейд будет явно дешевле.
28 июл 16, 23:54    [19470409]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 34998
Блог
А еще нужно прибавить затраты на лицензии
29 июл 16, 06:38    [19470606]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
Ferdipux
AlexejG,

Там есть еще несколько проблем. Рядом в теме [url=про развертывание пакетов на нескольких серверах]https://www.sql.ru/forum/1224408/integration-service-razvertyvanie-paketov[/url] их обсуждают. Если с самими пакетами вы сможете справится, еще есть environments, которые не имеют стандартных методов экспорта, и для них придется [url=делать скрипты]http://microsoft-ssis.blogspot.ru/2014/02/deploying-ssis-2012-environments.html[/url]. Единую базу SSISDB для нескольких серверов - гм, решение неоднозначное, на одной базе и обном сервере ловил дедлоки с ошибками при запуске пакетов, если интервал между запусками пакетов менее 0,2 секунды.
По распределению запусков - придется писать что-то свое, чтобы решать какой именно сервер будет запускать пакет. И повышаются требования к пакетам, например, если используются файловые кеши - придется придумывать для них шару и т.п.


Спасибо, ссылки до моего основного поста, видел и читал. У нас три проекта примерно с идентичными пакета на каждую стадию: Test/Dev, Quality, Production. Посколько много переменных, конекторов которые используются разными пакетами. Тема environments отпала как таковая, поколько не всегда один пакет одинаков на разной стадии внедрения.
29 июл 16, 08:38    [19470755]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
Гавриленко Сергей Алексеевич
i-i
Уважаемый, мы же говорим о MS SQL Server, не об ORACLE - в нашем случае одна мощная железяка намного лучше кучи немощей. Та же RAM стоит настолько неприлично мало, что я удивлен зачем вы размер уменьшаете - вам бы его как раз увеличить.
У концепции с одной железкой с кучей памяти есть один косяк -- когда вы таки достигнете предела памяти, с которым может работать сервер, а вам надо больше, придется раскошелиться на другой, который стоить будет, наверное, раза в 4 больше.


Вот как раз, решение, от такого случая, при достижения предела памяти, я и ищу
29 июл 16, 08:40    [19470761]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
alexeyvg
Разве такое хоть у кого то есть?
Просто, видимо, это настолько редкий случай, что просто никому не нужно.


Возможно, но не одна же мы организация, у которой такое количество пакетов.
Как то это же решается, или все используют ту же самую схему. Речь пока только о SSIS.


alexeyvg
64 гига для 30-40 одновременно выполняемых пакетов - это конечно нечто.
Похоже на госконтору :-)


Про память - вы считаете это мало ? Не;) , мы точно не госконтора и даже не в россии

Спасибо за мнение.
29 июл 16, 08:46    [19470774]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31823
AlexejG
alexeyvg
Разве такое хоть у кого то есть?
Просто, видимо, это настолько редкий случай, что просто никому не нужно.

Возможно, но не одна же мы организация, у которой такое количество пакетов.
Как то это же решается, или все используют ту же самую схему. Речь пока только о SSIS.
30-40 одновременно работающих пакетов, 300-400 всего - это много. Не скромничайте :-)

Видимо, не так много таких организаций, что бы делать распределённое выполнение с управлением из одного центра, видимо, другие запросы пользователей более массовые. Причём, повторю, это не только для платформы Microsoft.
Вот на коннекте есть заявки на такую функциональность, хоть от одного клиента, а?

AlexejG
alexeyvg
64 гига для 30-40 одновременно выполняемых пакетов - это конечно нечто.

Про память - вы считаете это мало ?
У меня на домашне-рабочем компе 32 гига.
На серверах 128 или 256 - они старенькие, ну и мы придерживаемся концепции много слабеньких серверов выгоднее, чем один мощный.

64 тоже неплохо, минимумом не назовёшь, но надо же и конкретную ситуацию учитывать, подбирать железо по потребностям?

Просто распределённая система - это повышенные расходы, и нужно использовать такую концепцию, когда мастабирование одиночного сервера уже начинает геометрически вздувать цену.
А у вас ИМХО пока такой предел не достигнут.

Если достигнут, ну что, делайте распределённую обработку, но сами, т.к., повторю, из за малого спроса стандартной реализации нет.
29 июл 16, 09:12    [19470838]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
alexeyvg,

спасибо, наверное так и сделаем, увеличим память до 128 Gb или еще больше и будем еще пару лет работать также, может позже что то в концепте изменим. Жалко конечно что именнo SSIS c SSISDB не предлагают такого "стандартного" решения.
29 июл 16, 10:37    [19471268]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5114
alexeyvg
Вопрос же о горизонтальном масштабировании именно SSIS, т.е. средств ETL.
Что бы база с кодом ETL была одна, логи одни, а физическое выполнение распределялось на разные серверы.
Разве такое хоть у кого то есть?
ETL кластер? насколько я понимаю Pentaho, DataStage, Infomatica...
29 июл 16, 11:38    [19471622]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
AlexejG
Member

Откуда:
Сообщений: 7
Дедушка,

Pentaho, DataStage, Infomatica все это мы пробовали, даже устраивали с разработчиками этих продуктов многодневные Workshopы. Остановились на MS SSIS (так как тут можно написать своих компонент, трансформаторов без органичений).
29 июл 16, 13:57    [19472667]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5114
AlexejG,
и какие ограничения по написанию "компонент, трансформаторов", например у Infomatica?
29 июл 16, 14:59    [19473120]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31823
Дедушка
alexeyvg
Вопрос же о горизонтальном масштабировании именно SSIS, т.е. средств ETL.
Что бы база с кодом ETL была одна, логи одни, а физическое выполнение распределялось на разные серверы.
Разве такое хоть у кого то есть?
ETL кластер? насколько я понимаю Pentaho, DataStage, Infomatica...
Спасибо, надо почитать.
Да, это уже какие то космические масштабы, наверное :-)
29 июл 16, 15:39    [19473438]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31823
alexeyvg
Дедушка
пропущено...
ETL кластер? насколько я понимаю Pentaho, DataStage, Infomatica...
Спасибо, надо почитать.
Да, это уже какие то космические масштабы, наверное :-)
Ой, да у нас тут целое исследование было :-)
Сравнение IBM Datastage, Informatica и Microsoft SSIS
29 июл 16, 15:41    [19473453]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 587
AlexejG,

По вашей теме нашел интересный документ Microsoft - Scale-Out SQL Server Integration Services Environment.
Просмотрел, все довольно подробно расписано, есть примеры дистрибьютора и нод SSIS, ландшафта, как для них оформлять пакеты и пр.
Из недостатков - на каждую ноду ставится SSIS и SQL DB.
9 авг 16, 19:29    [19521780]     Ответить | Цитировать Сообщить модератору
 Re: Каталог SSISDB и удаленное выполнение пакетов  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 587
AlexejG,

И еще интересный документ от Microsoft - Scale-Out SQL Server Integration Services Environment: A Sample Pattern.
9 авг 16, 19:33    [19521786]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить