Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 кто нибудь скрещивал Service Broker и SSIS?  [new]
dedwdedw
Guest
Есть очередь, надо ее обрабатывать. Пока что обработчик очереди выполнен как Intarnal activation T-SQL Procedure. Логика простая, но запрашивает репортинг, который генерит отчеты, DB Mail для рассылки и т. д..

Хотелось бы выкинуть это из базы в SSIS пакет, и структура дела видна и расширяется оно. Чешу репу как подружить. dtexec использовать или job, хз. может какие-то другие мысли есть?
24 июн 14, 09:46    [16210070]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6723
dedwdedw
Хотелось бы выкинуть это из базы в SSIS пакет
Задлянафига?
Чё вы к этому говну SSIS прилипли?
Мыши плакали кололись но продолжали есть SSIS кактус.

И я не понимаю в чём проблема? Что тяжело организовать это через извращение SSIS?
Циклы есть, выполнять SQL команды и сторить в переменные можно, что ещё надо?

Активация? Оно вам нужно прям сразу?
Организуется легко и тупо как везде: активация происходит через очередь SB (параллельно делается и подписывается на событие), который вечно её слушает.
Имеет смысл только для организации пула обработчиков.

Зачем тут Service Broker вообще? Тупо сохранять в таблу и обрабатывать её слишком легко?

Зачем нужен SSIS при сборе отчётов и отсылки их по почте?

PS: Будет время, выложу рабочий пример Win-сервиса обработки очереди, с блекджеком и шлю с внешней активацией и пулами обработчиков. Простой, топорный ничего не требующий.
24 июн 14, 23:01    [16214235]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
Mnior
dedwdedw
Хотелось бы выкинуть это из базы в SSIS пакет
Задлянафига?
Чё вы к этому говну SSIS прилипли?
Мыши плакали кололись но продолжали есть SSIS кактус.

И я не понимаю в чём проблема? Что тяжело организовать это через извращение SSIS?
Циклы есть, выполнять SQL команды и сторить в переменные можно, что ещё надо?

Активация? Оно вам нужно прям сразу?
Организуется легко и тупо как везде: активация происходит через очередь SB (параллельно делается и подписывается на событие), который вечно её слушает.
Имеет смысл только для организации пула обработчиков.

Зачем тут Service Broker вообще? Тупо сохранять в таблу и обрабатывать её слишком легко?

Зачем нужен SSIS при сборе отчётов и отсылки их по почте?

PS: Будет время, выложу рабочий пример Win-сервиса обработки очереди, с блекджеком и шлю с внешней активацией и пулами обработчиков. Простой, топорный ничего не требующий.


Не слушайте его. SSIS крутая вещь, если руки мозги из правильно места растут. Господин Mnior не имеет другого словарного запаса, для своих аргументов, лишь цитирую
Mnior
говну
.

1) Запуск пакета может быть только частью job с другими.
2) Вы можете вызвать процедуры как отдельным шагом, так из пакеты
3) На какой версии SQL SERVER вы работаете, потому что на SQL 2012 есть очень хорошая встроенная система готовых отчётов для SSIS
4) Отправка емейд есть в SSIS
25 июн 14, 12:08    [16216372]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
не слушайте их, Broker - это то, что надо!
25 июн 14, 12:15    [16216463]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
Winnipuh
не слушайте их, Broker - это то, что надо!


Почему "их", я полностью поддерживаю Broker
25 июн 14, 12:20    [16216530]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6723
a_voronin
Почему "их", я полностью поддерживаю Broker
Вы используете его не к месту?
a_voronin
Не слушайте его. SSIS крутая вещь, если руки мозги из правильно места растут. Господин Mnior не имеет другого словарного запаса, для своих аргументов, лишь цитирую
Mnior
говну
Прошу вас извенится за безаргументный тупой наезд, и откровенную клевету.
26 июн 14, 12:55    [16222652]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6723
a_voronin
SSIS крутая вещь
Не поленитесь найти на форуме множество аргументов, почему этот глючный и неудобный продукт и почему без него порой намного легче.

И уважайте чужое аргументированное IMXO.
26 июн 14, 13:00    [16222682]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
Mnior
a_voronin
SSIS крутая вещь
Не поленитесь найти на форуме множество аргументов, почему этот глючный и неудобный продукт и почему без него порой намного легче.

И уважайте чужое аргументированное IMXO.


Я готов уважать аргументированное мнение. Я видел людей, который всё пишут исключительно скриптом. Но конкретно у нас, SSIS (2012) используется в очень широком масштабе. Это десятки программистов.

Я лично никаких глюков в нём до сих пор не видел. Если надо что-то особенное, пишу SQL или прямо на C#. Никто не утверждает, что все компоненты должны быть на SSIS.
26 июн 14, 13:08    [16222739]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6723
И как интерпретировать этот ответ, как то что вы извенились и что отзываете этот пост полностью? 16216372
Особенно слова "не слушайте его".
a_voronin
Я готов уважать аргументированное мнение. Я видел людей, который всё пишут исключительно скриптом. Но конкретно у нас, SSIS (2012) используется в очень широком масштабе. Это десятки программистов.
Верится что такое возможно, ибо сам оное наблюдал, но лично вам не очень верю.
Либо люди матюгались(ются до сих пор) тихо или в слух.

Если вы видели как работают с простыми поделками (для которых и SSIS толком не нужен), то вы ничего не видели.
a_voronin
Я лично никаких глюков в нём до сих пор не видел.
Вы же не пользовались.
Хватает просто посмотреть что ваяют люди на форуме. И это цветочки. Тысячи их.

Нет смысла тратить уйму времени на мышкодрочество, пытаясь добраться в этом в лесе окон и Гуй контролов до нужного свойства, порой разного в разных контролах, но с тем же смыслом.

Для кухарки SSIS пойдёт, но для проггера не имеет смысла.
a_voronin
Если надо что-то особенное, пишу SQL или прямо на C#. Никто не утверждает, что все компоненты должны быть на SSIS.
Всё равно это подключается как пакет, или вы имеете ввиду что делается один внешний вызов и вся кухня делается не в SSIS?
Многие стандартные пакеты не отрабатывают нормально и надёжно.
И вообще самое хреновое в любом месте системы, это когда её нельзя поправить. Поэтому закрытая система рано или поздно доставляет боль.

a_voronin
Я видел ...
Знаете почему не канает "у меня работает", "успешный проект" и всякое другое констатация существования? Потому что всё познаётся в сравнении. Если бы вы привели случай когда написанную систему заменяли тучаей пакетов SSIS и это дало профит в поддержке или ресурсах, то это был бы разговор.
А так есть только обратные случаи. Там где считают деньги и следят за эффективностью SSIS не приживётся.

А в этом и смысл моего посыла. Вы можете делать что угодно, но не надо назвать всякое хорошим/лучшим подходом.

А так ... фигурки из говна тоже где-то покупают, но из этого почему-то далёких выводов не делают.

IMXO
PS: Ссори что неоднократно это повторяю от темы к теме ... со свойственным бурчанием.
26 июн 14, 15:58    [16224355]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
a_voronin
Хватает просто посмотреть что ваяют люди на форуме. И это цветочки. Тысячи их.



Человек явно не владеет SSIS. Зачем столько квадратиков.

Судя по тому, что он пишет, ему надо было опцию выставить, чтобы пакет при открытии не пытался синхронизироваться с Бд и всё бы было бы пучком.

Если там куча кейсов, надо их было в цикле перебирать.
26 июн 14, 16:18    [16224574]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31444
a_voronin
Я лично никаких глюков в нём до сих пор не видел.
Глюки - это ерунда, они везде есть, раз не видели, значит, мало работали. Но это некритично, он вполне нормальный в смысле количества глюков.

Хуже то, что он не для программистов, а для кухарки; чем сложнее проект, тем дороже и сложнее использовать SSIS.
Один деплой или внесение изменений чего стоит, или невозможность понять, что же там в пакете поменялось по запросу от клиента год назад. Ужасная и практически недокументированная модель программирования, отсутствие управления элементами программно.
В общем, SSIS стал намного мощнее и функционально богаче по сравнению со старым DTS, но стал больше "для пользователя", чем "для программиста".
26 июн 14, 16:26    [16224651]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
alexeyvg
чем сложнее проект, тем дороже и сложнее использовать SSIS.


В случае с SSIS никто не отменял принципов модульности и процедурности.

Если надо выполнить 20 идентичных действий (взять из А, преобразовать по Б и положить в С), а лично не буду делать 60 квадратов. Положу метаданные в какую-нибудь таблицу или массив и пройдусь по ней циклом. Если пакет слишком огромный, надо его пилить на части.

Конкретно у нашей команды хранилищу обновляется в немалой степени на SSIS, но естественно многие действия сводятся к вызову хранимых процедур. Data Flow используем крайне мало. А вот условные переходы, исполнение задач в определенной последовательности -- этого полно.
26 июн 14, 16:48    [16224799]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
a_voronin
alexeyvg
чем сложнее проект, тем дороже и сложнее использовать SSIS.


В случае с SSIS никто не отменял принципов модульности и процедурности.

Если надо выполнить 20 идентичных действий (взять из А, преобразовать по Б и положить в С), а лично не буду делать 60 квадратов. Положу метаданные в какую-нибудь таблицу или массив и пройдусь по ней циклом. Если пакет слишком огромный, надо его пилить на части.

Конкретно у нашей команды хранилищу обновляется в немалой степени на SSIS, но естественно многие действия сводятся к вызову хранимых процедур. Data Flow используем крайне мало. А вот условные переходы, исполнение задач в определенной последовательности -- этого полно.

ssis - это хорошая обвязка для вызова хранимок! С этим он отлично справляется.
26 июн 14, 16:51    [16224818]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
Ivan Durak
a_voronin
пропущено...


В случае с SSIS никто не отменял принципов модульности и процедурности.

Если надо выполнить 20 идентичных действий (взять из А, преобразовать по Б и положить в С), а лично не буду делать 60 квадратов. Положу метаданные в какую-нибудь таблицу или массив и пройдусь по ней циклом. Если пакет слишком огромный, надо его пилить на части.

Конкретно у нашей команды хранилищу обновляется в немалой степени на SSIS, но естественно многие действия сводятся к вызову хранимых процедур. Data Flow используем крайне мало. А вот условные переходы, исполнение задач в определенной последовательности -- этого полно.

ssis - это хорошая обвязка для вызова хранимок! С этим он отлично справляется.


Я, например, обновляю с помощь SSIS партиции в OLAP-кубах.
26 июн 14, 16:58    [16224871]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Кот Матроскин
Member

Откуда: Москва
Сообщений: 8933
alexeyvg
или невозможность понять, что же там в пакете поменялось по запросу от клиента год назад


Ээ, почему "невозможность"? кто мешает в системе контроля версий увидеть diff и комментарий "исправление по задаче XXXXXX"?
26 июн 14, 17:05    [16224921]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
любой иструмент хорошо к месту и ессно при умении им пользоваться. Используем только как контейнер для вызова храником и всякого такого. Удобно делать контейнеры и зависмости в вызовах между ними.
26 июн 14, 17:14    [16224999]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
опять 25...

все разговоры на тему "плох или хорош SSIS" сводятся к тому, что либо "не читал но осуждаю" либо не знанию платформы (именно платформы в целом ибо это MS way)

если уж так хочется "тру программинга" что мешает писать пакеты в VS на С#?
т.е. работать с объектной моделью
добавляем сюда TFS и версионности выше крыши
(молчу уж про наличие версий проекта и пакетов в SSISDB)

вокруг SSIS много всего... тот же BIML

З.Ы. лично мне SSIS нравится. надеюсь колеги не станут тролить меня на вроде "да ты не в теме", "да ты не делал бОльших проектов" и тп.
26 июн 14, 17:44    [16225208]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
Дедушка
опять 25...

все разговоры на тему "плох или хорош SSIS" сводятся к тому, что либо "не читал но осуждаю" либо не знанию платформы (именно платформы в целом ибо это MS way)

если уж так хочется "тру программинга" что мешает писать пакеты в VS на С#?
т.е. работать с объектной моделью
добавляем сюда TFS и версионности выше крыши
(молчу уж про наличие версий проекта и пакетов в SSISDB)

вокруг SSIS много всего... тот же BIML

З.Ы. лично мне SSIS нравится. надеюсь колеги не станут тролить меня на вроде "да ты не в теме", "да ты не делал бОльших проектов" и тп.


Поддерживаю. А то тут взяли моду письками мериться, хотя по факту либо не изучили что-то либо имеют фиксированную идею о том, что "это плохо". И уж тем более делаю заявления, не уточнив, что другие добились на своих проектах.
26 июн 14, 17:53    [16225274]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
o-o
Guest
a_voronin
... А то тут взяли моду письками мериться, хотя по факту либо не изучили что-то либо имеют фиксированную идею о том, что "это плохо". И уж тем более делаю заявления, не уточнив, что другие добились на своих проектах.


off
+

жалко нету aleks2 с коронной фразой "чья бы корова мычала"
уж не будем пальцем показывать, кто тут главный писькомер в последнее время
26 июн 14, 18:14    [16225407]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7868
SSIS - такой же инструмент, как и любой другой, и его использование ограничено бизнес-требованиями, как минимум.
26 июн 14, 18:31    [16225474]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
Владислав Колосов
SSIS - такой же инструмент, как и любой другой, и его использование ограничено бизнес-требованиями, как минимум.

не "такой же инструмент", а "то же инструмент"
26 июн 14, 18:48    [16225539]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31444
Кот Матроскин
alexeyvg
или невозможность понять, что же там в пакете поменялось по запросу от клиента год назад


Ээ, почему "невозможность"? кто мешает в системе контроля версий увидеть diff и комментарий "исправление по задаче XXXXXX"?
Да, теоретически можно. Но вы сами пробовали, там вообще можно что то понять? :-)

Там просто после открытия и сохранени я пакета появляются десятки блоков изменений.

Ну и вообще - формат не был расчитан на чтение. Визуально по большому счёту можно сравнить те тексты, которые пишут люди.
Maxx
любой иструмент хорошо к месту и ессно при умении им пользоваться. Используем только как контейнер для вызова храником и всякого такого. Удобно делать контейнеры и зависмости в вызовах между ними.
Мы тоже широко используем, многие вещи самому программировать сложнее, например, импорт из файлов некоторых типов, передача сервер-сервер, распаралеливание. Но недостатков у него много.
Дедушка
если уж так хочется "тру программинга" что мешает писать пакеты в VS на С#?
Я писал - очень сложная модель и очень слабо документированная. Хотя я так как то делал.
26 июн 14, 18:57    [16225587]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31444
a_voronin
Если надо выполнить 20 идентичных действий (взять из А, преобразовать по Б и положить в С), а лично не буду делать 60 квадратов. Положу метаданные в какую-нибудь таблицу или массив и пройдусь по ней циклом. Если пакет слишком огромный, надо его пилить на части.
Да, вот важный недостаток - SSIS пакеты не предусматривают модульности.

И управление по метаданным очень непростое. Элементарная задача - пакет переноса данных из 200 таблиц - нужно делать 200 квадратиков. Или писать громадный код в скрипт-таске по нагугленным примерам, в BOL ничего нет.
a_voronin
Конкретно у нашей команды хранилищу обновляется в немалой степени на SSIS, но естественно многие действия сводятся к вызову хранимых процедур. Data Flow используем крайне мало. А вот условные переходы, исполнение задач в определенной последовательности -- этого полно.
А, тогда понятно ваше восхищение :-)

Конечно, для логики и для вызовов процедур его использовать легко и приятно (на уровне кухарки, версионный контроль всё равно неудобен, делать изменения в большом пакете одновременно трём программистам не получится и т.п.)

Но мы же говорим именно про Data Flow, ведь не пользоваться же SSIS как запускальщиком процедур, для этого есть просто джобы и клиент.
26 июн 14, 19:04    [16225605]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
alexeyvg
Да, вот важный недостаток - SSIS пакеты не предусматривают модульности.
И управление по метаданным очень непростое. Элементарная задача - пакет переноса данных из 200 таблиц - нужно делать 200 квадратиков. Или писать громадный код в скрипт-таске по нагугленным примерам, в BOL ничего нет.
терминальный вариант вашего примера это 200 пакетов (одна табл - один пакет) и пакет обёртка для управления логикой
вот и модульность
вы же понимаете что при ETL самое проблемное это маппинг, динамический маппинг в SSIS возможен только через построение пакета неким генератором по метаданным
пример: в t-sql в лоб не получится from @tablename и делаем динамику

впрочем, возможно мы о разном говорим
как бы вы хотели видеть перенос этих 200 таблиц (в идеальном варианте)?
26 июн 14, 19:23    [16225652]     Ответить | Цитировать Сообщить модератору
 Re: кто нибудь скрещивал Service Broker и SSIS?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4804
alexeyvg
Кот Матроскин
пропущено...


Ээ, почему "невозможность"? кто мешает в системе контроля версий увидеть diff и комментарий "исправление по задаче XXXXXX"?
Да, теоретически можно. Но вы сами пробовали, там вообще можно что то понять? :-)


Я пробовал; можно, если осторожно.

alexeyvg
Там просто после открытия и сохранени я пакета появляются десятки блоков изменений.

Ну и вообще - формат не был расчитан на чтение. Визуально по большому счёту можно сравнить те тексты, которые пишут люди.

Вот XMLA померджить это жесть, но я это делал.
alexeyvg
Maxx
любой иструмент хорошо к месту и ессно при умении им пользоваться. Используем только как контейнер для вызова храником и всякого такого. Удобно делать контейнеры и зависмости в вызовах между ними.
Мы тоже широко используем, многие вещи самому программировать сложнее, например, импорт из файлов некоторых типов, передача сервер-сервер, распаралеливание. Но недостатков у него много.
Дедушка
если уж так хочется "тру программинга" что мешает писать пакеты в VS на С#?
Я писал - очень сложная модель и очень слабо документированная. Хотя я так как то делал.


Да ничего сложного. Можно код отладить в обычном C# проекте. Потом вставить. Делал не раз.
26 июн 14, 19:40    [16225696]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить