Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
Всем привет, у меня как не удевительно вопросс.

Ситуация следующая.

Был разработан Workflow, который без проблем работает в DEV и QA системах.
На PROD системе тотже Workflow не работает, а точнее - после успешного завершения процесса, выполняемого Job Agent, БД не содержит ничего. Короче говоря, система считает "No news are good news".

О самом Workflow.
- Происходит загрузка данных с нескольких CSV-файлов в базу данных.
- На основе загруженных данных,тотже Workflow производит аналитические расчёты, после чего выгружается н-ое количество CSV документов, содержаших разные статистические результаты.

Не могу понять причину, по которой в DEV и QA поступившие файлы нормально зачитываются а в PROD нет.
Причём самое интересное, что если несколько раз переименовывать CSV документы, то ИНОГДА бывает срабатыват и всё зачитывается и выполняется как требуется.

Со старыми файлами, которые в своё время использовались для первых разработок, также нет проблем, если их давать на обратоку в PROD. Тоесть проблем со стороны исполнителя Job, который с файловой системы считывает данные, в моём понимании нет.

По скольку SSIS в предприятии новум, то ДБ админы помочь к сожалению не смогли и всё что я находил в интернете досихпор на эту тему, косалось либо недостаточных прав либо неправильно заданного адресса файлсервера. По этому если кто сталкивался с такого рода проблемкой, поделитесь решением, если таковое существует.

Всем заведомо спасибо за помощь в решении!
8 сен 17, 14:55    [20782050]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
dies irae
Member

Откуда:
Сообщений: 78
ЕвгенийVi,

SSIS логи ведёт, посмотрите там
либо запустите пакет из Visual Studio, увидите процесс наглядно
8 сен 17, 15:04    [20782104]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
Спасибо за ответ.

К сожалению в этом вся и проблема.
Как я в названии темы указал, всё выполняется с успехом, но без результата.
В логах на сервере, ничего не стоит, что могло бы указать мне ошибку.

Пробовал также полный Loging в самом Workflow, с его выводом как файл.
Лог заканчивается после валидации элементов (taks) внутри самого пакета. Тоесть до выполнения чего-либо даже не доходит.
8 сен 17, 15:09    [20782140]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7762
ЕвгенийVi,

пакет выполняется от имени учетной записи SQL Agent, проверьте права. Или настройте "выполнять от имени" в секции шага "дополнительно".
8 сен 17, 15:27    [20782243]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
bideveloper
Member

Откуда:
Сообщений: 503
Если запускать в Visual Studio, то во-первых показываются счетчики данных по каждой ветке дата флоу. Во-вторых можно для ветки настроить дата вьюер и смотреть какие данные туда попадают.
8 сен 17, 15:39    [20782315]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
@Владислав Колосов

Спасибо за совет, но пакет уже выполняется от имени овторизированного пользователя, который имеет достаточно прав.
Как я в начальном посте написал, иногда если поиграться с переименованием названия файлов, то всё "магическим образом" начинает работать без проблем. Но это срабатывает не всегда и почему срабатывает тоже не ясно.

Было предположение что с самими файлами чтото не так, но они безприкословно обрабатываются системами DEV и QA.
К стати система PROD была настроена по аналогии системы QA.
8 сен 17, 15:41    [20782336]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
@bideveloper

К сожалению с Visual Studio у меня не получится запустить процесс, по скольку это будет происходить от имени моего пользователя, который не авторизирован чтолибо писать в PROD базу данных. Этого к сожалению не изменить, по косльку таковы правила на предприятии.

По этому и была создана DEV и QA машины, где можно было проветиь работу пакета как с Visual Studio так и со стороны автоматизированной задачи Job Agent.
8 сен 17, 15:45    [20782363]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
aleks222
Guest
ЕвгенийVi
Всем привет, у меня как не удевительно вопросс.

Ситуация следующая.

Был разработан Workflow, который без проблем работает в DEV и QA системах.
На PROD системе тотже Workflow не работает, а точнее - после успешного завершения процесса, выполняемого Job Agent, БД не содержит ничего. Короче говоря, система считает "No news are good news".

О самом Workflow.
- Происходит загрузка данных с нескольких CSV-файлов в базу данных.
- На основе загруженных данных,тотже Workflow производит аналитические расчёты, после чего выгружается н-ое количество CSV документов, содержаших разные статистические результаты.

Не могу понять причину, по которой в DEV и QA поступившие файлы нормально зачитываются а в PROD нет.
Причём самое интересное, что если несколько раз переименовывать CSV документы, то ИНОГДА бывает срабатыват и всё зачитывается и выполняется как требуется.

Со старыми файлами, которые в своё время использовались для первых разработок, также нет проблем, если их давать на обратоку в PROD. Тоесть проблем со стороны исполнителя Job, который с файловой системы считывает данные, в моём понимании нет.

По скольку SSIS в предприятии новум, то ДБ админы помочь к сожалению не смогли и всё что я находил в интернете досихпор на эту тему, косалось либо недостаточных прав либо неправильно заданного адресса файлсервера. По этому если кто сталкивался с такого рода проблемкой, поделитесь решением, если таковое существует.

Всем заведомо спасибо за помощь в решении!


1. SSIS - это кривой костыль для убогих.
2. Тезис забавный: "Со старыми файлами, которые в своё время использовались для первых разработок, также нет проблем,".
3. А если наполнить старые файлы новым содержанием?
8 сен 17, 17:57    [20782757]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
ЕвгенийVi
О самом Workflow.
- Происходит загрузка данных с нескольких CSV-файлов в базу данных.
- после успешного завершения процесса, выполняемого Job Agent, БД не содержит ничего.
ЕвгенийVi
Пробовал также полный Loging в самом Workflow, с его выводом как файл.
Лог заканчивается после валидации элементов (taks) внутри самого пакета. Тоесть до выполнения чего-либо даже не доходит.
ну значит ничего ваш пакет и не читает
найдите нормального спеца по ссису который за "пиво" посмотрит ваш пакет
иначе это всё гадание на гуще
8 сен 17, 18:28    [20782824]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
aleks222
1. SSIS - это кривой костыль для убогих.
профи и на костыле ускачет подалее многих о двух ногах... :)
8 сен 17, 18:30    [20782830]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
bideveloper
Member

Откуда:
Сообщений: 503
ЕвгенийVi
@bideveloper

К сожалению с Visual Studio у меня не получится запустить процесс, по скольку это будет происходить от имени моего пользователя, который не авторизирован чтолибо писать в PROD базу данных. Этого к сожалению не изменить, по косльку таковы правила на предприятии.

Если у вас нет прав только на запись в прод, а на файлы есть. То вместо записи в прод можно временно поставить заглушку (задачу, которая ничего не делает). И смотреть, что идёт на эту заглушку.
8 сен 17, 18:42    [20782855]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
_human
Member

Откуда:
Сообщений: 560
ЕвгенийVi,

Буквально на днях видел точно такое же...
Проблема была в неправильном пути к файлам. Путь хранился в параметре который использовал Connection Manager.

Странно каенш что SSIS не рапортует о таком
8 сен 17, 18:43    [20782861]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
_human
Member

Откуда:
Сообщений: 560
+ офф
aleks222
1. SSIS - это кривой костыль для убогих.

Расскажите какие решеня используете вместо SSIS ?
8 сен 17, 18:47    [20782869]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
aleks222
1. SSIS - это кривой костыль для убогих.
2. Тезис забавный: "Со старыми файлами, которые в своё время использовались для первых разработок, также нет проблем,".
3. А если наполнить старые файлы новым содержанием?


1. Это излишняя полемика. Ситуация есть такая, какая она есть и тчк.
2. Странна ирония, но всёже - таковыми были наблюдения.
3. Попробовать можно, но разве что только ради интересса. Постоянным решением для автоматизации это назвать нельзя. Тем более как уже было мною сказанно, что на DEV и QA всё работает как надо.

Если вам не сложно, давайте по существу или воздержитесь от коментариев если вам эта тема доставляет неприязнь.
8 сен 17, 18:50    [20782874]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
_human
Member

Откуда:
Сообщений: 560
_human
Путь хранился в параметре который использовал Connection Manager.

набрехал. параметоав не было. неправильный путь был прописан в настройках ForEach контейнера
8 сен 17, 18:54    [20782878]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
bideveloper
ЕвгенийVi
@bideveloper

К сожалению с Visual Studio у меня не получится запустить процесс, по скольку это будет происходить от имени моего пользователя, который не авторизирован чтолибо писать в PROD базу данных. Этого к сожалению не изменить, по косльку таковы правила на предприятии.

Если у вас нет прав только на запись в прод, а на файлы есть. То вместо записи в прод можно временно поставить заглушку (задачу, которая ничего не делает). И смотреть, что идёт на эту заглушку.


Это конечно можно протэстить, но думается мне что проблем не возникнет если запуск пакетa из Visual Studio.
8 сен 17, 18:55    [20782879]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
_human
_human
Путь хранился в параметре который использовал Connection Manager.

набрехал. параметоав не было. неправильный путь был прописан в настройках ForEach контейнера


Параметр действительно существует, в котором хранится путь к папке из которой должны считываться CSV файлы.
Про такого рода ошибку я тоже читал и в связи с этим уже проверял этот вариант. Путь к нужной папке задан правильно, что доказывает хоть и периодическое, но всёже функционированние пакета. Хотя почему переодически работает а почему нет, понят так досихпор и не смогли.

Какихто подозрительных логово ни Job Agent ни сам пакет с включённым Loging не дают. Запущенная задача при помощи Job Agent выполняется, причём очень быстро, но без того чтобы было чтолибо сделанно.
8 сен 17, 19:01    [20782890]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
Дедушка
найдите нормального спеца по ссису который за "пиво" посмотрит ваш пакет
иначе это всё гадание на гуще


Хотел со спецами здесь пообщаться, думал мож кто о таком слыхал.
Но если общение никчему не приведёт, то коенчно и пиво и вобла будет ;).
8 сен 17, 19:07    [20782895]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
felix_ff
Member

Откуда: Moscow
Сообщений: 1367
ЕвгенийVi,

Хотел со спецами здесь пообщаться, думал мож кто о таком слыхал.
Но если общение никчему не приведёт, то коенчно и пиво и вобла будет ;).


Так прикрутите логирование к своему пакету наконец, вы ни пакет не показали ни какой-то конкретной информации не дали.
"Слыхать" тут многие могли много всего и даже видать-видали.


Хотел со спецами здесь пообщаться, думал мож кто о таком слыхал.
Но если общение никчему не приведёт, то коенчно и пиво и вобла будет ;).

Вот вам статьи древние как мир:
http://sqlmag.com/business-intelligence/ssis-logging-and-data-auditing
http://www.sqlservergeeks.com/sql-server-performing-audit-in-sql-server-integration-services/
8 сен 17, 20:20    [20782952]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
felix_ff
Так прикрутите логирование к своему пакету наконец, вы ни пакет не показали ни какой-то конкретной информации не дали.
"Слыхать" тут многие могли много всего и даже видать-видали.

Вот вам статьи древние как мир:
http://sqlmag.com/business-intelligence/ssis-logging-and-data-auditing
http://www.sqlservergeeks.com/sql-server-performing-audit-in-sql-server-integration-services/


Актуально ниечего показать не могу, по скольку всё на работе.
О прикрутке логирования к пакету писал уже выше, оно ничего толкового не выдало, точнее выдаёт общую информацию о протечении выполнения состовляющих пакета. Ошибок НЕТ, в этом то вся и загвоздка. Запуск из под Visual Studio проходит как надо и выполняет всё что требуется. Запуск пакет в Visual Studio могу производить только для DEV и QA систем, к PROD не имею доступа.

Выполнение идентичного пакета на PROD сервере, при помощи Job Agent, протекает якобы успешно (лог другого не говорит), но ниечего после этого выполнения не происходит (данные файлов для импорта не появляются в базе данных)

При выполнение этого же пакета через Job Agent на DEV и QA не имеют выше указанной проблеммы. Там всё работает как надо.
8 сен 17, 20:53    [20782990]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
Alexander Titkin
Member

Откуда: Москва
Сообщений: 91
ЕвгенийVi,

А нет ли в пакете какой-либо логики на C#?
8 сен 17, 22:37    [20783130]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
aleks222
Guest
ЕвгенийVi
Тем более как уже было мною сказанно, что на DEV и QA всё работает как надо.
Если вам не сложно, давайте по существу или воздержитесь от коментариев если вам эта тема доставляет неприязнь.


Батенька, при вашей склонности к гаданию на кофейной гуще и наивной вере в чудесную кнопку - вам в управдомы лучше переквалифицироваться.
9 сен 17, 06:32    [20783365]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
aleks222
Guest
_human
+ офф
aleks222
1. SSIS - это кривой костыль для убогих.

Расскажите какие решеня используете вместо SSIS ?


Ты не поверишь!

bulk load + процедура на T-SQL.

Единственный раз, когда я имел секас с SSIS - это ко мне привязались с разовой загрузкой excel-файла.
Ужос.
9 сен 17, 06:38    [20783366]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
Ennor Tiegael
Member

Откуда:
Сообщений: 3248
aleks222
_human

Ты не поверишь!

bulk load + процедура на T-SQL.

Единственный раз, когда я имел секас с SSIS - это ко мне привязались с разовой загрузкой excel-файла.
Ужос.
У вас были именно CSV-файлы на входе, которые вы напрямую заливали в MSSQL? И давно это было? А то тут вот говорят, что
BULK INSERT (Transact-SQL)
Beginning with SQL Server 2017 CTP 1.1, BULK INSERT supports the CSV format.
Мне как-то пришлось даже конвертер CSV для этого писать, т.к. все существующие релизы MSSQL просто игнорируют кавычки.
9 сен 17, 08:15    [20783402]     Ответить | Цитировать Сообщить модератору
 Re: SSIS - Пакет успешно выполнен но ничего не произошло  [new]
ЕвгенийVi
Member

Откуда:
Сообщений: 27
Alexander Titkin
ЕвгенийVi,

А нет ли в пакете какой-либо логики на C#?


Таковая тоже имеется, но не на C# a в VB.
Спрятана она в Skript Task элементе и проверяет помимо другого, наличие файлов в конкретной папке.

В эту сторону проверял также. С дебагером проверял код находящийся в этом элементе, но также ничего не выявил. Проверка наличия файлов, происходит путём стандартной функции .NET, которая считает наличие элементов в папке с определённым окончанием. В моём случае окончание CSV. Если таковых файлов не найдено, то процесс завершается.

Есть помимо проверки самого кода, какието нюансы которые могут привести к проблеме?
9 сен 17, 10:44    [20783489]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить