Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
 Re: Изучаю Informatica - вопросы для понимания  [new]
netdiver
Member

Откуда:
Сообщений: 5
Бумбараш
Master_Detail

- Enterprise любит готовые решения, чтобы была поддержка и гарантии

ну и еще раз. Это положение дел на 2005 год. Тогда можно было говорить такое про информатику. Сейчас в любом самом большом энтерпрайзе никто её уже не внедряет, как тогда. А пользуются другими средствами.


Ну,ну .. Deutsche Bank, Deutsche Boerse, ING, BNP, UniCredit, BMW, VW ,Audi, Kuka, Mercedes ... это только те, которые мне лично по работе последние 2-3 года встречались ))
25 сен 20, 15:28    [22204315]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
netdiver
Бумбараш
пропущено...

ну и еще раз. Это положение дел на 2005 год. Тогда можно было говорить такое про информатику. Сейчас в любом самом большом энтерпрайзе никто её уже не внедряет, как тогда. А пользуются другими средствами.


Ну,ну .. Deutsche Bank, Deutsche Boerse, ING, BNP, UniCredit, BMW, VW ,Audi, Kuka, Mercedes ... это только те, которые мне лично по работе последние 2-3 года встречались ))

Cobol тоже во многих из этих организаций есть и что?

Ну и я по рынку России говорил. Что там в гейропах я не разбираюсь.

Сообщение было отредактировано: 25 сен 20, 16:38
25 сен 20, 16:41    [22204353]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
netdiver
Бумбараш,

Явно за 10 лет тебе просто не приходилось собирать и интегрировать в двх данные с 200+ офисов со всего мира из 10+ разных систем и в csv, xml, excel, oracle, db2, postgre и тп одновременно.

в гуглах, яндексах и других компаниях как-то обходятся без информатик для интеграции из 200+ офисов

к слову в России в госкомпаниях иностранное ПО вообще запрещают. В той или иной степени. И тоже как-то справляются.

Возможно они делают это не лучшим образом. Надо им обратиться за консультациями к лучшим программистам в мире - энтерпрайз-макакам.

Сообщение было отредактировано: 25 сен 20, 16:44
25 сен 20, 16:47    [22204356]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1273
Бумбараш
netdiver
Бумбараш,

Явно за 10 лет тебе просто не приходилось собирать и интегрировать в двх данные с 200+ офисов со всего мира из 10+ разных систем и в csv, xml, excel, oracle, db2, postgre и тп одновременно.

в гуглах, яндексах и других компаниях как-то обходятся без информатик для интеграции из 200+ офисов

к слову в России в госкомпаниях иностранное ПО вообще запрещают. В той или иной степени. И тоже как-то справляются.

Возможно они делают это не лучшим образом. Надо им обратиться за консультациями к лучшим программистам в мире - энтерпрайз-макакам.


да кому то повезло (хватило интеллекта) работать в гоглах-яндексах.
Сколько это 0.001 % от ОБЩЕГО ЧИСЛА ??

да ключевое это рынок на кого работаешь
я из РБ на оффшор - и вот тоже потиху лажу в информатике
ибо досталось легаси и от тебя не зависит.
Не могу сказать что мне нравится но выбора то нет.

хотя для НОВЫХ проектов я б с удовольтсвием был апач аирфлоу или другой фреймворк (питон)
если это ваш случай это классно можно только позавидовать
выбор технологий это большой плюс.
28 сен 20, 18:06    [22205876]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2748
Ну у нас как раз в РФ выбирают аирфлов и найфаи в новых проектах. И это в банках, а не в яндексах даже.
Информатика есть, но в легаси. В новых проектах почти нет.
28 сен 20, 18:37    [22205911]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1273
Бумбараш
Ну у нас как раз в РФ выбирают аирфлов и найфаи в новых проектах. И это в банках, а не в яндексах даже.
Информатика есть, но в легаси. В новых проектах почти нет.


100% легаси.
Да в новых проектах Новые технологии
я бы и сам с удовоольствием смотрел в ту сторону
но у нас в РБ норм. зарплата это работа на оффшор а там легаси большинство
хотя случаются и новые вещи но у меня они были давно увы.
Потому и читаю тему и сам ковыряюсь по тиху в информатике.
30 сен 20, 13:43    [22207050]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Доброго дня!
Столкнулся с непонятной мне вещью.. Пытаюсь внести правки в маппинг - нужно добавить поля в SQ. Перетаскиваю поля из Source в SQ, поле добавляется в SQ, но при этом линк не отрисовывается. Думал, может графический глюк...перезашел в дизайнер, переподключился к репозиторию - ничего. Попробовал новый порт добавить руками в SQ, а потом указать ему поле в источнике - не пашет. Что за прикол?

upd. Проверил возможность добавления линков дальше. Пытаюсь руками созданный порт SQ добавить в Joiner - та же история, порт добавляется, линк не рисуется

upd2. Все просто.. Не был включен Link Column в Layout :(

Сообщение было отредактировано: 1 окт 20, 10:23
1 окт 20, 10:21    [22207406]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Господа, ищу помощи.

Имею маппинг, в котором собирается некий поток данных. Он пропускается через Router и по условию разделяется на два потока - один отправляет данные на инсерт, другой на апдейт. Апдейт выглядит как: ...Router->Update Strategy->Target.

По настройкам:
- в Update Strategy установлено 1(DD_UPDATE тоже пробовал)
- на таргете включена галочка "Update as Update"
- коннект к таргету под пользователем-владельцем таблицы, то есть права на апдейт в БД имеются

В логах вижу следующее:

2020-10-01 19:41:56 : INFO : (19684 | TRANSF_1_5_1) : (IS | IntSrv_virt) : node01 : CMN_1053 : UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Control=[None]

UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Rowdata: ( RowType=0(insert) Src Rowid=1 Targ Rowid=1
  TECH_CONTACT_ROW_ID1 (ROW_ID:UniChar.15:): "9999"
  MAIN_EMAIL1 (EMAIL_ADDR:UniChar.350:): "kakoytomail@gmail.com"

)

...
2020-10-01 19:42:29 : ERROR : (19684 | WRITER_1_*_1) : (IS | IntSrv_virt) : node01 : WRT_8117 :

ERROR: Target table [S_CONTACT] does not allow INSERT
Row # [0] in bad file


По непонятной мне причине информатика хочет инсертить эту запись, а не апдейтить.. Куда смотреть?
Спасибо
1 окт 20, 17:28    [22207665]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Master_Detail
Господа, ищу помощи.
По непонятной мне причине информатика хочет инсертить эту запись, а не апдейтить.. Куда смотреть?
Спасибо

Импортнул процесс в другой репозиторий информатики. Запустил, все отработало корректно. В логах RowType=1(update):

2020-10-02 12:14:39 : INFO : (27428 | TRANSF_1_5_1) : (IS | IntSrv) : node01 : CMN_1053 : UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Control=[None]
UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Rowdata: ( RowType=1(update) Src Rowid=1 Targ Rowid=1
  TECH_CONTACT_ROW_ID1 (ROW_ID:UniChar.15:): "9999"
  MAIN_EMAIL1 (EMAIL_ADDR:UniChar.350:): "kakoytomail@gmail.com"
)

То есть с самим процессом вроде как все ок. На уровне БД по идее тоже.. В правах дело быть не может, так как 1. права на update есть и 2.информатика ведь иницирует insert, а не update. В этом и проблема.
2 окт 20, 09:23    [22207916]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Anonymous_20
Member

Откуда:
Сообщений: 16
Master_Detail
Господа, ищу помощи.

Имею маппинг, в котором собирается некий поток данных. Он пропускается через Router и по условию разделяется на два потока - один отправляет данные на инсерт, другой на апдейт. Апдейт выглядит как: ...Router->Update Strategy->Target.

По настройкам:
- в Update Strategy установлено 1(DD_UPDATE тоже пробовал)
- на таргете включена галочка "Update as Update"
- коннект к таргету под пользователем-владельцем таблицы, то есть права на апдейт в БД имеются

По непонятной мне причине информатика хочет инсертить эту запись, а не апдейтить.. Куда смотреть?
Спасибо


Что стоит в настройках данной сессии на вкладке Properties, пункт Treat source rows as?
2 окт 20, 12:43    [22208040]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Anonymous_20

Что стоит в настройках данной сессии на вкладке Properties, пункт Treat source rows as?

И не обращал внимание ранее на это свойство.. Всегда по-умолчанию использовал "Data driven". Спасибо, в этом и причина..
В чем смысл этого свойства на практике? Чтобы не использовать Update Strategy в маппинге?
2 окт 20, 18:09    [22208234]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
netdiver
Member

Откуда:
Сообщений: 5
Бумбараш
netdiver
Бумбараш,

Явно за 10 лет тебе просто не приходилось собирать и интегрировать в двх данные с 200+ офисов со всего мира из 10+ разных систем и в csv, xml, excel, oracle, db2, postgre и тп одновременно.

в гуглах, яндексах и других компаниях как-то обходятся без информатик для интеграции из 200+ офисов

к слову в России в госкомпаниях иностранное ПО вообще запрещают. В той или иной степени. И тоже как-то справляются.

Возможно они делают это не лучшим образом. Надо им обратиться за консультациями к лучшим программистам в мире - энтерпрайз-макакам.


Обиженных псевдо-патриотичных замполит-бабуинов-недоучек в целом опасно консультировать. Лучше держатся от них подальше- уж очень они тупые и кусачие ;)
4 окт 20, 23:47    [22208853]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1167
Друзья, давайте воздержимся от взаимных оскорблений и не будем в политоту скатываться.

Выбор решения зависит от множества причин:
1. Компания "подсела" на стек продуктов какого-либо из вендоров, например, из-за подписанного корпоративного соглашения с очень привлекательными условиями и у них уже очень много решений данного вендора. Скорее всего, при выборе решения она в первую очередь будет смотреть на стек продуктов именного данного вендора.
2. У сотрудников компании есть опыт работы именно с определенным стеком продуктов. Да, это может быть не идеальное решение, но уже есть обученные сотрудники и они понимают как сделать проект на тех технологиях, которыми они владеют. Как говориться, "самая ближняя дорога к дому - та, которую хорошо знаешь". Выбор других продуктов, даже лучше подходящих для решения данной задачи, может быть ограничен необходимостью в поиске специалистов, что не так просто, обучению текущих сотрудниках новым технологиям, при этом все равно непонятны риски - пока сами на грабли не наступят, не поймут, как правильно делать и чем грозит выбор того или иного архитектурного значения.
3. Компании необходимо проверенное и рабочее решение, и у них есть деньги на него. Просто бизнес видел подобное решение, понимает что оно работает и требует "точно также" - потому что видит в этом отсутствие рисков.
4. Компания придерживается стратегии открытого П.О. или стратегии "напишем все сами". Не всякие компании могут это себе позволить, но такие примеры встречал неоднократно. Зачастую, связанно с боязнью быть завязанным на "чужие" технологии или премиальную поддержку "бесплатных" продуктов.
4.1. В компания не поощряется покупка программных продуктов.
4.2. В компании есть энтузиасты, которые любят что-то новое, особенно открытое. Вполне себе рабочий вариант, потому что ряд технологий развивается очень высокими темпами, и даже "хорошее проверенное решение" может уступать "условно-бесплатным" технологиям, если уметь их готовить.
5. Компанию каким-то чудом убедили, что несмотря на п.п. 1-4, есть продукт который полностью закрывает их потребности и даёт определенные преимущества, несмотря на необходимость платить за него и обучать специалистов. Обычно - самый тяжелый путь, связанный со множеством пилотных проектов, нагрузочного тестирования и так далее.

Список можно продолжать до бесконечности.

Да, и результат проекта зачастую не зависит от выбранного П.О. в соответствии с приведенными параметрами выбора.

С Уважением,
Георгий
5 окт 20, 09:47    [22208915]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Anonymous_20
Member

Откуда:
Сообщений: 16
Master_Detail

И не обращал внимание ранее на это свойство.. Всегда по-умолчанию использовал "Data driven". Спасибо, в этом и причина..
В чем смысл этого свойства на практике? Чтобы не использовать Update Strategy в маппинге?

Я обычно использую Update Strategy когда несколько приемников и с разными операциями или в рамках 1 могут меняться динамически операции. Если допустим у меня N приемников но у всех операция INSERT, то по мне проще Treat source rows as указать INSERT.
Когда ставите Data driven информатика воспринимает, что типом операции будет управлять Update Strategy.
5 окт 20, 17:51    [22209226]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 9313
Гулин Федор

хотя для НОВЫХ проектов я б с удовольтсвием был апач аирфлоу или другой фреймворк (питон)
если это ваш случай это классно можно только позавидовать
выбор технологий это большой плюс.

ETL инструменты для того и были разработаны, чтобы можно было забыть про кодинг на языках, по крайней мере такая цель была

не торопитесь завидовать, имею дело с амазоновскими сервисами DMS, Glue и цензурных слов у меня нет, на фоне информатики/датастейджа/даже бесплатного таленда они выглядят как студенческие наколеночные поделки, с аирфлоу и нифи пока бог миловал дело иметь, но на 90% уверен что там примерно той же консистенции субстанция.
6 окт 20, 02:20    [22209321]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Anonymous_20
Master_Detail

И не обращал внимание ранее на это свойство.. Всегда по-умолчанию использовал "Data driven". Спасибо, в этом и причина..
В чем смысл этого свойства на практике? Чтобы не использовать Update Strategy в маппинге?

Я обычно использую Update Strategy когда несколько приемников и с разными операциями или в рамках 1 могут меняться динамически операции. Если допустим у меня N приемников но у всех операция INSERT, то по мне проще Treat source rows as указать INSERT.
Когда ставите Data driven информатика воспринимает, что типом операции будет управлять Update Strategy.

Благодарю за ответ!
6 окт 20, 12:19    [22209448]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Доброго дня, господа.
Вопрос вроде простой, но пока не нашел для себя однозначного ответа. У меня есть некая таблица, в которой лежит флаг "Надо делать загрузку" (условно). Есть второй источник, где 100500 строк. Если флаг = Y, забираем данные из второго источника, если N, то даже не читаем. Это можно сделать в одном маппинге и сессии? Если просто лукапить этот флаг, то источник все-равно сначала прочитается, а потом только проверится флаг. А нельзя ли сразу как-то?
15 окт 20, 08:32    [22214552]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Anonymous_20
Member

Откуда:
Сообщений: 16
Master_Detail,
Самый простой вариант 2 сессии. 1 сессия проверят наличие удовлетворяющего условия (флага). Если условие удовлетворяет, то запускается 2 сессия. Условие ставим между сессиями, на стрелочке.

В 1 мапинге можно, но вопрос зачем? Вы не оставляете поле для маневров в будущем (Ох сколько видел таких решений под названием, «а после меня хоть потоп»). Можно, на источники проверять флаг, а данные грузить через SQL трансформацию.
19 окт 20, 16:18    [22216897]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Master_Detail
Member

Откуда:
Сообщений: 70
Anonymous_20
Master_Detail,
Самый простой вариант 2 сессии. 1 сессия проверят наличие удовлетворяющего условия (флага). Если условие удовлетворяет, то запускается 2 сессия. Условие ставим между сессиями, на стрелочке.

В 1 мапинге можно, но вопрос зачем? Вы не оставляете поле для маневров в будущем (Ох сколько видел таких решений под названием, «а после меня хоть потоп»). Можно, на источники проверять флаг, а данные грузить через SQL трансформацию.


Спасибо за ответ. В принципе так и думал, что 2 сессии - лучший вариант. «а после меня хоть потоп» - не наш вариант, надо, чтобы работало хорошо и поддерживать было просто :)
20 окт 20, 06:30    [22217175]     Ответить | Цитировать Сообщить модератору
 Re: Изучаю Informatica - вопросы для понимания  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3626
Sintetik
Гулин Федор

хотя для НОВЫХ проектов я б с удовольтсвием был апач аирфлоу или другой фреймворк (питон)
если это ваш случай это классно можно только позавидовать
выбор технологий это большой плюс.

ETL инструменты для того и были разработаны, чтобы можно было забыть про кодинг на языках, по крайней мере такая цель была

не торопитесь завидовать, имею дело с амазоновскими сервисами DMS, Glue и цензурных слов у меня нет, на фоне информатики/датастейджа/даже бесплатного таленда они выглядят как студенческие наколеночные поделки, с аирфлоу и нифи пока бог миловал дело иметь, но на 90% уверен что там примерно той же консистенции субстанция.


Как ELT инструмент информатика зело избыточна и сложна. Аирфлоу же очень удобен в этой парадигме, тем что вся обертка с шедулерами, воркфловами, переменными, логами и конекшенами есть, а лишнего ничего нет. Ну и питон очень хорош для кастомизации.

А ETL уже свое изжил, это легаси. Если у вас в амазоне snowflake или redshift, то трансформации на инфоматике туда пихать это зло.
22 окт 20, 18:45    [22219053]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
Все форумы / OLAP и DWH Ответить