Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
Добрый день. Помогите, пожалуйста, найти причину возникновения ошибки. Только начинаю изучать тему

В трансформации всего два шага (во вложенном файле). При запуске появляется ошибка

2017/06/06 09:38:48 - Spoon - Transformation opened.
2017/06/06 09:38:48 - Spoon - Launching transformation [prepare_tables]...
2017/06/06 09:38:48 - Spoon - Started the transformation execution.
2017/06/06 09:38:48 - prepare_tables - Dispatching started for transformation [prepare_tables]
2017/06/06 09:38:48 - Player Status Dim.0 - Connected to database [gl52] (commit=1000)
2017/06/06 09:38:48 - Player Status.0 - Finished processing (I=0, O=0, R=0, W=2, U=0, E=0)
2017/06/06 09:38:48 - Player Status Dim.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Unexpected error
2017/06/06 09:38:48 - Player Status Dim.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
2017/06/06 09:38:48 - Player Status Dim.0 - Couldn't execute SQL: TRUNCATE TABLE player_status_dim
2017/06/06 09:38:48 - Player Status Dim.0 -
2017/06/06 09:38:48 - Player Status Dim.0 - ERROR: relation "player_status_dim" does not exist
2017/06/06 09:38:48 - Player Status Dim.0 -
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1561)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1509)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.core.database.Database.truncateTable(Database.java:3100)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.truncateTable(TableOutput.java:563)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:86)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2017/06/06 09:38:48 - Player Status Dim.0 - at java.lang.Thread.run(Thread.java:745)
2017/06/06 09:38:48 - Player Status Dim.0 - Caused by: org.postgresql.util.PSQLException: ERROR: relation "player_status_dim" does not exist
2017/06/06 09:38:48 - Player Status Dim.0 - at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2198)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1927)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:255)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:561)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:405)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:397)
2017/06/06 09:38:48 - Player Status Dim.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1535)
2017/06/06 09:38:48 - Player Status Dim.0 - ... 6 more
2017/06/06 09:38:48 - Player Status Dim.0 - Finished processing (I=0, O=0, R=1, W=0, U=0, E=1)
2017/06/06 09:38:48 - prepare_tables - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Errors detected!
2017/06/06 09:38:48 - Spoon - The transformation has finished!!
2017/06/06 09:38:48 - prepare_tables - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Errors detected!
2017/06/06 09:38:48 - prepare_tables - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Errors detected!
2017/06/06 09:38:48 - prepare_tables - Transformation detected one or more steps with errors.
2017/06/06 09:38:48 - prepare_tables - Transformation is killing the other steps!


К сообщению приложен файл. Размер - 5Kb
6 июн 17, 09:53    [20542183]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
если в таблице OUTPUT убрать галочку с поля Truncate table, то текст ошибки меняется:

2017/06/06 10:30:53 - Player Status Dim.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Because of an error, this step can't continue:
2017/06/06 10:30:53 - Player Status Dim.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : org.pentaho.di.core.exception.KettleException:
2017/06/06 10:30:53 - Player Status Dim.0 - Error inserting row into table [player_status_dim] with values: [ 1], [active]
2017/06/06 10:30:53 - Player Status Dim.0 -
2017/06/06 10:30:53 - Player Status Dim.0 - Error inserting/updating row
2017/06/06 10:30:53 - Player Status Dim.0 - ERROR: relation "player_status_dim" does not exist
6 июн 17, 10:34    [20542309]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
biwed.ru
Member

Откуда:
Сообщений: 170
Len4ick,
С чего это вдруг меняется. Черным по белому написано: "ERROR: relation "player_status_dim" does not exist" в двух сообщениях.

С уважением,
biwed.ru
6 июн 17, 10:53    [20542423]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
biwed.ru
Member

Откуда:
Сообщений: 170
Len4ick,
Табличку создай, куда данные будешь записывать.

С уважением,
biwed.ru
6 июн 17, 10:55    [20542434]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
biwed.ru,

Спасибо большое.
6 июн 17, 11:14    [20542535]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
Добрый день. Не хочу открывать новую тему, так проблема в том что выдается ошибка, но я не вижу в чем проблема :(

Создала трансформацию. В Table Input есть скрипт:
SELECT nextval('olap_player_fact_id'),
       p.main_country_id,
       p.height,
       p.weight,
       CASE p.status WHEN 'active' THEN 1
                     WHEN 'inactive' THEN 2
       END as status_id,
       CASE p.has_career WHEN 'no' THEN 1
                         WHEN 'yes' THEN 2
       END as has_career_id
FROM         player                AS p



, в Table Output указываю target_table - olap_player_fact.

Когда я делаю этот инсерт в базе - все работает, а тут появляется ошибка:
2017/06/29 17:03:55 - Player_fact.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Unexpected batch update error committing the database connection.
2017/06/29 17:03:55 - Player_fact.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseBatchException:
2017/06/29 17:03:55 - Player_fact.0 - Error updating batch
2017/06/29 17:03:55 - Player_fact.0 - Batch entry 0 INSERT INTO olap_player_fact (nextval, main_country_id, height, weight, status_id, has_career_id) VALUES ( 73, 1, 186, 90, 1, 2) was aborted. Call getNextException to see the cause.
30 июн 17, 09:58    [20601741]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
biwed.ru
Member

Откуда:
Сообщений: 170
Len4ick,
Добрый день.

Здесь не приведена информация, которая необходима для выявления ошибки. Я обычно, что бы понять, что не так кидаю запрос на БД. Далее стане понятно либо это ошибка синтаксиса либо внешние ключи не позволяют записать данные, либо не соответствие типов.

Выполните на своей СУБД запрос:
INSERT INTO olap_player_fact (nextval, main_country_id, height, weight, status_id, has_career_id) VALUES ( 73, 1, 186, 90, 1, 2)
Станет понятно, почему СУБД не принимает.

С уважением,
biwed.ru
30 июн 17, 10:21    [20601850]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
biwed.ru,

я такой запрос писала, и строчка была внесена без ошибок. Именно поэтому я и не знаю что делать дальше и где смотреть
30 июн 17, 10:32    [20601906]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Leoris
Member

Откуда:
Сообщений: 47
Len4ick,

в dummy step или файл данные нормально записываются?

Попробуйте запустите трансформацию с максимальной детализацией логирования (log level - debug)
30 июн 17, 21:50    [20604471]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
biwed.ru
Member

Откуда:
Сообщений: 170
Len4ick,
Добрый день.
Как я уже писал и другие написали, однозначно идентифицировать ошибку возможно только при более детальном логе.

1. Не много не ясно зачем в выборке делать. Я ожидаю что у вас поле olap_player_fact_id автоинкремент.
SELECT nextval('olap_player_fact_id'),

Как вариант переписать запрос без "nextval('olap_player_fact_id'),":
+ Как-то так

SELECT 
       p.main_country_id,
       p.height,
       p.weight,
       CASE p.status WHEN 'active' THEN 1
                     WHEN 'inactive' THEN 2
       END as status_id,
       CASE p.has_career WHEN 'no' THEN 1
                         WHEN 'yes' THEN 2
       END as has_career_id
FROM         player                AS p


Ожидаю, что будет работать.

С уважением,
biwed.ru
3 июл 17, 03:33    [20607771]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
Добрый день.
1. Я поробовала записать данные в текстовый файл - все отлично, все записалось.
2. попробовала заменить на обычный селект
 SELECT 1; 
и оставить ту же таблицу с одним полем. На экране та же ошибка :(
3 июл 17, 11:40    [20608371]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
В таблице olap_player_fact сейчас 1 солбец типа integer и две строки. Переделала селект в таблице Table_input:

SELECT id + 1
from olap_player_fact;

По логам видно. что было считано 2 строки и к каждому значению прибавленна 1, но инсерт не пошел. Может какие-то галочки дополнительтеьные где-то над проверить?
3 июл 17, 14:21    [20609059]     Ответить | Цитировать Сообщить модератору
 Re: Ошибка при создании трансформации  [new]
Len4ick
Member

Откуда:
Сообщений: 168
Всем спасибо. Нашла причину. Не верно была указана Target_schema
3 июл 17, 14:57    [20609251]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить