Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
 Very slow INSERTs  [new]
Amiri
Member

Откуда: Pakistan
Сообщений: 721
Доброе утро.
Имеет место быть subj.
создаю таблицу при вставке 70к записей время вставки занимает более 4 часов.
почему так происходит.
--
а также следующее:
+
select count(*) from SET.TXN

1
-----------
70241

1 record(s) selected.

db2 => INSERT INTO "SET"."TXN" ("ACG_TXN_TP_ID", "BRK_COST_AMT", "BRK_COST_CCY_ID", "CR_AU_CST_ID", "CR_AU_ID", "CR_IFRS_ACG_STC_ITM_ID", "CR_NET_CASH_FLOW_AMT", "CR_RAS_ACG_STC_ITM_ID", "DB_AU_CST_ID", "DB_AU_ID", "DB_IFRS_ACG_STC_ITM_ID", "DB_NET_CASH_FLOW_AMT", "DB_RAS_ACG_STC_ITM_ID", "DPRCN_IND", "DVC_ID", "EXCP_CAUS_ID", "EXCP_IMP_ID", "EXG_RATE", "MSR_PRD_ID", "NET_CASH_FLOW_AMT", "NET_CASH_FLOW_AMT_DMST", "OPRN_TP", "OU_ID", "PCS_TASK_ID", "PPN_DT", "PPN_TM", "PRIM_AR_ID", "PRIM_CST_ID", "PYMT_DOC_ID", "PYMT_DOC_TP_CODE", "REFR_NBR", "RQS_CMM_ID", "RQS_CNL_ID", "SETL_CNL_ID", "SRC_STM_ID", "SSPCS_EV_GRP_ID", "TM_OF_DAY_TBND_ID", "TXN_BOOK_DT", "TXN_CCY_ID", "TXN_CRT_DT", "TXN_DSC", "TXN_DT", "TXN_ID", "TXN_LCS_TP_ID", "TXN_TM", "TXN_TP_ID", "TXN_VAL_DT", "TXN_VAL_TM") VALUES (17, 5.4647, 26, 29, 70, 66, 9.9844, 83, 43, 83, 42, 10.3590, 9, 'W', 'XIYTLEIAPO', 33, 33, 18.6819, 90, 50.4871, 8.1723, 'P', 92, 46, '2010-05-26', '07:10:08', 20, 83, 89, 'RREWT', 'AGXNEXCRKB', 72, 89, 28, 25, 12, 13, '2004-01-17', 0, '2010-12-30', 'UBZI', '2002-10-20', 68, 98, '13:19:17', 25, '2015-06-25', '19:55:49')

получаю следующее:

DB21034E The command was processed as an SQL statement because it was not a
valid Command Line Processor command. During SQL processing it returned:
SQL0327N The row cannot be inserted into table "SET.TXN" because it is
outside the bounds of the defined data partition ranges. SQLSTATE=22525

+

CREATE TABLE SET.TXN (
TXN_ID BIGINT NOT NULL,
TXN_TP_ID INTEGER,
ACG_TXN_TP_ID INTEGER,
MSR_PRD_ID SMALLINT,
TM_OF_DAY_TBND_ID INTEGER,
RQS_CNL_ID INTEGER,
SETL_CNL_ID INTEGER,
EXCP_CAUS_ID INTEGER,
EXCP_IMP_ID INTEGER,
RQS_CMM_ID INTEGER,
SSPCS_EV_GRP_ID INTEGER,
TXN_LCS_TP_ID INTEGER,
DB_AU_ID INTEGER,
CR_AU_ID INTEGER,
DB_AU_CST_ID INTEGER,
CR_AU_CST_ID INTEGER,
DB_RAS_ACG_STC_ITM_ID INTEGER,
CR_RAS_ACG_STC_ITM_ID INTEGER,
DB_IFRS_ACG_STC_ITM_ID INTEGER,
CR_IFRS_ACG_STC_ITM_ID INTEGER,
OU_ID INTEGER,
PRIM_CST_ID INTEGER,
PRIM_AR_ID INTEGER,
PYMT_DOC_ID INTEGER,
PYMT_DOC_TP_CODE VARCHAR(10),
TXN_CCY_ID INTEGER NOT NULL,
DB_NET_CASH_FLOW_AMT DECIMAL(22, 4),
CR_NET_CASH_FLOW_AMT DECIMAL(22, 4),
NET_CASH_FLOW_AMT DECIMAL(22, 4),
NET_CASH_FLOW_AMT_DMST DECIMAL(22, 4),
TXN_CRT_DT DATE,
TXN_BOOK_DT DATE,
TXN_DT DATE,
TXN_TM TIME,
TXN_VAL_DT DATE,
TXN_VAL_TM TIME,
DVC_ID VARCHAR(18),
TXN_DSC VARCHAR(2000),
REFR_NBR VARCHAR(64),
EXG_RATE REAL,
BRK_COST_AMT DECIMAL(22, 4),
BRK_COST_CCY_ID INTEGER,
DPRCN_IND CHARACTER(1),
PPN_DT DATE NOT NULL,
PPN_TM TIME NOT NULL,
SRC_STM_ID SMALLINT NOT NULL,
PCS_TASK_ID INTEGER NOT NULL,
OPRN_TP CHARACTER(1) NOT NULL
)
INDEX IN INDEX_L0
PARTITION BY RANGE (
MSR_PRD_ID NULLS LAST,
SRC_STM_ID NULLS LAST ) (
PARTITION PART876704 STARTING (8767,4) INCLUSIVE ENDING (8767,4) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0,
PARTITION PART876707 STARTING (8767,7) INCLUSIVE ENDING (8767,7) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0,
PARTITION PART876708 STARTING (8767,8) INCLUSIVE ENDING (8767,8) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0,
PARTITION PART876709 STARTING (8767,9) INCLUSIVE ENDING (8767,9) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0,
PARTITION PART876710 STARTING (8767,10) INCLUSIVE ENDING (8767,10) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0,
PARTITION PART876724 STARTING (8767,24) INCLUSIVE ENDING (8767,24) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0,
PARTITION PART1073909 STARTING (10739,9) INCLUSIVE ENDING (10739,9) INCLUSIVE IN DATA_L0 INDEX IN INDEX_L0 )
DISTRIBUTE BY HASH (TXN_ID) ;

ALTER TABLE SET.TXN
DATA CAPTURE NONE
PCTFREE 0
LOCKSIZE ROW
APPEND OFF
NOT VOLATILE;

ALTER TABLE SET.TXN
ADD CONSTRAINT TXN_PK PRIMARY KEY
(TXN_ID);
3 сен 15, 10:37    [18102813]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Amiri
Member

Откуда: Pakistan
Сообщений: 721
Amiri
Доброе утро.
Имеет место быть subj.
создаю таблицу при вставке 70к записей время вставки занимает более 4 часов.
почему так происходит.
--
а также следующее:
+
select count(*) from SET.TXN

1
-----------
70241

1 record(s) selected.

db2 => INSERT INTO "SET"."TXN" ("ACG_TXN_TP_ID", "BRK_COST_AMT", "BRK_COST_CCY_ID", "CR_AU_CST_ID", "CR_AU_ID", "CR_IFRS_ACG_STC_ITM_ID", "CR_NET_CASH_FLOW_AMT", "CR_RAS_ACG_STC_ITM_ID", "DB_AU_CST_ID", "DB_AU_ID", "DB_IFRS_ACG_STC_ITM_ID", "DB_NET_CASH_FLOW_AMT", "DB_RAS_ACG_STC_ITM_ID", "DPRCN_IND", "DVC_ID", "EXCP_CAUS_ID", "EXCP_IMP_ID", "EXG_RATE", "MSR_PRD_ID", "NET_CASH_FLOW_AMT", "NET_CASH_FLOW_AMT_DMST", "OPRN_TP", "OU_ID", "PCS_TASK_ID", "PPN_DT", "PPN_TM", "PRIM_AR_ID", "PRIM_CST_ID", "PYMT_DOC_ID", "PYMT_DOC_TP_CODE", "REFR_NBR", "RQS_CMM_ID", "RQS_CNL_ID", "SETL_CNL_ID", "SRC_STM_ID", "SSPCS_EV_GRP_ID", "TM_OF_DAY_TBND_ID", "TXN_BOOK_DT", "TXN_CCY_ID", "TXN_CRT_DT", "TXN_DSC", "TXN_DT", "TXN_ID", "TXN_LCS_TP_ID", "TXN_TM", "TXN_TP_ID", "TXN_VAL_DT", "TXN_VAL_TM") VALUES (17, 5.4647, 26, 29, 70, 66, 9.9844, 83, 43, 83, 42, 10.3590, 9, 'W', 'XIYTLEIAPO', 33, 33, 18.6819, 90, 50.4871, 8.1723, 'P', 92, 46, '2010-05-26', '07:10:08', 20, 83, 89, 'RREWT', 'AGXNEXCRKB', 72, 89, 28, 25, 12, 13, '2004-01-17', 0, '2010-12-30', 'UBZI', '2002-10-20', 68, 98, '13:19:17', 25, '2015-06-25', '19:55:49')

получаю следующее:

DB21034E The command was processed as an SQL statement because it was not a
valid Command Line Processor command. During SQL processing it returned:
SQL0327N The row cannot be inserted into table "SET.TXN" because it is
outside the bounds of the defined data partition ranges. SQLSTATE=22525

тут понятно за диапазон!!! (не актуально)

второй вопрос открыт остается!
Спасибо.
3 сен 15, 12:34    [18103682]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4946
Amiri,

Добрый день.

MQT, триггеры есть на таблице?
План запроса вставки покажите.
3 сен 15, 12:43    [18103734]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Amiri
Member

Откуда: Pakistan
Сообщений: 721
Mark Barinstein,

Нет тригеров нет никаких.

cut <<

+
INSERT INTO SETG.TXN(TXN_CCY_ID,PPN_DT,PPN_TM,PCS_TASK_ID,OPRN_TP,TXN_ID,TXN_TP_ID,ACG_TXN_TP_ID,MSR_PRD_ID,TM_OF_DAY_TBND_ID,RQS_CNL_ID,SETL_CNL_ID,EXCP_CAUS_ID,EXCP_IMP_ID,RQS_CMM_ID,SSPCS_EV_GRP_ID,TXN_LCS_TP_ID,DB_AU_ID,CR_AU_ID,DB_RAS_ACG_STC_ITM_ID,CR_RAS_ACG_STC_ITM_ID,DB_IFRS_ACG_STC_ITM_ID,CR_IFRS_ACG_STC_ITM_ID,OU_ID,PRIM_CST_ID,PRIM_AR_ID,PYMT_DOC_ID,PYMT_DOC_TP_CODE,CR_NET_CASH_FLOW_AMT,DB_NET_CASH_FLOW_AMT,NET_CASH_FLOW_AMT_DMST,TXN_CRT_DT,TXN_BOOK_DT,TXN_DT,TXN_TM,TXN_VAL_DT,TXN_VAL_TM,DVC_ID,TXN_DSC,REFR_NBR,EXG_RATE,BRK_COST_AMT,BRK_COST_CCY_ID,DPRCN_IND,SRC_STM_ID,DB_AU_CST_ID,CR_AU_CST_ID) VALUES(ORCHESTRATE.TXN_CCY_ID,ORCHESTRATE.PPN_DT,ORCHESTRATE.PPN_TM,ORCHESTRATE.PCS_TASK_ID,ORCHESTRATE.OPRN_TP,ORCHESTRATE.TXN_ID,ORCHESTRATE.TXN_TP_ID,ORCHESTRATE.ACG_TXN_TP_ID,ORCHESTRATE.MSR_PRD_ID,ORCHESTRATE.TM_OF_DAY_TBND_ID,ORCHESTRATE.RQS_CNL_ID,ORCHESTRATE.SETL_CNL_ID,ORCHESTRATE.EXCP_CAUS_ID,ORCHESTRATE.EXCP_IMP_ID,ORCHESTRATE.RQS_CMM_ID,ORCHESTRATE.SSPCS_EV_GRP_ID,ORCHESTRATE.TXN_LCS_TP_ID,ORCHESTRATE.DB_AU_ID,ORCHESTRATE.CR_AU_ID,ORCHESTRATE.DB_RAS_ACG_STC_ITM_ID,ORCHESTRATE.CR_RAS_ACG_STC_ITM_ID,ORCHESTRATE.DB_IFRS_ACG_STC_ITM_ID,ORCHESTRATE.CR_IFRS_ACG_STC_ITM_ID,ORCHESTRATE.OU_ID,ORCHESTRATE.PRIM_CST_ID,ORCHESTRATE.PRIM_AR_ID,ORCHESTRATE.PYMT_DOC_ID,ORCHESTRATE.PYMT_DOC_TP_CODE,ORCHESTRATE.CR_NET_CASH_FLOW_AMT,ORCHESTRATE.DB_NET_CASH_FLOW_AMT,ORCHESTRATE.NET_CASH_FLOW_AMT_DMST,ORCHESTRATE.TXN_CRT_DT,ORCHESTRATE.TXN_BOOK_DT,ORCHESTRATE.TXN_DT,ORCHESTRATE.TXN_TM,ORCHESTRATE.TXN_VAL_DT,ORCHESTRATE.TXN_VAL_TM,ORCHESTRATE.DVC_ID,ORCHESTRATE.TXN_DSC,ORCHESTRATE.REFR_NBR,ORCHESTRATE.EXG_RATE,ORCHESTRATE.BRK_COST_AMT,ORCHESTRATE.BRK_COST_CCY_ID,ORCHESTRATE.DPRCN_IND,ORCHESTRATE.SRC_STM_ID,ORCHESTRATE.DB_AU_CST_ID,ORCHESTRATE.CR_AU_CST_ID)
3 сен 15, 13:51    [18104296]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Amiri
Member

Откуда: Pakistan
Сообщений: 721
Amiri,

SET.TXN
3 сен 15, 13:53    [18104300]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4946
Amiri,

Не вижу плана запроса...
4 сен 15, 10:22    [18107027]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Amiri
Member

Откуда: Pakistan
Сообщений: 721
Mark Barinstein,

а какой план запроса может быть у массового insert?

Кажется нашли проблему дело в медленном СХД (там простые SATA диски)

Спасибо.
4 сен 15, 14:06    [18108602]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4946
Amiri
а какой план запроса может быть у массового insert?
Самый удивительный, если есть зависимые от этой таблицы объекты.
4 сен 15, 15:27    [18109263]     Ответить | Цитировать Сообщить модератору
 Re: Very slow INSERTs  [new]
knudsen
Member

Откуда: Москва
Сообщений: 311
Amiri,
PARTITION BY RANGE (
MSR_PRD_ID NULLS LAST,
SRC_STM_ID NULLS LAST )


А скажите, чем вызвано такое партицианирование? я правильно написал это слово?
Судя по названиям полей ноги растут из BDW. Как много у вас источноков данных, неужели столько же сколько дат - MSR_PRD...? И MSR_PRD_ID is Null - das ist fantastisch.
12 сен 15, 20:11    [18142735]     Ответить | Цитировать Сообщить модератору
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить