Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Всем доброго дня!

Есть проблема с кодировкой на БД приемника, русские буквы приходят с кривой кодировкой.

БД источника
PARAMETER                      VALUE
------------------------------ ------------------------------
NLS_RDBMS_VERSION              12.1.0.2.0
NLS_NCHAR_CONV_EXCP            FALSE
NLS_LENGTH_SEMANTICS           BYTE
NLS_COMP                       BINARY
NLS_DUAL_CURRENCY              $
NLS_TIMESTAMP_TZ_FORMAT        DD-MON-RR HH.MI.SSXFF AM TZR
NLS_TIME_TZ_FORMAT             HH.MI.SSXFF AM TZR
NLS_TIMESTAMP_FORMAT           DD-MON-RR HH.MI.SSXFF AM
NLS_TIME_FORMAT                HH.MI.SSXFF AM
NLS_SORT                       BINARY
NLS_DATE_LANGUAGE              AMERICAN
NLS_DATE_FORMAT                DD-MON-RR
NLS_CALENDAR                   GREGORIAN
NLS_NUMERIC_CHARACTERS         .,
NLS_NCHAR_CHARACTERSET         AL16UTF16
NLS_CHARACTERSET               AL32UTF8
NLS_ISO_CURRENCY               AMERICA
NLS_CURRENCY                   $
NLS_TERRITORY                  AMERICA
NLS_LANGUAGE                   AMERICAN

20 rows selected.


БД приемника
PARAMETER                      VALUE
------------------------------ ------------------------------
NLS_RDBMS_VERSION              12.1.0.2.0
NLS_NCHAR_CONV_EXCP            FALSE
NLS_LENGTH_SEMANTICS           BYTE
NLS_COMP                       BINARY
NLS_DUAL_CURRENCY              $
NLS_TIMESTAMP_TZ_FORMAT        DD-MON-RR HH.MI.SSXFF AM TZR
NLS_TIME_TZ_FORMAT             HH.MI.SSXFF AM TZR
NLS_TIMESTAMP_FORMAT           DD-MON-RR HH.MI.SSXFF AM
NLS_TIME_FORMAT                HH.MI.SSXFF AM
NLS_SORT                       BINARY
NLS_DATE_LANGUAGE              AMERICAN
NLS_DATE_FORMAT                DD-MON-RR
NLS_CALENDAR                   GREGORIAN
NLS_NUMERIC_CHARACTERS         .,
NLS_NCHAR_CHARACTERSET         AL16UTF16
NLS_CHARACTERSET               CL8ISO8859P5
NLS_ISO_CURRENCY               AMERICA
NLS_CURRENCY                   $
NLS_TERRITORY                  AMERICA
NLS_LANGUAGE                   AMERICAN

20 rows selected.


установил в параметрах репликата

SOURCECHARSET OVERRIDE AL32UTF8

но не помогает, может кто сталкивался?
27 сен 17, 11:34    [20826237]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
Версия GG какая?
27 сен 17, 13:02    [20826490]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 43631

Alexey181
установил в параметрах репликата
SOURCECHARSET OVERRIDE AL32UTF8
но не помогает

У тебя и так источник в UTF-8, почему должно помогать? Выясняй какая на самом деле
кодировка данных в источнике. Для начала выставь на клиенте NLS_LANG в CL8ISO8859P5 и
посмотри сможешь ли ты выбрать данные из источника правильно.

Posted via ActualForum NNTP Server 1.5

27 сен 17, 13:22    [20826548]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Alexander Ryndin
Версия GG какая?


Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160322.1529.2_FBO
Solaris, sparc, 64bit (optimized), Oracle 12c on May 6 2016 17:20:47
27 сен 17, 13:28    [20826568]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
Alexey181
Alexander Ryndin
Версия GG какая?


Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160322.1529.2_FBO
Solaris, sparc, 64bit (optimized), Oracle 12c on May 6 2016 17:20:47
Если нет никаких хитрых настроек, то 12.2 должна сама правильно определять кодировки, т.к. таскает в trail информацию о базе данных источника.
Но попробуйте поставить NLS_LANG=american_america.al32utf8, а потом перезапустить все включаю mgr
27 сен 17, 13:35    [20826588]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Dimitry Sibiryakov
Alexey181
установил в параметрах репликата
SOURCECHARSET OVERRIDE AL32UTF8
но не помогает

У тебя и так источник в UTF-8, почему должно помогать? Выясняй какая на самом деле
кодировка данных в источнике. Для начала выставь на клиенте NLS_LANG в CL8ISO8859P5 и
посмотри сможешь ли ты выбрать данные из источника правильно.


017-09-27 13:34:42  ERROR   OGG-03517  Conversion from character set UTF-8 of source column BODY to character set cl8iso8859p5 of target column BODY failed because the source column contains a character that is not available in the target character set.
27 сен 17, 13:36    [20826589]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Alexander Ryndin
Alexey181
пропущено...


Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160322.1529.2_FBO
Solaris, sparc, 64bit (optimized), Oracle 12c on May 6 2016 17:20:47
Если нет никаких хитрых настроек, то 12.2 должна сама правильно определять кодировки, т.к. таскает в trail информацию о базе данных источника.
Но попробуйте поставить NLS_LANG=american_america.al32utf8, а потом перезапустить все включаю mgr

Александр, тоже самое 20826589
27 сен 17, 13:42    [20826593]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 43631

Как я и сказал: у тебя в источнике мусор, а не русские буквы в кодировке UTF-8. Сначала
реши эту проблему.

Posted via ActualForum NNTP Server 1.5

27 сен 17, 13:44    [20826601]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Dimitry Sibiryakov
Как я и сказал: у тебя в источнике мусор, а не русские буквы в кодировке UTF-8. Сначала
реши эту проблему.


т.е. в трейл фалы мусор попадает?
27 сен 17, 14:02    [20826654]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 43631

Alexey181
т.е. в трейл фалы мусор попадает?

Если какой-то идиот заносит в базу мусор вместо русских букв, естественно он попадает и в
трейлы. А чего ты ожидал?..

Posted via ActualForum NNTP Server 1.5

27 сен 17, 14:17    [20826729]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Dimitry Sibiryakov
Alexey181
т.е. в трейл фалы мусор попадает?

Если какой-то идиот заносит в базу мусор вместо русских букв, естественно он попадает и в
трейлы. А чего ты ожидал?..


нет, на источнике все записи в нужной кодировке. Запрос по ID с приемника

1375279272 а•аЛаЕаНаА а’аАаЛаЕб€бŒаЕаВаНаА! 


Запрос по ID и источника

1375279272 Денежные средства по кредиту наличными перечислены на Ваш счет
27 сен 17, 14:26    [20826774]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
UTF8 потенциально может содержать то, что не поместится в однобайтовую кодировку. Т.е. это в целом нерекомендованная конфигурация. Покажите rpt, когда вообще никаких параметров не включено.
27 сен 17, 14:36    [20826810]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Alexander Ryndin,

GGSCI (xkai) 32> view report rsms


***********************************************************************
                 Oracle GoldenGate Delivery for Oracle
 Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160322.1529.2_FBO
 Solaris, sparc, 64bit (optimized), Oracle 12c on May  6 2016 17:56:21
 
Copyright (C) 1995, 2016, Oracle and/or its affiliates. All rights reserved.


                    Starting at 2017-09-27 14:48:12
***********************************************************************

Operating System Version:
SunOS
Version 11.3, Release 5.11
Node: xkai
Machine: sun4v
                         soft limit   hard limit
Address Space Size   :    unlimited    unlimited
Heap Size            :    unlimited    unlimited
File Size            :    unlimited    unlimited
CPU Time             :    unlimited    unlimited

Process id: 1514

Description: 

***********************************************************************
**            Running with the following parameters                  **
***********************************************************************

2017-09-27 14:48:13  INFO    OGG-03059  Operating system character set identified as ISO-8859-1.

2017-09-27 14:48:13  INFO    OGG-02695  ANSI SQL parameter syntax is used for parameter parsing.

2017-09-27 14:48:13  INFO    OGG-02095  Successfully set environment variable ORACLE_SID=bld_1.

2017-09-27 14:48:13  INFO    OGG-02095  Successfully set environment variable ORACLE_HOME=/u01/app/oracle/product/12.1.0.2/dbhome_1.
replicat rsms
STATOPTIONS RESETREPORTSTATS
REPORT AT 00:01
REPORTCOUNT EVERY 60 SECONDS, RATE
setenv (ORACLE_SID=bld_1)

2017-09-27 14:48:13  INFO    OGG-02095  Successfully set environment variable ORACLE_SID=bld_1.
setenv (ORACLE_HOME=/u01/app/oracle/product/12.1.0.2/dbhome_1)

2017-09-27 14:48:13  INFO    OGG-02095  Successfully set environment variable ORACLE_HOME=/u01/app/oracle/product/12.1.0.2/dbhome_1.
USERID ggadmin, PASSWORD ***
discardfile ./dirrpt/dsms.dsc, purge, megabytes 2000
ASSUMETARGETDEFS
REPERROR (0001,IGNORE)
DDL INCLUDE MAPPED
DDLERROR 1927 IGNORE
DDLERROR 1418 IGNORE
DDLERROR 4080 IGNORE
DDLERROR 4098 IGNORE
DDLERROR 1917 IGNORE
DDLERROR 1435 IGNORE INCLUDE OPTYPE ALTER OBJTYPE SESSION
DDLERROR 942 IGNORE
DDLERROR 955 IGNORE
map SENDER.OUT_SMS target CORE.OUT_SMS, threadrange (1-5);
map SENDER.OUT_SMS_ARCH target CORE.OUT_SMS_ARCH, threadrange (1-5);

2017-09-27 14:48:14  INFO    OGG-06451  Triggers will be suppressed by default.

2017-09-27 14:48:14  INFO    OGG-01815  Virtual Memory Facilities for: COM
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /u01/app/gg12.2/dirtmp.

CACHEMGR virtual memory values (may have been adjusted)
CACHESIZE:                                2G
CACHEPAGEOUTSIZE (default):               4M
PROCESS VM AVAIL FROM OS (min):           4G
CACHESIZEMAX (strict force to disk):   3.41G

Database Version:
Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production
PL/SQL Release 12.1.0.2.0 - Production
CORE    12.1.0.2.0      Production
TNS for Solaris: Version 12.1.0.2.0 - Production
NLSRTL Version 12.1.0.2.0 - Production

Database Language and Character Set:
NLS_LANGUAGE     = "AMERICAN" 
NLS_TERRITORY    = "US" 
NLS_CHARACTERSET = "CL8ISO8859P5" 

2017-09-27 14:48:16  INFO    OGG-06003  All Replicat threads are registered.

***********************************************************************
**                     Run Time Messages                             **
***********************************************************************


Source Context :
  SourceModule            : [er.replicat.coord.master]
  SourceID                : [/scratch/jkrath/view_storage/jkrath_ogg_fbo_dotlabel/oggcore/OpenSys/src/app/er/replicat/coord/Master.cpp]
  SourceFunction          : [OnDisconnect]
  SourceLine              : [997]

2017-09-27 14:48:17  ERROR   OGG-06004  Coordinated Replicat thread RSMS001 exited unexpectedly. Please check the report file of RSMS001 for more details.

***********************************************************************
*                   ** Run Time Statistics **                         *
***********************************************************************

Reading /u01/app/gg12.2/dirdat/ps000000017, current RBA 4819536, 0 records, m_file_seqno = 0, m_file_rba = 0

Report at 2017-09-27 14:48:17 (activity since 2017-09-27 14:48:17)


Coordinated Replicat Statistics:



Thread Lag Gap:                                          00:00:00 (updated 00:00:01 ago)
Coordinated Total DDLs:                                  0
Coordinated Total PK-update transactions:                0
Coordinated Total EMI transactions:                      0
Total transactions with user-requested coordination:     0
Total transactions with source metadata changes:         0
Average Coordination Time:                               00:00:00



DDL replication statistics:

                    Operations:         0
             Mapped operations:         0
           Unmapped operations:         0
              Other operations:         0
           Excluded operations:         0
                        Errors:         0
                Retried errors:         0
              Discarded errors:         0
                Ignored errors:         0


No records were replicated.


2017-09-27 14:48:17  ERROR   OGG-01668  PROCESS ABENDING.

CACHE OBJECT MANAGER statistics

CACHE MANAGER VM USAGE
vm current     =      0    vm anon queues =      0 
vm anon in use =      0    vm file        =      0 
vm used max    =      0    ==> CACHE BALANCED

CACHE CONFIGURATION
cache size            =   2G   cache force paging = 3.41G
buffer min            =   1M   buffer max (soft)  =   4M
pageout eligible size =   4M

================================================================================
RUNTIME STATS FOR SUPERPOOL

CACHE Transaction Stats
trans active    =      0    max concurrent =      0 
non-zero total  =      0    trans total    =      0 

CACHE File Caching
filecache rqsts        =      0    bytes to disk      =      0 
file retrieves         =      0    objs filecached    =      0 
queue entries          =      0    queue processed    =      0 
queue entry not needed =      0    queue not signaled =      0 
fc requesting obj      =      0 

CACHE MANAGEMENT
buffer links   =      0   anon gets   =      0 
forced unmaps  =      0   cnnbl try   =      0 
cached out     =      0 

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 

Cached Transaction Size Distribution
    0:        0 
 < 4K:        0 
   4K:        0         0     |  16K:        0         0 
  64K:        0         0     | 256K:        0         0 
   1M:        0         0     |   4M:        0         0 
  16M:        0         0     |  64M:        0         0 
 256M:        0         0     |   1G:        0         0 
   4G:        0         0     |  16G:        0         0 
  64G:        0         0     | 256G:        0         0 
   1T:        0         0     |   4T:        0         0 
  16T:        0         0     |  64T:        0         0 
 256T:        0         0     |1024T:        0         0 

================================================================================
CUMULATIVE STATS FOR SUPERPOOL (PREVIOUS RUNS ONLY)

CACHE Transaction Stats
trans active    =      0    max concurrent =      0 
non-zero total  =      0    trans total    =      0 

CACHE File Caching
filecache rqsts        =      0    bytes to disk      =      0 
file retrieves         =      0    objs filecached    =      0 
queue entries          =      0    queue processed    =      0 
queue entry not needed =      0    queue not signaled =      0 
fc requesting obj      =      0 

CACHE MANAGEMENT
buffer links   =      0   anon gets   =      0 
forced unmaps  =      0   cnnbl try   =      0 
cached out     =      0 

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 

Cached Transaction Size Distribution
    0:        0 
 < 4K:        0 
   4K:        0         0     |  16K:        0         0 
  64K:        0         0     | 256K:        0         0 
   1M:        0         0     |   4M:        0         0 
  16M:        0         0     |  64M:        0         0 
 256M:        0         0     |   1G:        0         0 
   4G:        0         0     |  16G:        0         0 
  64G:        0         0     | 256G:        0         0 
   1T:        0         0     |   4T:        0         0 
  16T:        0         0     |  64T:        0         0 
 256T:        0         0     |1024T:        0         0 


QUEUE Statistics
num queues =      7     q hits =      0      q misses =      0 

queue size  q hits  curlen  maxlen     cannibalized
  0    1M      0       0       0       0 
  1    2M      0       0       0       0 
  2    4M      0       0       0       0 
  3    8M      0       0       0       0 
  4   16M      0       0       0       0 
  5   32M      0       0       0       0 
  6   64M      0       0       0       0 

================================================================================
RUNTIME STATS FOR CACHE POOL #0
POOL INFO   group: rsms  id: p1514_BLOB
trans active  =       0   trans concurrent (max) =     0 
trans total   =       0   (0 )
flag          = 0x00000030
last error    = (0=<none>)

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 

================================================================================
CUMULATIVE STATS FOR CACHE POOL #0 (PREVIOUS RUNS ONLY)
POOL INFO   group: rsms  id: p1514_BLOB
trans active  =       0   trans concurrent (max) =     0 
trans total   =       0   (0 )
flag          = 0x00000030
last error    = (0=<none>)

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 



GGSCI (xkai) 33
27 сен 17, 14:52    [20826868]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 43631

Alexey181
1375279272 а•аЛаЕаНаА а’аАаЛаЕб€бŒаЕаВаНаА!

Как я и говорил - мусор. Покажи DUMP() этой строки в бд-источнике.

Posted via ActualForum NNTP Server 1.5

27 сен 17, 15:11    [20826924]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
А теперь отчет от треда RSMS001
27 сен 17, 16:02    [20827110]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Alexander Ryndin
А теперь отчет от треда RSMS001


oracle@xkai:/u01/app/gg12.2/dirrpt$ less RSMS001.rpt 

***********************************************************************
                 Oracle GoldenGate Delivery for Oracle
 Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160322.1529.2_FBO
 Solaris, sparc, 64bit (optimized), Oracle 12c on May  6 2016 17:56:21
 
Copyright (C) 1995, 2016, Oracle and/or its affiliates. All rights reserved.


                    Starting at 2017-09-27 14:48:14
***********************************************************************

Operating System Version:
SunOS
Version 11.3, Release 5.11
Node: xkai
Machine: sun4v
                         soft limit   hard limit
Address Space Size   :    unlimited    unlimited
Heap Size            :    unlimited    unlimited
File Size            :    unlimited    unlimited
CPU Time             :    unlimited    unlimited

Process id: 1539

Description: 

***********************************************************************
**            Running with the following parameters                  **
***********************************************************************

2017-09-27 14:48:14  INFO    OGG-03059  Operating system character set identified as ISO-8859-1.

2017-09-27 14:48:14  INFO    OGG-02695  ANSI SQL parameter syntax is used for parameter parsing.

2017-09-27 14:48:14  INFO    OGG-02095  Successfully set environment variable ORACLE_SID=bld_1.

2017-09-27 14:48:14  INFO    OGG-02095  Successfully set environment variable ORACLE_HOME=/u01/app/oracle/product/12.1.0.2/dbhome_1.
replicat rsms
STATOPTIONS RESETREPORTSTATS
REPORT AT 00:01
REPORTCOUNT EVERY 60 SECONDS, RATE
setenv (ORACLE_SID=bld_1)

2017-09-27 14:48:15  INFO    OGG-02095  Successfully set environment variable ORACLE_SID=bld_1.
setenv (ORACLE_HOME=/u01/app/oracle/product/12.1.0.2/dbhome_1)

2017-09-27 14:48:15  INFO    OGG-02095  Successfully set environment variable ORACLE_HOME=/u01/app/oracle/product/12.1.0.2/dbhome_1.
USERID ggadmin, PASSWORD ***
discardfile ./dirrpt/dsms.dsc, purge, megabytes 2000
ASSUMETARGETDEFS
REPERROR (0001,IGNORE)
DDL INCLUDE MAPPED
DDLERROR 1927 IGNORE
DDLERROR 1418 IGNORE
DDLERROR 4080 IGNORE
DDLERROR 4098 IGNORE
DDLERROR 1917 IGNORE
DDLERROR 1435 IGNORE INCLUDE OPTYPE ALTER OBJTYPE SESSION
DDLERROR 942 IGNORE
DDLERROR 955 IGNORE
map CORE.OUT_SMS target CORE.OUT_SMS, threadrange (1-5);
map CORE.OUT_SMS_ARCH target CORE.OUT_SMS_ARCH, threadrange (1-5);

2017-09-27 14:48:16  INFO    OGG-06451  Triggers will be suppressed by default.

2017-09-27 14:48:16  INFO    OGG-01815  Virtual Memory Facilities for: COM
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /u01/app/gg12.2/dirtmp.

CACHEMGR virtual memory values (may have been adjusted)
CACHESIZE:                                2G
CACHEPAGEOUTSIZE (default):               4M
PROCESS VM AVAIL FROM OS (min):           4G
CACHESIZEMAX (strict force to disk):   3.41G

Database Version:
Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production
PL/SQL Release 12.1.0.2.0 - Production
CORE    12.1.0.2.0      Production
TNS for Solaris: Version 12.1.0.2.0 - Production
NLSRTL Version 12.1.0.2.0 - Production

Database Language and Character Set:
NLS_LANGUAGE     = "AMERICAN" 
NLS_TERRITORY    = "US" 
NLS_CHARACTERSET = "CL8ISO8859P5" 
Replicat session info: SID 5547, Serial # 50861
***********************************************************************
**                     Run Time Messages                             **
***********************************************************************


2017-09-27 14:48:16  INFO    OGG-02243  Opened trail file /u01/app/gg12.2/dirdat/ps000017 at 2017-09-27 14:48:16.334624.

2017-09-27 14:48:16  INFO    OGG-03522  Setting session time zone to source database time zone '+03:00'.

2017-09-27 14:48:16  INFO    OGG-03506  The source database character set, as determined from the trail file, is UTF-8.

2017-09-27 14:48:16  INFO    OGG-06505  MAP resolved (entry CORE.OUT_SMS): map "CORE"."OUT_SMS" target CORE.OUT_SMS, threadrange (1-5).

2017-09-27 14:48:17  INFO    OGG-02759  The definition for table CORE.OUT_SMS is obtained from the target database.

2017-09-27 14:48:17  INFO    OGG-06511  Using following columns in default map by name: ID, SERVICE_ID, IN_SMS_ID, US_ID, MSISDN, BODY, TRANSLIT, PRIORITY, DELIVERY_REPORT, SPLITTING, PREFERRED_MODULE_NAME, PREFERRED_USER_FROM, STATUS_ID, ACTUAL_MODULE_NAME, ACTUAL_USER_FROM, MESSAGE_COUNT, OPERATOR_ID, PRICE, ERROR_CODE, ERROR_DESCRIPTION, CREATE_DATE, EDIT_DATE, DEFER_DATE, SENT_DATE, DELIVERED_DATE, EXPIRE_DATE, TRANSMISSION_TRIALS, IN_SMS_EXT_ID, CAN_BE_RETRANSMITTED, CHARGING, TRANSMITTED_MESSAGE_COUNT, DELIVERED_MESSAGE_COUNT, ERROR_CONTEXT, RIGHTHOLDER_ID, CONTENT_ID, CONTENT_VARIANT_ID, WCS_CONTENT_TYPE_ID, IS_ACTIVE_SESSION, FLASH_SMS, ENCODING, IS_TEST, PARTNER_CHARGE, PARTNER_ID, PARTNER_SHARE, SMPP_MESSAGE_ID, POLL_ID, MESS_ID, MO_ROUTING_TYPE_ID, MO_ROUTING_ID, ALLOWED_END, ALLOWED_START, CLIENT_ID.

2017-09-27 14:48:17  INFO    OGG-06510  Using the following key columns for target table CORE.OUT_SMS: ID.


2017-09-27 14:48:17  INFO    OGG-03010  Performing implicit conversion of column data from character set UTF-8 to cl8iso8859p5.

Source Context :
  SourceModule            : [ggapp.csconv]
  SourceID                : [/scratch/jkrath/view_storage/jkrath_ogg_fbo_dotlabel/oggcore/OpenSys/src/gglib/ggapp/csconv.cpp]
  SourceFunction          : [conversion_error_handler]
  SourceLine              : [758]

2017-09-27 14:48:17  ERROR   OGG-03517  Conversion from character set UTF-8 of source column BODY to character set cl8iso8859p5 of target column BODY failed because the source column contains a character that is not available in the target character set.

***********************************************************************
*                   ** Run Time Statistics **                         *
***********************************************************************

Reading /u01/app/gg12.2/dirdat/ps000017, current RBA 4873466, 27 records, m_file_seqno = 17, m_file_rba = 4873466

Report at 2017-09-27 14:48:17 (activity since 2017-09-27 14:48:17)

From Table CORE.OUT_SMS to CORE.OUT_SMS:
       #                   inserts:         1
       #                   updates:        26
       #                   deletes:         0
       #                  discards:         0


DDL replication statistics:

                    Operations:         0
             Mapped operations:         0
           Unmapped operations:         0
              Other operations:         0
           Excluded operations:         0
                        Errors:         0
                Retried errors:         0
              Discarded errors:         0
                Ignored errors:         0




Last log location read:
     FILE:      /u01/app/gg12.2/dirdat/ps000017
     SEQNO:     17
     RBA:       4873466
     TIMESTAMP: 2017-09-27 13:34:18.007254
     EOF:       NO
     READERR:   0


2017-09-27 14:48:17  ERROR   OGG-01668  PROCESS ABENDING.

CACHE OBJECT MANAGER statistics

CACHE MANAGER VM USAGE
vm current     =      0    vm anon queues =      0 
vm anon in use =      0    vm file        =      0 
vm used max    =      0    ==> CACHE BALANCED

CACHE CONFIGURATION
cache size            =   2G   cache force paging = 3.41G
buffer min            =   1M   buffer max (soft)  =   4M
pageout eligible size =   4M

================================================================================
RUNTIME STATS FOR SUPERPOOL

CACHE Transaction Stats
trans active    =      0    max concurrent =      0 
non-zero total  =      0    trans total    =      0 

CACHE File Caching
filecache rqsts        =      0    bytes to disk      =      0 
file retrieves         =      0    objs filecached    =      0 
queue entries          =      0    queue processed    =      0 
queue entry not needed =      0    queue not signaled =      0 
fc requesting obj      =      0 

CACHE MANAGEMENT
buffer links   =      0   anon gets   =      0 
forced unmaps  =      0   cnnbl try   =      0 
cached out     =      0 

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 

Cached Transaction Size Distribution
    0:        0 
 < 4K:        0 
   4K:        0         0     |  16K:        0         0 
  64K:        0         0     | 256K:        0         0 
   1M:        0         0     |   4M:        0         0 
  16M:        0         0     |  64M:        0         0 
 256M:        0         0     |   1G:        0         0 
   4G:        0         0     |  16G:        0         0 
  64G:        0         0     | 256G:        0         0 
   1T:        0         0     |   4T:        0         0 
  16T:        0         0     |  64T:        0         0 
 256T:        0         0     |1024T:        0         0 

================================================================================
CUMULATIVE STATS FOR SUPERPOOL (PREVIOUS RUNS ONLY)

CACHE Transaction Stats
trans active    =      0    max concurrent =      0 
non-zero total  =      0    trans total    =      0 

CACHE File Caching
filecache rqsts        =      0    bytes to disk      =      0 
file retrieves         =      0    objs filecached    =      0 
queue entries          =      0    queue processed    =      0 
queue entry not needed =      0    queue not signaled =      0 
fc requesting obj      =      0 

CACHE MANAGEMENT
buffer links   =      0   anon gets   =      0 
forced unmaps  =      0   cnnbl try   =      0 
cached out     =      0 

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 

Cached Transaction Size Distribution
    0:        0 
 < 4K:        0 
   4K:        0         0     |  16K:        0         0 
  64K:        0         0     | 256K:        0         0 
   1M:        0         0     |   4M:        0         0 
  16M:        0         0     |  64M:        0         0 
 256M:        0         0     |   1G:        0         0 
   4G:        0         0     |  16G:        0         0 
  64G:        0         0     | 256G:        0         0 
   1T:        0         0     |   4T:        0         0 
  16T:        0         0     |  64T:        0         0 
 256T:        0         0     |1024T:        0         0 


QUEUE Statistics
num queues =      7     q hits =      0      q misses =      0 

queue size  q hits  curlen  maxlen     cannibalized
  0    1M      0       0       0       0 
  1    2M      0       0       0       0 
  2    4M      0       0       0       0 
  3    8M      0       0       0       0 
  4   16M      0       0       0       0 
  5   32M      0       0       0       0 
  6   64M      0       0       0       0 

================================================================================
RUNTIME STATS FOR CACHE POOL #0
POOL INFO   group: rsms  id: p1539_BLOB
trans active  =       0   trans concurrent (max) =     0 
trans total   =       0   (0 )
flag          = 0x00000030
last error    = (0=<none>)

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 

================================================================================
CUMULATIVE STATS FOR CACHE POOL #0 (PREVIOUS RUNS ONLY)
POOL INFO   group: rsms  id: p1539_BLOB
trans active  =       0   trans concurrent (max) =     0 
trans total   =       0   (0 )
flag          = 0x00000030
last error    = (0=<none>)

Allocation Request Distribution
< 128B:       0 
 128B:        0         0     | 512B:        0         0 
   2K:        0         0     |   8K:        0         0 
  32K:        0         0     | 128K:        0         0 
 512K:        0         0     |   2M:        0         0 
   8M:        0         0     |  32M:        0         0 
 128M:        0         0     | 512M:        0 
27 сен 17, 16:32    [20827227]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
Ну в общем-то GG без подсказок понял, что кодировка источника UTF8
The source database character set, as determined from the trail file, is UTF-8.


Другое дело, что, скорее всего, Дмитрий прав, и база данных в UTF8 содержит данные, которые не могут быть представлены в однобайтовой кодировке. GG об этом говорит

Conversion from character set UTF-8 of source column BODY to character set cl8iso8859p5 of target column BODY failed because the source column contains a character that is not available in the target character set.


Возможно, там есть какие-то непечатные символы.
27 сен 17, 17:57    [20827496]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
Dimitry Sibiryakov
Alexey181
1375279272 а•аЛаЕаНаА а’аАаЛаЕб€бŒаЕаВаНаА!

Как я и говорил - мусор. Покажи DUMP() этой строки в бд-источнике.


dump(body)
Typ=1 Len=334: 208,152,208,187,209,140,208,180,208,176,209,128,32,208,144,208,189,208,176,209,129,208,190,208,178,208,184,209,135,44,32,208,145,208,176,208,189,208,186,32,208,146,208,162,208,145,50,52,32,209,131,208,178,208,181,208,180,208,190,208,188,208,187,209,143,208,181,209,130,32,208,146,208,176,209,129,32,208,190,208,177,32,208,190,208,180,208,190,208,177,209,128,208,181,208,189,208,184,208,184,32,208,186,209,128,208,181,208,180,208,184,209,130,208,176,32,208,189,208,176,32,209,129,209,131,208,188,208,188,209,131,32,208,180,208,190,32,50,50,52,48,48,48,32,209,128,209,131,208,177,46,32,209,129,209,128,208,190,208,186,208,190,208,188,32,208,180,208,190,32,51,54,32,208,188,208,181,209,129,46,32,208,191,208,190,32,209,129,209,130,208,176,208,178,208,186,208,181,32,208,190,209,130,32,49,55,32,37,32,208,179,208,190,208,180,208,190,208,178,209,139,209,133,46,32,208,159,209,128,208,184,208,179,208,187,208,176,209,136,208,176,208,181,208,188,32,208,146,208,176,209,129,32,208,178,32,208,190,209,132,208,184,209,129,32,208,191,208,190,208,180,208,176,209,135,208,184,32,208,183,208,176,209,143,208,178,208,186,208,184,32,208,180,208,187,209,143,32,208,190,209,132,208,190,209,128,208,188,208,187,208,181,208,189,208,184,209,143,32,208,186,209,128,208,181,208,180,208,184,209,130,208,176,46


dump(body,1016)
Typ=1 Len=334 CharacterSet=AL32UTF8: d0,98,d0,bb,d1,8c,d0,b4,d0,b0,d1,80,20,d0,90,d0,bd,d0,b0,d1,81,d0,be,d0,b2,d0,b8,d1,87,2c,20,d0,91,d0,b0,d0,bd,d0,ba,20,d0,92,d0,a2,d0,91,32,34,20,d1,83,d0,b2,d0,b5,d0,b4,d0,be,d0,bc,d0,bb,d1,8f,d0,b5,d1,82,20,d0,92,d0,b0,d1,81,20,d0,be,d0,b1,20,d0,be,d0,b4,d0,be,d0,b1,d1,80,d0,b5,d0,bd,d0,b8,d0,b8,20,d0,ba,d1,80,d0,b5,d0,b4,d0,b8,d1,82,d0,b0,20,d0,bd,d0,b0,20,d1,81,d1,83,d0,bc,d0,bc,d1,83,20,d0,b4,d0,be,20,32,32,34,30,30,30,20,d1,80,d1,83,d0,b1,2e,20,d1,81,d1,80,d0,be,d0,ba,d0,be,d0,bc,20,d0,b4,d0,be,20,33,36,20,d0,bc,d0,b5,d1,81,2e,20,d0,bf,d0,be,20,d1,81,d1,82,d0,b0,d0,b2,d0,ba,d0,b5,20,d0,be,d1,82,20,31,37,20,25,20,d0,b3,d0,be,d0,b4,d0,be,d0,b2,d1,8b,d1,85,2e,20,d0,9f,d1,80,d0,b8,d0,b3,d0,bb,d0,b0,d1,88,d0,b0,d0,b5,d0,bc,20,d0,92,d0,b0,d1,81,20,d0,b2,20,d0,be,d1,84,d0,b8,d1,81,20,d0,bf,d0,be,d0,b4,d0,b0,d1,87,d0,b8,20,d0,b7,d0,b0,d1,8f,d0,b2,d0,ba,d0,b8,20,d0,b4,d0,bb,d1,8f,20,d0,be,d1,84,d0,be,d1,80,d0,bc,d0,bb,d0,b5,d0,bd,d0,b8,d1,8f,20,d0,ba,d1,80,d0,b5,d0,b4,d0,b8,d1,82,d0,b0,2e
28 сен 17, 10:26    [20828396]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 43631

Это не та строка, что в предыдущем сообщении. А в той - виден знак евро, отсутствующий в
CL8ISO8859P5.

Posted via ActualForum NNTP Server 1.5

28 сен 17, 12:26    [20828796]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 16056
Алексей, забей в репликат REPLACEBADCHAR ESCAPE или REPLACEBADCHAR SUBSTITUTE
Должен получить в первом варианте hex-код проблемного символа, во втором - указанный символ-заменитель (полагаю, традиционный 0x3F - знак вопроса в iso8859-5 - устроит)
28 сен 17, 16:57    [20829656]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexey181
Member

Откуда: default city
Сообщений: 893
andrey_anonymous
Алексей, забей в репликат REPLACEBADCHAR ESCAPE или REPLACEBADCHAR SUBSTITUTE
Должен получить в первом варианте hex-код проблемного символа, во втором - указанный символ-заменитель (полагаю, традиционный 0x3F - знак вопроса в iso8859-5 - устроит)


Андрей, а смысл?

Там все русские буквы проблемные, только 17% и 162000 без проблем, к примеру

а&#146;аАаЛаЕб&#128;аИаЙ а&#144;аЛаЕаКб&#129;аАаНаДб&#128;аОаВаИб&#135;, а&#145;аАаНаК а&#146;аЂа&#145; б&#131;аВаЕаДаОаМаЛб&#143;аЕб&#130; а&#146;аАб&#129; аОаБ аОаДаОаБб&#128;аЕаНаИаИ аКб&#128;аЕаДаИб&#130;аА аНаА б&#129;б&#131;аМаМб&#131; аДаО 162000 б&#128;б&#131;аБ. б&#129;б&#128;аОаКаОаМ аДаО аМаЕб&#129;. аПаО б&#129;б&#130;аАаВаКаЕ аОб&#130; 17 % аГаОаДаОаВб&#139;б&#133;. а&#159;б&#128;аИаГаЛаАб&#136;аАаЕаМ а&#146;аАб&#129; аВ аОб&#132;аИб&#129; аБаАаНаКаА аДаЛб&#143; аОб&#132;аОб&#128;аМаЛаЕаНаИб&#143; аКб&#128;аЕаДаИб&#130;аА, б&#129; аПаАаКаЕб&#130;аОаМ аДаОаКб&#131;аМаЕаНб&#130;аОаВ, б&#131;аКаАаЗаАаНаНб&#139;аМ аПб&#128;аИ аЗаАаПаОаЛаНаЕаНаИаИ аАаНаКаЕб&#130;б&#139;.
28 сен 17, 17:33    [20829816]     Ответить | Цитировать Сообщить модератору
 Re: ОGG кодировка  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
Alexey181
andrey_anonymous
Алексей, забей в репликат REPLACEBADCHAR ESCAPE или REPLACEBADCHAR SUBSTITUTE
Должен получить в первом варианте hex-код проблемного символа, во втором - указанный символ-заменитель (полагаю, традиционный 0x3F - знак вопроса в iso8859-5 - устроит)


Андрей, а смысл?

Там все русские буквы проблемные, только 17% и 162000 без проблем, к примеру

а&#146;аАаЛаЕб&#128;аИаЙ а&#144;аЛаЕаКб&#129;аАаНаДб&#128;аОаВаИб&#135;, а&#145;аАаНаК а&#146;аЂа&#145; б&#131;аВаЕаДаОаМаЛб&#143;аЕб&#130; а&#146;аАб&#129; аОаБ аОаДаОаБб&#128;аЕаНаИаИ аКб&#128;аЕаДаИб&#130;аА аНаА б&#129;б&#131;аМаМб&#131; аДаО 162000 б&#128;б&#131;аБ. б&#129;б&#128;аОаКаОаМ аДаО аМаЕб&#129;. аПаО б&#129;б&#130;аАаВаКаЕ аОб&#130; 17 % аГаОаДаОаВб&#139;б&#133;. а&#159;б&#128;аИаГаЛаАб&#136;аАаЕаМ а&#146;аАб&#129; аВ аОб&#132;аИб&#129; аБаАаНаКаА аДаЛб&#143; аОб&#132;аОб&#128;аМаЛаЕаНаИб&#143; аКб&#128;аЕаДаИб&#130;аА, б&#129; аПаАаКаЕб&#130;аОаМ аДаОаКб&#131;аМаЕаНб&#130;аОаВ, б&#131;аКаАаЗаАаНаНб&#139;аМ аПб&#128;аИ аЗаАаПаОаЛаНаЕаНаИаИ аАаНаКаЕб&#130;б&#139;.
можно он видит кривой символ и вообще не трансформирует поле
29 сен 17, 03:42    [20830635]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить