1 of 8

전환

타 DB, 대용량 DB 등을 Tibero DBMS 전환 이관 방법에 대해 안내합니다.

대용량 이관

대용량 데이터 이관 방법 및 고려사항, 예제와 데이터베이스 성능 개선에 대해 안내합니다.

개요

이기종 데이터베이스를 이관할 때 대용량 테이블이 있다면 이관 방법을 통해 수행 시간을 단축할 수 있습니다. 고객사의 환경(네트워크, Disk I/O, 데이터 속성)을 고려하여 적절한 방법을 선택합니다.

아래는 이관 방법들의 특징에 대한 설명입니다.

이관 방법

특징

T-UP

GUI 기반의 클라이언트 (네트워크 오버헤드가 커서 대용량 데이터를 이관할 경우 미권장)
DPL을 지원

아래는 각 데이터 이관 방법들이 지원하는 방식에 대한 설명입니다.

방식

T-UP

Table Migrator

DB Lin

tbLoader

아래는 대용량 데이터를 이관할 때 고려해야 할 사항입니다.

충분한 네트워크 대역을 확보합니다.
IO 대역을 고려하여 스케줄 또는 DOP를 적용한다. DPL, Parallel DPL을 최대한 활용합니다.
DPL, Parallel DPL이 불가능할 때에는 CPL을 병렬로 수행합니다. (Multi Insert)
Index, Constraint, Trigger 등은 데이터 이관이 끝난 다음 생성합니다.

Parallel DPL의 경우 Tibero 5 r69848 이후부터 지원합니다.
SUBPARTITIONED TABLE은 DPL 또는 Parallel DPL을 미지원합니다.
IOT는 DPL 또는 Parallel DPL을 미지원합니다.
Partitioned INDEX의 경우 Normal Index만 DPL을 지원합니다.

본 문서는 총 2개의 장으로 구성됩니다.

대용량 데이터 이관 방법의 예제를 설명합니다.

🔎

각 상황에 따른 성능 개선 방법에 대해 설명합니다.

🔎

대용량 데이터 이관 예제

대용량 데이터 이관 방법의 예제를 설명합니다.

데이터 이관은 다양한 방법을 이용하여 수행할 수 있고 이로 인해 수행 속도를 최적화 시킬 수 있습니다.

단, 테이블에 대한 데이터 이관만 가능하므로 Object에 대한 이관은 수동으로 수행해야 합니다.

아래는 예제에서 사용하는 테이블 정보입니다.

CREATE TABLE DBTECH.LINEITEM ( 
L_ORDERKEY NUMBER,
L_PARTKEY NUMBER, 
L_SUPPKEY NUMBER, 
L_LINENUMBER NUMBER, 
L_QUANTITY NUMBER(15,2),
L_EXTENDEDPRICE NUMBER(15,2), 
L_DISCOUNT NUMBER(15,2), 
L_TAX NUMBER(15,2), 
L_RETURNFLAG CHAR(1), 
L_LINESTATUS CHAR(1), 
L_SHIPDATE DATE,
L_COMMITDATE DATE, 
L_RECEIPTDATE DATE, 
L_SHIPINSTRUCT CHAR(25), 
L_SHIPMODE CHAR(10), 
L_COMMENT VARCHAR(44)
) NOLOGGING;

Table Migrator 예제

Table Migrator 방법으로 대용량 데이터를 이관하는 순서입니다.

migrator.properties 파일에 속성값을 설정합니다.

$ cat migrator.properties


#######################
# Source DB Connection 
#######################

# Source DB type (Optional, generic | default | ORACLE) 
# ORACLE option needs SOURCE_LOGIN_AS property
# GENERIC option needs SOURCE_DRIVER property
SOURCE_TYPE=ORACLE

# Source DB JDBC driver class name
# Use with SOURCE_TYPE=GENERIC option 
SOURCE_DRIVER=oracle.jdbc.OracleDriver 
#SOURCE_DRIVER=com.mysql.jdbc.Driver

# Source DB JDBC connection URL (Optional, 
Default=jdbc:oracle:thin:@localhost:1521:orcl) 
SOURCE_URL=jdbc:oracle:thin:@localhost:1539:orcl 
#SOURCE_URL=jdbc:mysql://127.0.0.1:3306/mysql
# Source DB login ID (Optional, Default=sys) 
#SOURCE_USER="user1"
SOURCE_USER=tibero

# Source DB login password (Optional, Default=oracle)
SOURCE_PASSWORD=tmax


# Oracle source DB login option (Optional, Default=sysdba) 
# Use with SOURCE_TYPE=ORACLE option 
SOURCE_LOGIN_AS=NORMAL

# Source table schema (Optional)
# Default value is the same with SOURCE_USER 
#SOURCE_SCHEMA=SCOTT
#SOURCE_SCHEMA="dbo" 
#SOURCE_SCHEMA=

# Source table name (Mandatory) 
#SOURCE_TABLE=tableName1 
#SOURCE_TABLE="tableName2" 
#SOURCE_TABLE=bt_scen_tran 
SOURCE_TABLE=t1

# Ignore deadlock error that occur during migration for the tables created using the dedup option
# Use when BATCH_THRESHOLD=1
# If not, Data integrity is not guaranteed 
SOURCE_TABLE_DEDUPLICATE=N

#######################
# Target DB Connection 
#######################

# Target DB type (Optional, DEFAULT)
TARGET_TYPE=DEFAULT

# Target DB JDBC driver class name 
#TARGET_DRIVER=com.tmax.tibero.jdbc.TbDriver 
TARGET_DRIVER=com.m.internal.jdbc.MInternalDriver

# Target DB JDBC connection URL (Optional, 
Default=jdbc:internal:thin:@localhost:8629:tibero) 
#TARGET_URL=jdbc:tibero:thin:@192.1.5.63:39208:tibero 
TARGET_URL=jdbc:internal:thin:@localhost:59166:tibero

# Target DB login ID (Optional, Default=sys) 
#TARGET_USER="user1"
TARGET_USER=tibero

# Target DB login password (Optional, Default=tibero)
TARGET_PASSWORD=tmax

# Target table schema (Optional)
# Default value is the same with TARGET_USER 
# TARGET_SCHEMA=TIBERO

# Target table name (Optional)
# Default value is the same with SOURCE_TABLE 
# TARGET_TABLE=t1

#################
# Data Extractor 
#################
# Use parallel Extracting (Optional, Y | N Default=N)
EXTRACT_PARALLEL=N

# Number of data extractor thread (Optional, Default=1)
EXTRACT_THREAD_COUNT=1

# Use TSN(or SCN) option (Optional) 
#SELECT_TSN=17322052

# Where conditions (Optional)
# ex. column1 > 10 AND column2 = 'abc' 
#SELECT_CONDITION= c1>1

# Fetch size of source table cursor (Optional, Default=1024) 
# Some DB is not supported this feature. 
#SELECT_FETCH_SIZE=1024

# Source table partition name (Optional) 
#SELECT_PARTITION=

# Source table subpartition name (Optional) 
#SELECT_SUBPARTITION=subpar1 
#SELECT_SUBPARTITION="subpart2" 
#SELECT_SUBPARTITION=

# Ignore source/target DB character set (Optional, y | N )
SELECT_AS_BYTE=N

# db_file_multiblock_read_count (Optinal, Option for Oracle), Defalut=-1)
DB_FILE_MULTIBLOCK_READ_COUNT=-1

# Use parallel excution of SQL statements (Optinal, Option for Oracle), Defalut=N)
USE_PARALLEL_HINT=N

# Use with USE_PARALLEL_HINT=Y (Defalut=-1)
PARALLEL_HINT_CNT=-1

##############
# Data Loader 
##############

# Use direct path loading (Optional, cpl | DPL) 
# CPL means conventional path loading
# DPL means direct path loading I
NSERT_METHOD=dpl

# Use commit size option(Optinal, Default = commit once after loading) 
# Use with INSERT_METHOD=CPL option
# set commit_size-1 to commit only once 
COMMIT_SIZE=-1

# Use index disable option(Optional, Default = N, Y/N)
INDEX_DISABLE=N

# Use batch insert (Optional, Y | n) 
# Use with INSERT_METHOD=CPL option 
INSERT_BATCH=Y

# batch threshold size (Optional, Default=32)
BATCH_THRESHOLD=128

# Use parallel loading (Optional, Y | n)
INSERT_PARALLEL=N

# Number of data loader thread (Optional, Default=4) 
# Use with INSERT_PARALLEL=Y option 
INSERT_THREAD_COUNT=1

# Target table partition name (Optional) 
#INSERT_PARTITION=

# Specifies whether to keep the column names of the source table case-sensitive. 
(Optional, Y | n )
# If set to Y, the original column name format will be preserved by enclosing it in 
double quotes.
# If set to N, the column name format will follow the database naming rules.
INSERT_COLUMN_NAME_CASE_SENSITIVE=N

# Use zero length string data migration as null (Optional, Y | n, Default=Y, Option ignored for Oracle)
# If set to N, the zero length data will be inserted as ' '. 
INSERT_ZERO_LENGTH_STRING_AS_NULL=Y

# Trim leading and trailing pad character of CHAR type data. (Optional, Y | n, Default=N)
#TRIM=

##############
# Common 
##############

# Use MetaData Checking for DPL. (Optional, Default=Y)
CHECK_COLUMN_METADATA=N


# Log 
LOG_LEVEL=INFO
LOG_FILE_NAME=tableMigrator.log 
#LOG_DIR=

전체 건수를 균등하게 나눌 수 있는 조건을 검토합니다.(SELECT_CONDITION 부분에 설정)

만족하는 조건이 있는 경우 SQL문을 나눈 후에 병렬 세션(터미널 또는 다른 컴퓨터)으로 수행하며 Temp와 Undo Tablespace 사용량의 모니터링이 필요합니다.

Background Process를 이용하여 병렬 프로세싱으로 migrator를 수행합니다.

수행 결과와 로그 파일을 확인합니다.

DB Link로 insert ... select ... 구문을 수행할 때 parallel 힌트를 사용하면 select는 serial하게 동작하고, insert일 때만 parallel로 동작합니다. 따라서 DB Link 원본 데이터가 존재하는 서버의 사양이 좋을 경우 parallel 힌트를 사용하여 view를 생성하고 해당 view를 Tibero에서 select하는 방식으로 이관하면 성능 향상을 기대할 수 있습니다.

아래는 DB Link 방법으로 대용량 데이터를 이관하는 순서입니다.

전체 건수를 균등하게 나눌 수 있는 조건을 검토합니다.

만족하는 조건이 있는 경우 SQL문을 나눈 후에 병렬 세션(터미널 또는 다른 컴퓨터)으로 수행하며 Temp와 Undo Tablespace 사용량의 모니터링이 필요합니다.

SQL문에 append, parallel 힌트를 사용합니다.

append Insert하는 대상 테이블에 대해서 nologging 옵션이 적용되있어야 합니다.

parallel 힌트를 적용하기 위해 해당 세션에 parallel dml 옵션을 enable해야 합니다.

아래는 세션이 2개일 경우 DB Link를 수행하는 예입니다.

세션 1수행 L_LINESTATUS가 '0'에 대해서 Insert합니다.

세션 2수행 L_LINESTATUS가 'F'에 대해서 Insert합니다.

COMMIT된 데이터 확인

Load할 SAM 파일을 n등분하고 직접 로딩과 병렬 프로세싱을 동시에 사용합니다.

데이터를 로딩하는 방식으로 디스크에서 wait만 발생하지 않는다면 최적의 수행 속도가 보장됩니다.

아래는 tbLoader 방법으로 대용량 데이터를 이관하는 순서입니다.

Unload(spool 또는 unload 유틸을 이용하여 데이터 unload) 및 SAM 파일을 전송합니다.
Load할 SAM 파일을 n등분 하여 n개의 SAM 파일을 준비합니다.
각 SAM 파일을 읽는 n개의 컨트롤 파일을 작성하고, 작성할 때 append 옵션을 사용합니다.

아래는 2개의 컨트롤 파일을 작성하는 방법입니다.

Background Process를 이용하여 병렬 프로세싱으로 tbloader를 실행하고, tbloder 명령어에 'direct=y dpl_parallel=y' 옵션을 사용합니다.

아래는 2개의 SAM 파일 및 컨트롤 파일을 가지고 tbLoader를 수행하는 예입니다.

세션 1 수행

세션 2 수행

성능 개선 방법

상황별 DBMS 성능 개선 방법에 대해 설명합니다.

Tibero 클라이언트는 데이터가 지정한 크기만큼 바인딩되기 전까지 서버로 업로드되지 않으므로 대용량 의 데이터를 업로드할 때 효율적으로 사용할 수 있습니다.

tbLoader에서 제공하는 아래의 옵션을 사용하여 이관합니다.

옵션

설명

SQL 변환 및 전환

기존 데이터베이스를 Tibero DBMS로 전환하는 Table Migrator 유틸리티에 대해 안내합니다.

개요

기존 데이터베이스를 Tibero로 전환하는 Table Migrator 유틸리티에 대해 안내합니다.

해당 바이너리는 TechNet의 T-UP 에서 다운 받을 수 있는에 포함되어 있습니다.

특징

Table Migrator 유틸리티의 특징 입니다.

Command 기반이며, 내부적으로 JAVA의 JDBC 드라이버를 이용하여 DBMS에 접속합니다.
별도 컴퓨터(클라이언트)가 필요하지 않으며 Source 또는 Target 서버에서 수행 가능합니다.
전체, 사용자별 이관은 불가능하며 Table 단위로 데이터 이관만 가능합니다. (스키마 객체 및 Table에 정의된 각종 제약조건은 전환되지 않음)
옵션을 사용하여 다양한 방법으로 전환이 가능합니다. (SELECT 옵션, DPL, P-DPL 지원)

아래는 Table Migrator 유틸리티 실행 전 준비사항 입니다.

JRE 1.6 이상 설치
Table Migrator 설치 전 아래의 파일이 준비여부 확인
- table_migrator.zip : Table Migrator 바이너리
- Source DB의 JDBC 드라이버

DBMS

JDBC 드라이버

Table Migrator 바이너리를 Source DB 또는 Target DB(Tibero)에 위치합니다.
이관 대상 Table을 생성 DDL을 이용하여 Target DB(Tibero)에 미리 생성합니다.

Table Migrator 유틸리티를 실행할 때 아래와 같은 사항에 유의합니다.

Source DB의 Table을 이관할 경우 Target DB(Tibero)에 Tablespace, User, Table을 미리 생성 후 TableMigrator를 수행합니다.
DBMS 접속 계정에 DBA 권한이 필요합니다.

만약, 고객사의 정책상 DBA 권한을 부여받지 못할 경우 이관 작업을 위한 사용자별 최소한의 권한 예시는 아래와 같습니다.

계정

권한

long, longraw 컬럼을 지원하지 않습니다.
index가 존재하는 Table일 경우 DPL 옵션을 사용하지 못합니다.

본 문서는 총 3개의 장으로 구성됩니다.

Table Migrator 유틸리티 실행 방법을 안내합니다.

🔎

파라미터 지정 과정을 예시와 함께 설명합니다.

🔎

타사 DB에서 Tibero DB로 전환에 대한 예시입니다.

🔎

수행 방법

DB 전환 전 고려사항에 대해서 설명합니다.

1. 압축 파일 해제

table_migrator.zip 바이너리 압축 파일을 해제하면 다음과 같은 파일이 생성됩니다.

파일

설명

migrator_cli.jar

Table Migrator 클래스

toolcom.jar

UNIX 계열인 경우 migrator.sh, Windows 계열인 경우는 migrator.bat 파일을 수정합니다.

classpath 설정에 Source DB의 JDBC 드라이버가 설정되어 있는지 확인하고 없을 경우 추가합니다.

아래는 Table Migrator를 실행하는 2가지 예로 UNIX 계열인 경우 migrator.sh, Windows 계열인 경우는migrator.bat 명령어를 입력합니다.

파라미터의 값을 컨트롤 파일에 설정한 후 실행합니다.

DB 파라미터 지정

데이터베이스 파라미터 지정 과정을 예시와 함께 설명합니다.

파라미터를 지정하는 컨트롤 파일은 기본으로 migrator.properties 파일로 지정됩니다.

파라미터 예시

(migrator.properties 파일에 설정)

SOURCE_TYPE=ORACLE
SOURCE_DRIVER=oracle.jdbc.OracleDriver
SOURCE_URL=jdbc:oracle:thin:@localhost:1539:orcl
SOURCE_USER=sys
SOURCE_PASSWORD=oracle
SOURCE_LOGIN_AS=sysdba
SOURCE_SCHEMA=SCOTT
SOURCE_TABLE=t1
SOURCE_TABLE_DEDUPLICATE=N
TARGET_TYPE=DEFAULT
TARGET_DRIVER=com.m.internal.jdbc.MInternalDriver
TARGET_URL=jdbc:internal:thin:@localhost:59166:tibero
TARGET_USER=tibero
TARGET_PASSWORD=tmax
TARGET_SCHEMA=TIBERO
TARGET_TABLE=t1
EXTRACT_PARALLEL=N
EXTRACT_PARALLEL_RANGE_BY_ROWID=N
EXTRACT_THREAD_COUNT=1
SELECT_TSN=17322052
SELECT_CONDITION= c1>1
SELECT_FETCH_SIZE=1024
SELECT_PARTITION=part1
SELECT_SUBPARTITION=subpar1
SELECT_AS_BYTE=N
DB_FILE_MULTIBLOCK_READ_COUNT=-1
OPTIMIZER_HINT=/*+ FULL(t) PARALLEL(t, 4) */
USE_PARALLEL_HINT=N
USE_OBJECT_PARALLEL_HINT=N
PARALLEL_HINT_CNT=-1
INSERT_METHOD=dpl
COMMIT_SIZE=-1
INDEX_DISABLE=N
INSERT_BATCH=Y
BATCH_THRESHOLD=128
DPL_LOG_UNIT=500
INSERT_PARALLEL=N
INSERT_THREAD_COUNT=1
INSERT_PARTITION=
INSERT_ZERO_LENGTH_STRING_AS_NULL=Y
TRIM=
BYTEA_TO_BLOB=N
TEXT_TO_CLOB=N                              
MONITORING_LOG=N
MONITORING_LOG_UNIT=500
MONITORING_SESS_STAT=CPU used by this session;parse time cpu;parse count(hard)
CHECK_COLUMN_METADATA=N
ROW_QUEUE_TYPE=ARRAY(10240)
VERIFY_TABLE=N
VERIFY_TABLE_NAME=VERIFY_TBL
LOG_LEVEL=INFO
LOG_FILE_NAME=tableMigrator.log
LOG_DIR=

각 파라미터의 설명은 아래와 같습니다.

Source 접속 정보 관련

파라미터

설명

파라미터

설명

파라미터

설명

파라미터

설명

파라미터

설명

파라미터

설명

수행 예제

Table Migrator 유틸리티로 Oracle(Source DB)에서 Tibero(Target DB)로 DBMS 전환을 수행하는 예제입니다.

Oracle에 테스트 Table, 데이터, 접속할 계정을 생성합니다.

대용량 데이터 이관 예제

대용량 데이터 이관 방법의 예제를 설명합니다.

데이터 이관은 다양한 방법을 이용하여 수행할 수 있고 이로 인해 수행 속도를 최적화 시킬 수 있습니다.

단, 테이블에 대한 데이터 이관만 가능하므로 Object에 대한 이관은 수동으로 수행해야 합니다.

아래는 예제에서 사용하는 테이블 정보입니다.

CREATE TABLE DBTECH.LINEITEM ( 
L_ORDERKEY NUMBER,
L_PARTKEY NUMBER, 
L_SUPPKEY NUMBER, 
L_LINENUMBER NUMBER, 
L_QUANTITY NUMBER(15,2),
L_EXTENDEDPRICE NUMBER(15,2), 
L_DISCOUNT NUMBER(15,2), 
L_TAX NUMBER(15,2), 
L_RETURNFLAG CHAR(1), 
L_LINESTATUS CHAR(1), 
L_SHIPDATE DATE,
L_COMMITDATE DATE, 
L_RECEIPTDATE DATE, 
L_SHIPINSTRUCT CHAR(25), 
L_SHIPMODE CHAR(10), 
L_COMMENT VARCHAR(44)
) NOLOGGING;

Table Migrator 예제

Table Migrator 방법으로 대용량 데이터를 이관하는 순서입니다.

migrator.properties 파일에 속성값을 설정합니다.

$ cat migrator.properties


#######################
# Source DB Connection 
#######################

# Source DB type (Optional, generic | default | ORACLE) 
# ORACLE option needs SOURCE_LOGIN_AS property
# GENERIC option needs SOURCE_DRIVER property
SOURCE_TYPE=ORACLE

# Source DB JDBC driver class name
# Use with SOURCE_TYPE=GENERIC option 
SOURCE_DRIVER=oracle.jdbc.OracleDriver 
#SOURCE_DRIVER=com.mysql.jdbc.Driver

# Source DB JDBC connection URL (Optional, 
Default=jdbc:oracle:thin:@localhost:1521:orcl) 
SOURCE_URL=jdbc:oracle:thin:@localhost:1539:orcl 
#SOURCE_URL=jdbc:mysql://127.0.0.1:3306/mysql
# Source DB login ID (Optional, Default=sys) 
#SOURCE_USER="user1"
SOURCE_USER=tibero

# Source DB login password (Optional, Default=oracle)
SOURCE_PASSWORD=tmax


# Oracle source DB login option (Optional, Default=sysdba) 
# Use with SOURCE_TYPE=ORACLE option 
SOURCE_LOGIN_AS=NORMAL

# Source table schema (Optional)
# Default value is the same with SOURCE_USER 
#SOURCE_SCHEMA=SCOTT
#SOURCE_SCHEMA="dbo" 
#SOURCE_SCHEMA=

# Source table name (Mandatory) 
#SOURCE_TABLE=tableName1 
#SOURCE_TABLE="tableName2" 
#SOURCE_TABLE=bt_scen_tran 
SOURCE_TABLE=t1

# Ignore deadlock error that occur during migration for the tables created using the dedup option
# Use when BATCH_THRESHOLD=1
# If not, Data integrity is not guaranteed 
SOURCE_TABLE_DEDUPLICATE=N

#######################
# Target DB Connection 
#######################

# Target DB type (Optional, DEFAULT)
TARGET_TYPE=DEFAULT

# Target DB JDBC driver class name 
#TARGET_DRIVER=com.tmax.tibero.jdbc.TbDriver 
TARGET_DRIVER=com.m.internal.jdbc.MInternalDriver

# Target DB JDBC connection URL (Optional, 
Default=jdbc:internal:thin:@localhost:8629:tibero) 
#TARGET_URL=jdbc:tibero:thin:@192.1.5.63:39208:tibero 
TARGET_URL=jdbc:internal:thin:@localhost:59166:tibero

# Target DB login ID (Optional, Default=sys) 
#TARGET_USER="user1"
TARGET_USER=tibero

# Target DB login password (Optional, Default=tibero)
TARGET_PASSWORD=tmax

# Target table schema (Optional)
# Default value is the same with TARGET_USER 
# TARGET_SCHEMA=TIBERO

# Target table name (Optional)
# Default value is the same with SOURCE_TABLE 
# TARGET_TABLE=t1

#################
# Data Extractor 
#################
# Use parallel Extracting (Optional, Y | N Default=N)
EXTRACT_PARALLEL=N

# Number of data extractor thread (Optional, Default=1)
EXTRACT_THREAD_COUNT=1

# Use TSN(or SCN) option (Optional) 
#SELECT_TSN=17322052

# Where conditions (Optional)
# ex. column1 > 10 AND column2 = 'abc' 
#SELECT_CONDITION= c1>1

# Fetch size of source table cursor (Optional, Default=1024) 
# Some DB is not supported this feature. 
#SELECT_FETCH_SIZE=1024

# Source table partition name (Optional) 
#SELECT_PARTITION=

# Source table subpartition name (Optional) 
#SELECT_SUBPARTITION=subpar1 
#SELECT_SUBPARTITION="subpart2" 
#SELECT_SUBPARTITION=

# Ignore source/target DB character set (Optional, y | N )
SELECT_AS_BYTE=N

# db_file_multiblock_read_count (Optinal, Option for Oracle), Defalut=-1)
DB_FILE_MULTIBLOCK_READ_COUNT=-1

# Use parallel excution of SQL statements (Optinal, Option for Oracle), Defalut=N)
USE_PARALLEL_HINT=N

# Use with USE_PARALLEL_HINT=Y (Defalut=-1)
PARALLEL_HINT_CNT=-1

##############
# Data Loader 
##############

# Use direct path loading (Optional, cpl | DPL) 
# CPL means conventional path loading
# DPL means direct path loading I
NSERT_METHOD=dpl

# Use commit size option(Optinal, Default = commit once after loading) 
# Use with INSERT_METHOD=CPL option
# set commit_size-1 to commit only once 
COMMIT_SIZE=-1

# Use index disable option(Optional, Default = N, Y/N)
INDEX_DISABLE=N

# Use batch insert (Optional, Y | n) 
# Use with INSERT_METHOD=CPL option 
INSERT_BATCH=Y

# batch threshold size (Optional, Default=32)
BATCH_THRESHOLD=128

# Use parallel loading (Optional, Y | n)
INSERT_PARALLEL=N

# Number of data loader thread (Optional, Default=4) 
# Use with INSERT_PARALLEL=Y option 
INSERT_THREAD_COUNT=1

# Target table partition name (Optional) 
#INSERT_PARTITION=

# Specifies whether to keep the column names of the source table case-sensitive. 
(Optional, Y | n )
# If set to Y, the original column name format will be preserved by enclosing it in 
double quotes.
# If set to N, the column name format will follow the database naming rules.
INSERT_COLUMN_NAME_CASE_SENSITIVE=N

# Use zero length string data migration as null (Optional, Y | n, Default=Y, Option ignored for Oracle)
# If set to N, the zero length data will be inserted as ' '. 
INSERT_ZERO_LENGTH_STRING_AS_NULL=Y

# Trim leading and trailing pad character of CHAR type data. (Optional, Y | n, Default=N)
#TRIM=

##############
# Common 
##############

# Use MetaData Checking for DPL. (Optional, Default=Y)
CHECK_COLUMN_METADATA=N


# Log 
LOG_LEVEL=INFO
LOG_FILE_NAME=tableMigrator.log 
#LOG_DIR=

전체 건수를 균등하게 나눌 수 있는 조건을 검토합니다.(SELECT_CONDITION 부분에 설정)

만족하는 조건이 있는 경우 SQL문을 나눈 후에 병렬 세션(터미널 또는 다른 컴퓨터)으로 수행하며 Temp와 Undo Tablespace 사용량의 모니터링이 필요합니다.

Background Process를 이용하여 병렬 프로세싱으로 migrator를 수행합니다.

수행 결과와 로그 파일을 확인합니다.

아래는 DB Link 방법으로 대용량 데이터를 이관하는 순서입니다.

전체 건수를 균등하게 나눌 수 있는 조건을 검토합니다.

만족하는 조건이 있는 경우 SQL문을 나눈 후에 병렬 세션(터미널 또는 다른 컴퓨터)으로 수행하며 Temp와 Undo Tablespace 사용량의 모니터링이 필요합니다.

SQL문에 append, parallel 힌트를 사용합니다.

append Insert하는 대상 테이블에 대해서 nologging 옵션이 적용되있어야 합니다.

parallel 힌트를 적용하기 위해 해당 세션에 parallel dml 옵션을 enable해야 합니다.

아래는 세션이 2개일 경우 DB Link를 수행하는 예입니다.

세션 1수행 L_LINESTATUS가 '0'에 대해서 Insert합니다.

세션 2수행 L_LINESTATUS가 'F'에 대해서 Insert합니다.

COMMIT된 데이터 확인

Load할 SAM 파일을 n등분하고 직접 로딩과 병렬 프로세싱을 동시에 사용합니다.

데이터를 로딩하는 방식으로 디스크에서 wait만 발생하지 않는다면 최적의 수행 속도가 보장됩니다.

아래는 tbLoader 방법으로 대용량 데이터를 이관하는 순서입니다.

Unload(spool 또는 unload 유틸을 이용하여 데이터 unload) 및 SAM 파일을 전송합니다.
Load할 SAM 파일을 n등분 하여 n개의 SAM 파일을 준비합니다.
각 SAM 파일을 읽는 n개의 컨트롤 파일을 작성하고, 작성할 때 append 옵션을 사용합니다.

아래는 2개의 컨트롤 파일을 작성하는 방법입니다.

Background Process를 이용하여 병렬 프로세싱으로 tbloader를 실행하고, tbloder 명령어에 'direct=y dpl_parallel=y' 옵션을 사용합니다.

아래는 2개의 SAM 파일 및 컨트롤 파일을 가지고 tbLoader를 수행하는 예입니다.

세션 1 수행

세션 2 수행

SQL> create tablespace DBTECH_TBS
   2 datafile 'dbtech_tbs01.dtf' size 50M
   3 AUTOEXTEND ON NEXT 20M MAXSIZE 5G
   4 EXTENT MANAGEMENT LOCAL AUTOALLOCATE;

Tablespace 'DBTECH_TBS' created.

SQL> create user dbtech identified by dbtech
   2 default tablespace DBTECH_TBS;

User 'DBTECH' created.

SQL> grant connect, resource, select any dictionary to dbtech;

Granted.

SQL> conn dbtech/dbtech
Connected to Tibero.

SQL> create table board (no number, 
   2                     empno number(4),
   3                     title varchar(20),
   4                     contents clob,
   5                     regdate date default sysdate,
   6                     hit number default 0)
   7 PCTFREE 10
   8 INITRANS 2;

Table 'BOARD' created.

SQL> exit
Disconnected.

$ ls -lrt
-rw-r--r--. 1 tibero dba 1340431 Nov 15 15:29 antlr-4.3-complete.jar
-rw-r--r--. 1 tibero dba    1376 Nov 15 15:29 ANTLR4_License.txt
-rw-r--r--. 1 tibero dba 1604783 Nov 15 15:29 internal-jdbc-16.jar
-rw-r--r--. 1 tibero dba     167 Nov 15 15:29 migrator.bat
-rw-r--r--. 1 tibero dba    8313 Nov 15 15:29 migrator.properties.eg
-rw-r--r--. 1 tibero dba     170 Nov 15 15:29 migrator.sh
-rw-r--r--. 1 tibero dba  167137 Nov 15 15:29 migrator_cli.jar
-rw-r--r--. 1 tibero dba  352917 Nov 15 15:29 msllogger-14.jar
-rw-r--r--. 1 tibero dba    1320 Nov 15 15:29 pgjdbc_License.txt
-rw-r--r--. 1 tibero dba  850563 Nov 15 15:29 postgresql-42.2.27.jre6.jar
-rw-r--r--. 1 tibero dba    4054 Nov 15 15:29 readme.txt
-rw-r--r--. 1 tibero dba  123556 Nov 15 15:29 toolcom.jar
-rwxr-xr-x. 1 tibero dba 4210517 Nov 16 13:54 ojdbc6.jar

$sh migrator.sh SOURCE_TYPE=ORACLE SOURCE_URL=jdbc:oracle:thin:@localhost:1525:oraclesb SOURCE_USER=dbtech_test SOURCE_PASSWORD=dbtech_test SOURCE_LOGIN_AS=NORMAL SOURCE_SCHEMA=dbtech SOURCE_TABLE=board TARGET_URL=jdbc:internal:thin:@localhost:6213:JSH_T7_DB TARGET_USER=dbtech TARGET_PASSWORD=dbtech TARGET_SCHEMA=dbtech TARGET_TABLE=board 
SOURCE_USER=dbtech_test SOURCE_PASSWORD=dbtech_test SOURCE_LOGIN_AS=NORMAL
SOURCE_SCHEMA=dbtech SOURCE_TABLE=board
TARGET_URL=jdbc:internal:thin:@localhost:6213:JSH_T7_DB TARGET_USER=dbtech 
TARGET_PASSWORD=dbtech TARGET_SCHEMA=dbtech TARGET_TABLE=board
INFO[16:51:45,676][main]TableMigrator.initAndDoMigrate()(1429) 
********************************************************************************
*
* Start Log for table migrator.
*     Vendor:  tibero
*     Product: table migrator
*     Version: 263750
*
* Trace is started on 16:51:45.675
*     Log level: INFO
*
********************************************************************************

 INFO[16:51:45,679][main]TableMigrator.initAndDoMigrate()(1431) 
=== Parameters ===
SOURCE_TYPE=ORACLE
SOURCE_DRIVER=oracle.jdbc.OracleDriver
SOURCE_URL=jdbc:oracle:thin:@localhost:1525:oraclesb
SOURCE_USER=DBTECH_TEST
SOURCE_PASSWORD=************
SOURCE_LOGIN_AS=NORMAL
SOURCE_SCHEMA=dbtech
SOURCE_SCHEMAORIGN=dbtech
SOURCE_TABLE=board
SELECT_SUBPARTITION=
BATCH_THRESHOLD=128
EXTRACT_PARALLEL=N
EXTRACT_THREAD_COUNT=1
SOURCE_TABLE_DEDUPLICATE=N
USE_PARALLEL_HINT=N
PARALLEL_HINT_CNT=-1
USE_OBJECT_PARALLEL_HINT=N
TARGET_TYPE=DEFAULT
TARGET_DRIVER=com.m.internal.jdbc.MInternalDriver
TARGET_URL=jdbc:internal:thin:@localhost:6213:JSH_T7_DB
TARGET_USER=DBTECH
TARGET_PASSWORD=************
TARGET_SCHEMA=dbtech
TARGET_TABLE=board
COMMIT_SIZE=-1
INDEX_DISABLE=N
SELECT_FETCH_SIZE=1024
SELECT_AS_BYTE=N
DB_FILE_MULTIBLOCK_READ_COUNT=-1
INSERT_METHOD=dpl
INSERT_BATCH=Y
INSERT_PARALLEL=N
INSERT_THREAD_COUNT=1
INSERT_ZERO_LENGTH_STRING_AS_NULL=Y
DPL_LOG_UNIT=500
LOG_FILE_NAME=tableMigrator.log
LOG_LEVEL=INFO
CHECK_COLUMN_METADATA=N
==================
 INFO[16:51:45,784][TabMig[16:51:45.680]]TbCmdConnection.connect()(58) Connect To The Source- URL : jdbc:oracle:thin:@localhost:1525:oraclesb ID : DBTECH_TEST
 INFO[16:51:45,983][TabMig[16:51:45.680]]TbCmdConnection.connect()(58) Connect To The Target- URL : jdbc:internal:thin:@localhost:6213:JSH_T7_DB ID : DBTECH
 INFO[16:51:46,228][TabMig[16:51:45.680]]TableMigrator.migrate()(256) SOURCE_TYPE : ORACLE
 INFO[16:51:46,228][TabMig[16:51:45.680]]TableMigrator.migrate()(257) SOURCE_SCHEMA : dbtech
 INFO[16:51:46,228][TabMig[16:51:45.680]]TableMigrator.migrate()(275) SOURCE_TABLE : board
 INFO[16:51:46,229][TabMig[16:51:45.680]]TableMigrator.migrate()(277) TARGET_TYPE : DEFAULT
 INFO[16:51:46,229][TabMig[16:51:45.680]]TableMigrator.migrate()(278) TARGET_SCHEMA : dbtech
 INFO[16:51:46,229][TabMig[16:51:45.680]]TableMigrator.migrate()(293) TARGET_TABLE : board
 INFO[16:51:46,236][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(52)  SELECT column_name, data_type, virtual_column, hidden_column FROM DBA_TAB_COLS WHERE OWNER=? AND TABLE_NAME=? order by column_id
 INFO[16:51:46,292][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(55) setString(1) : DBTECH
 INFO[16:51:46,292][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(58) setString(2) : BOARD
 INFO[16:51:46,308][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(125) SELECT iot_type FROM dba_tables WHERE OWNER = ? and TABLE_NAME = ?
 INFO[16:51:46,309][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(128) setString(1) : DBTECH
 INFO[16:51:46,309][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(131) setString(2) : BOARD
 INFO[16:51:46,311][TabMig[16:51:45.680]]TableMigrator.migrate()(375) start extracting thread...
 INFO[16:51:46,315][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(86) run
 INFO[16:51:46,315][TabMig[16:51:45.680].E0]DataExtractor.loggingTabAndColInfo()(531) Extract Information
 INFO[16:51:46,316][TabMig[16:51:45.680].E0]DataExtractor.loggingTabAndColInfo()(532) table name : DBTECH.BOARD
 INFO[16:51:46,316][TabMig[16:51:45.680].E0]DataExtractor.loggingTabAndColInfo()(538) columns [6] - "NO" "EMPNO" "TITLE" "REGDATE" "HIT" "CONTENTS" 
 INFO[16:51:46,318][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(93) TabMig[16:51:45.680].E0 - sql : SELECT '0', t."NO", t."EMPNO", t."TITLE", t."REGDATE", t."HIT", t."CONTENTS" FROM DBTECH.BOARD t
 INFO[16:51:46,327][TabMig[16:51:45.680]]TableMigrator.migrate()(536) start loading thread...
 INFO[16:51:46,328][TabMig[16:51:45.680]]DataLoader.setRemainThr()(85) Set Remain Threads [0], to [1]
 INFO[16:51:46,332][L0]TbDPLDataLoader.setDirPathStream()(525) DPL Loading Information
 INFO[16:51:46,332][L0]TbDPLDataLoader.setDirPathStream()(526) table name : dbtech.board
 INFO[16:51:46,332][L0]TbDPLDataLoader.setDirPathStream()(532) columns [6] - "NO" "EMPNO" "TITLE" "REGDATE" "HIT" "CONTENTS" 
 INFO[16:51:46,337][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(282) 
  Total Extract Time : 20ms
  Time For Putting Row on Queue : 0ms
  Time For Executing Query Time : 12ms
  Time For Executing Fetch Time : 4ms
  Percentage of Query and Fetch => 80.00%
 INFO[16:51:46,337][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(283) TOTAL Extracted ROWS: 5 (source schema = DBTECH, source table = BOARD)
 INFO[16:51:46,338][TabMig[16:51:45.680]]TableMigrator.migrate()(580) Extractor termFlag : [true], isError : [false]
 INFO[16:51:46,338][TabMig[16:51:45.680].E0]DataExtractor.setTermFlag()(543) Set termFlag and isError : [false]
 INFO[16:51:46,338][TabMig[16:51:45.680].E0]DataExtractor.setTermFlag()(544) complete
 INFO[16:51:46,354][L0.TbDPLDataLoader0]DataLoaderManager.run()(47) run
 INFO[16:51:46,361][L0.TbDPLDataLoader0]DataLoaderManager.run()(240)  Total Insert Time : 29ms
  Time For Taking Row From Queue: 0ms
  Time For Executing Batch : 4ms
  Time For Executing Commit : 2ms
  Percentage of Batch and Commit Time => 20.69%
 INFO[16:51:46,361][L0.TbDPLDataLoader0]DataLoaderManager.run()(242) [L0.TbDPLDataLoader0]1700121106361 TOTAL Loaded ROWS: 5 (target schema = dbtech, target table = board)
 INFO[16:51:46,374][TabMig[16:51:45.680]]TableMigrator.migrate()(613) Loader remainThr : [0], isError : [false]
 INFO[16:51:46,374][L0.TbDPLDataLoader0]DataLoader.finish()(80) Decrement remainThr : [0] and isError : [false]
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.resetThrs()(1359) terminate extract thread...1
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.resetThrs()(1373) terminate loader thread...1
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.migrate()(627) [VERIFICATION] Source Info : dbtech.board : 5 Rows, Target Info : dbtech.board : 5 Rows [OK]
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.migrate()(686) extract conneciton close
 INFO[16:51:46,377][TabMig[16:51:45.680]]TableMigrator.migrate()(695) loader connection close
 INFO[16:51:46,377][TabMig[16:51:45.680]]TableMigrator.migrate()(705) Elapsed Time (milliseconds) : 697
 INFO[16:51:46,377][TabMig[16:51:45.680]]TableMigrator.migrate()(707) End Migration

SQL> create tablespace DBTECH_TBS
   2 datafile 'dbtech_tbs01.dtf' size 50M
   3 AUTOEXTEND ON NEXT 20M MAXSIZE 5G
   4 EXTENT MANAGEMENT LOCAL AUTOALLOCATE;

Tablespace 'DBTECH_TBS' created.

SQL> create user dbtech identified by dbtech
   2 default tablespace DBTECH_TBS;

User 'DBTECH' created.

SQL> grant connect, resource, select any dictionary to dbtech;

Granted.

SQL> conn dbtech/dbtech
Connected to Tibero.

SQL> create table board (no number, 
   2                     empno number(4),
   3                     title varchar(20),
   4                     contents clob,
   5                     regdate date default sysdate,
   6                     hit number default 0)
   7 PCTFREE 10
   8 INITRANS 2;

Table 'BOARD' created.

SQL> exit
Disconnected.

$ ls -lrt
-rw-r--r--. 1 tibero dba 1340431 Nov 15 15:29 antlr-4.3-complete.jar
-rw-r--r--. 1 tibero dba    1376 Nov 15 15:29 ANTLR4_License.txt
-rw-r--r--. 1 tibero dba 1604783 Nov 15 15:29 internal-jdbc-16.jar
-rw-r--r--. 1 tibero dba     167 Nov 15 15:29 migrator.bat
-rw-r--r--. 1 tibero dba    8313 Nov 15 15:29 migrator.properties.eg
-rw-r--r--. 1 tibero dba     170 Nov 15 15:29 migrator.sh
-rw-r--r--. 1 tibero dba  167137 Nov 15 15:29 migrator_cli.jar
-rw-r--r--. 1 tibero dba  352917 Nov 15 15:29 msllogger-14.jar
-rw-r--r--. 1 tibero dba    1320 Nov 15 15:29 pgjdbc_License.txt
-rw-r--r--. 1 tibero dba  850563 Nov 15 15:29 postgresql-42.2.27.jre6.jar
-rw-r--r--. 1 tibero dba    4054 Nov 15 15:29 readme.txt
-rw-r--r--. 1 tibero dba  123556 Nov 15 15:29 toolcom.jar
-rwxr-xr-x. 1 tibero dba 4210517 Nov 16 13:54 ojdbc6.jar

$sh migrator.sh SOURCE_TYPE=ORACLE SOURCE_URL=jdbc:oracle:thin:@localhost:1525:oraclesb SOURCE_USER=dbtech_test SOURCE_PASSWORD=dbtech_test SOURCE_LOGIN_AS=NORMAL SOURCE_SCHEMA=dbtech SOURCE_TABLE=board TARGET_URL=jdbc:internal:thin:@localhost:6213:JSH_T7_DB TARGET_USER=dbtech TARGET_PASSWORD=dbtech TARGET_SCHEMA=dbtech TARGET_TABLE=board 
SOURCE_USER=dbtech_test SOURCE_PASSWORD=dbtech_test SOURCE_LOGIN_AS=NORMAL
SOURCE_SCHEMA=dbtech SOURCE_TABLE=board
TARGET_URL=jdbc:internal:thin:@localhost:6213:JSH_T7_DB TARGET_USER=dbtech 
TARGET_PASSWORD=dbtech TARGET_SCHEMA=dbtech TARGET_TABLE=board
INFO[16:51:45,676][main]TableMigrator.initAndDoMigrate()(1429) 
********************************************************************************
*
* Start Log for table migrator.
*     Vendor:  tibero
*     Product: table migrator
*     Version: 263750
*
* Trace is started on 16:51:45.675
*     Log level: INFO
*
********************************************************************************

 INFO[16:51:45,679][main]TableMigrator.initAndDoMigrate()(1431) 
=== Parameters ===
SOURCE_TYPE=ORACLE
SOURCE_DRIVER=oracle.jdbc.OracleDriver
SOURCE_URL=jdbc:oracle:thin:@localhost:1525:oraclesb
SOURCE_USER=DBTECH_TEST
SOURCE_PASSWORD=************
SOURCE_LOGIN_AS=NORMAL
SOURCE_SCHEMA=dbtech
SOURCE_SCHEMAORIGN=dbtech
SOURCE_TABLE=board
SELECT_SUBPARTITION=
BATCH_THRESHOLD=128
EXTRACT_PARALLEL=N
EXTRACT_THREAD_COUNT=1
SOURCE_TABLE_DEDUPLICATE=N
USE_PARALLEL_HINT=N
PARALLEL_HINT_CNT=-1
USE_OBJECT_PARALLEL_HINT=N
TARGET_TYPE=DEFAULT
TARGET_DRIVER=com.m.internal.jdbc.MInternalDriver
TARGET_URL=jdbc:internal:thin:@localhost:6213:JSH_T7_DB
TARGET_USER=DBTECH
TARGET_PASSWORD=************
TARGET_SCHEMA=dbtech
TARGET_TABLE=board
COMMIT_SIZE=-1
INDEX_DISABLE=N
SELECT_FETCH_SIZE=1024
SELECT_AS_BYTE=N
DB_FILE_MULTIBLOCK_READ_COUNT=-1
INSERT_METHOD=dpl
INSERT_BATCH=Y
INSERT_PARALLEL=N
INSERT_THREAD_COUNT=1
INSERT_ZERO_LENGTH_STRING_AS_NULL=Y
DPL_LOG_UNIT=500
LOG_FILE_NAME=tableMigrator.log
LOG_LEVEL=INFO
CHECK_COLUMN_METADATA=N
==================
 INFO[16:51:45,784][TabMig[16:51:45.680]]TbCmdConnection.connect()(58) Connect To The Source- URL : jdbc:oracle:thin:@localhost:1525:oraclesb ID : DBTECH_TEST
 INFO[16:51:45,983][TabMig[16:51:45.680]]TbCmdConnection.connect()(58) Connect To The Target- URL : jdbc:internal:thin:@localhost:6213:JSH_T7_DB ID : DBTECH
 INFO[16:51:46,228][TabMig[16:51:45.680]]TableMigrator.migrate()(256) SOURCE_TYPE : ORACLE
 INFO[16:51:46,228][TabMig[16:51:45.680]]TableMigrator.migrate()(257) SOURCE_SCHEMA : dbtech
 INFO[16:51:46,228][TabMig[16:51:45.680]]TableMigrator.migrate()(275) SOURCE_TABLE : board
 INFO[16:51:46,229][TabMig[16:51:45.680]]TableMigrator.migrate()(277) TARGET_TYPE : DEFAULT
 INFO[16:51:46,229][TabMig[16:51:45.680]]TableMigrator.migrate()(278) TARGET_SCHEMA : dbtech
 INFO[16:51:46,229][TabMig[16:51:45.680]]TableMigrator.migrate()(293) TARGET_TABLE : board
 INFO[16:51:46,236][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(52)  SELECT column_name, data_type, virtual_column, hidden_column FROM DBA_TAB_COLS WHERE OWNER=? AND TABLE_NAME=? order by column_id
 INFO[16:51:46,292][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(55) setString(1) : DBTECH
 INFO[16:51:46,292][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(58) setString(2) : BOARD
 INFO[16:51:46,308][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(125) SELECT iot_type FROM dba_tables WHERE OWNER = ? and TABLE_NAME = ?
 INFO[16:51:46,309][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(128) setString(1) : DBTECH
 INFO[16:51:46,309][TabMig[16:51:45.680]]OracleTableInfo.getTableInfo()(131) setString(2) : BOARD
 INFO[16:51:46,311][TabMig[16:51:45.680]]TableMigrator.migrate()(375) start extracting thread...
 INFO[16:51:46,315][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(86) run
 INFO[16:51:46,315][TabMig[16:51:45.680].E0]DataExtractor.loggingTabAndColInfo()(531) Extract Information
 INFO[16:51:46,316][TabMig[16:51:45.680].E0]DataExtractor.loggingTabAndColInfo()(532) table name : DBTECH.BOARD
 INFO[16:51:46,316][TabMig[16:51:45.680].E0]DataExtractor.loggingTabAndColInfo()(538) columns [6] - "NO" "EMPNO" "TITLE" "REGDATE" "HIT" "CONTENTS" 
 INFO[16:51:46,318][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(93) TabMig[16:51:45.680].E0 - sql : SELECT '0', t."NO", t."EMPNO", t."TITLE", t."REGDATE", t."HIT", t."CONTENTS" FROM DBTECH.BOARD t
 INFO[16:51:46,327][TabMig[16:51:45.680]]TableMigrator.migrate()(536) start loading thread...
 INFO[16:51:46,328][TabMig[16:51:45.680]]DataLoader.setRemainThr()(85) Set Remain Threads [0], to [1]
 INFO[16:51:46,332][L0]TbDPLDataLoader.setDirPathStream()(525) DPL Loading Information
 INFO[16:51:46,332][L0]TbDPLDataLoader.setDirPathStream()(526) table name : dbtech.board
 INFO[16:51:46,332][L0]TbDPLDataLoader.setDirPathStream()(532) columns [6] - "NO" "EMPNO" "TITLE" "REGDATE" "HIT" "CONTENTS" 
 INFO[16:51:46,337][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(282) 
  Total Extract Time : 20ms
  Time For Putting Row on Queue : 0ms
  Time For Executing Query Time : 12ms
  Time For Executing Fetch Time : 4ms
  Percentage of Query and Fetch => 80.00%
 INFO[16:51:46,337][TabMig[16:51:45.680].E0]OracleDataExtractor.run()(283) TOTAL Extracted ROWS: 5 (source schema = DBTECH, source table = BOARD)
 INFO[16:51:46,338][TabMig[16:51:45.680]]TableMigrator.migrate()(580) Extractor termFlag : [true], isError : [false]
 INFO[16:51:46,338][TabMig[16:51:45.680].E0]DataExtractor.setTermFlag()(543) Set termFlag and isError : [false]
 INFO[16:51:46,338][TabMig[16:51:45.680].E0]DataExtractor.setTermFlag()(544) complete
 INFO[16:51:46,354][L0.TbDPLDataLoader0]DataLoaderManager.run()(47) run
 INFO[16:51:46,361][L0.TbDPLDataLoader0]DataLoaderManager.run()(240)  Total Insert Time : 29ms
  Time For Taking Row From Queue: 0ms
  Time For Executing Batch : 4ms
  Time For Executing Commit : 2ms
  Percentage of Batch and Commit Time => 20.69%
 INFO[16:51:46,361][L0.TbDPLDataLoader0]DataLoaderManager.run()(242) [L0.TbDPLDataLoader0]1700121106361 TOTAL Loaded ROWS: 5 (target schema = dbtech, target table = board)
 INFO[16:51:46,374][TabMig[16:51:45.680]]TableMigrator.migrate()(613) Loader remainThr : [0], isError : [false]
 INFO[16:51:46,374][L0.TbDPLDataLoader0]DataLoader.finish()(80) Decrement remainThr : [0] and isError : [false]
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.resetThrs()(1359) terminate extract thread...1
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.resetThrs()(1373) terminate loader thread...1
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.migrate()(627) [VERIFICATION] Source Info : dbtech.board : 5 Rows, Target Info : dbtech.board : 5 Rows [OK]
 INFO[16:51:46,375][TabMig[16:51:45.680]]TableMigrator.migrate()(686) extract conneciton close
 INFO[16:51:46,377][TabMig[16:51:45.680]]TableMigrator.migrate()(695) loader connection close
 INFO[16:51:46,377][TabMig[16:51:45.680]]TableMigrator.migrate()(705) Elapsed Time (milliseconds) : 697
 INFO[16:51:46,377][TabMig[16:51:45.680]]TableMigrator.migrate()(707) End Migration

전환

대용량 이관

개요

대용량 데이터 이관 예제

Table Migrator 예제

성능 개선 방법

SQL 변환 및 전환

개요

특징

수행 방법

1. 압축 파일 해제

DB 파라미터 지정

파라미터 예시

Source 접속 정보 관련

수행 예제

대용량 이관

개요

데이터 이관 지원 방식

데이터 이관 시 고려 사항

주요 용어

CPL (Conventional Path Loading) 컬럼 데이터를 읽어 컬럼 배열에 담고 일괄 처리 방식으로 데이터를 로드하는 방법입니다.

DPL (Direct Path Loading) 특정 컬럼의 데이터 타입에 맞게 데이터를 컬럼 배열 형태로 만든 다음 블록 형식기를 거쳐 로드하는 방법으로, 아래와 같은 제약 사항이 있습니다.

DOP (Degree Of Parallelism) 병렬도라고 하며, 단일 병렬 작업에서 사용되는 병렬 실행 서버의 수입니다.

안내서 구성

문서 다운로드

전환

수행 방법

1. 압축 파일 해제

성능 개선 방법

2. migrator.sh 수정 (또는 .bat)

3. Table Migrator 수행

명령 프롬프트에서 파라미터 지정 실행

컨트롤 파일 지정 실행

Conventional Path Load 방식으로 이관할 경우

인덱스가 생성된 테이블에 데이터를 Upload할 경우

SQL 변환 및 전환

개요

특징

사전 준비사항

유의사항

안내서 구성

문서 다운로드

대용량 데이터 이관 예제

Table Migrator 예제

수행 예제

DB Link 예제

tbLoader 예제

1. 테스트 환경 구성

2. 전환 수행

DB 파라미터 지정

파라미터 예시

Source 접속 정보 관련

Target 접속 정보 관련

데이터 Extractor 관련

데이터 Loader 관련

POSTGRESQL 관련

일반 설정