. ./setenv.sh `pwd`
OPENSQL_INSTALL_HOME is set to: /home/opensql3.0-rockylinux9.4-pg16.8
OPENSQL_HOME is set to: /home/opensql
OPENSQL_HOME added to /home/opensql/.bashrc

./install.sh barman

$ barman --version
3.11.1 Barman by EnterpriseDB (www.enterprisedb.com)

. ./setenv.sh `pwd`
OPENSQL_INSTALL_HOME is set to: /home/opensql3.0-rockylinux9.4-pg16.8
OPENSQL_HOME is set to: /home/opensql
OPENSQL_HOME added to /home/opensql/.bashrc 

sudo -E ./install.sh patroni

[root@396dd54381db scripts]$ patroni --version
patroni 4.0.5

[root@396dd54381db scripts]$ patronictl version
patronictl version 4.0.5

[root@5c9e5c6ae5f2 openproxy]# ls
openproxy  openproxy.service  openproxy.toml

. ./setenv.sh `pwd`
OPENSQL_INSTALL_HOME is set to: /home/opensql3.0-rockylinux9.4-pg16.8
OPENSQL_HOME is set to: /home/opensql
OPENSQL_HOME added to /home/opensql/.bashrc

./install.sh openproxy

[root@5c9e5c6ae5f2 openproxy]# openproxy --version
openproxy 1.1.0

./create_user.sh <password>

export OPENSQL_HOME="path/to/install"
export PG_HOME="path/to/pg"
export PG_DATA_DIR="path/to/pg_data"

. ./setenv.sh `pwd`
OPENSQL_INSTALL_HOME is set to: /home/opensql3.0-rockylinux9.4-pg16.8

sudo -E ./install.sh postgresql

$ $PG_HOME/bin/pg_config 
BINDIR = /usr/pgsql-16/bin
DOCDIR = /usr/pgsql-16/doc
HTMLDIR = /usr/pgsql-16/doc/html
INCLUDEDIR = /usr/pgsql-16/include
PKGINCLUDEDIR = /usr/pgsql-16/include
INCLUDEDIR-SERVER = /usr/pgsql-16/include/server
LIBDIR = /usr/pgsql-16/lib
PKGLIBDIR = /usr/pgsql-16/lib
LOCALEDIR = /usr/pgsql-16/share/locale
MANDIR = /usr/pgsql-16/share/man
SHAREDIR = /usr/pgsql-16/share
SYSCONFDIR = /etc/sysconfig/pgsql
PGXS = /usr/pgsql-16/lib/pgxs/src/makefiles/pgxs.mk
CONFIGURE =  '--enable-rpath' '--prefix=/usr/pgsql-16' '--includedir=/usr/pgsql-16/include' '--mandir=/usr/pgsql-16/share/man' '--datadir=/usr/pgsql-16/share' '--libdir=/usr/pgsql-16/lib' '--with-lz4' '--with-zstd' '--enable-tap-tests' '--with-icu' '--with-llvm' '--with-perl' '--with-python' '--with-tcl' '--with-tclconfig=/usr/lib64' '--with-openssl' '--with-pam' '--with-gssapi' '--with-includes=/usr/include' '--with-libraries=/usr/lib64' '--enable-nls' '--enable-dtrace' '--with-uuid=e2fs' '--with-libxml' '--with-libxslt' '--with-ldap' '--with-selinux' '--with-systemd' '--with-system-tzdata=/usr/share/zoneinfo' '--sysconfdir=/etc/sysconfig/pgsql' '--docdir=/usr/pgsql-16/doc' '--htmldir=/usr/pgsql-16/doc/html' 'CFLAGS=-O2 -flto=auto -ffat-lto-objects -fexceptions -g -grecord-gcc-switches -pipe -Wall -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -Wp,-D_GLIBCXX_ASSERTIONS -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -fstack-protector-strong -specs=/usr/lib/rpm/redhat/redhat-annobin-cc1 -m64 -march=x86-64-v2 -mtune=generic -fasynchronous-unwind-tables -fstack-clash-protection -fcf-protection' 'LDFLAGS=-Wl,--as-needed' 'LLVM_CONFIG=/usr/bin/llvm-config-64' 'CLANG=/usr/bin/clang' 'PKG_CONFIG_PATH=:/usr/lib64/pkgconfig:/usr/share/pkgconfig'
CC = gcc
CPPFLAGS = -D_GNU_SOURCE -I/usr/include/libxml2 -I/usr/include
CFLAGS = -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Werror=vla -Wendif-labels -Wmissing-format-attribute -Wimplicit-fallthrough=3 -Wcast-function-type -Wshadow=compatible-local -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -Wno-format-truncation -Wno-stringop-truncation -O2 -flto=auto -ffat-lto-objects -fexceptions -g -grecord-gcc-switches -pipe -Wall -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -Wp,-D_GLIBCXX_ASSERTIONS -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -fstack-protector-strong -specs=/usr/lib/rpm/redhat/redhat-annobin-cc1 -m64 -march=x86-64-v2 -mtune=generic -fasynchronous-unwind-tables -fstack-clash-protection -fcf-protection
CFLAGS_SL = -fPIC
LDFLAGS = -Wl,--as-needed -L/usr/lib64 -L/usr/lib64 -Wl,--as-needed -Wl,-rpath,'/usr/pgsql-16/lib',--enable-new-dtags
LDFLAGS_EX = 
LDFLAGS_SL = 
LIBS = -lpgcommon -lpgport -lselinux -lzstd -llz4 -lxslt -lxml2 -lpam -lssl -lcrypto -lgssapi_krb5 -lz -lreadline -lm 
VERSION = PostgreSQL 16.8

; Main configuration file

[barman] # 글로벌 환경 구성, OS 사용자 이름 및 barman 데이터와 로그를 저장할 경로 등을 지정

; System user
barman_user = barman
configuration_files_directory = /etc/barman.d

; Main directory
barman_home = /var/lib/barman

log_file = /var/log/barman/barman.log
log_level = INFO

[opensql] # 서버 이름
cluster = opensql   # 후술할 모듈들과 같은 구성임을 나타내기 위한 태그
conninfo = host=node1 port=5432 user=opensql dbname=opensql
streaming_conninfo = host=node1 port=5432 user=opensql_streaming dbname=opensql
backup_method = postgres
streaming_archiver = on
slot_name = barman

; conninfo 사용자 권한 요구사항
; user=opensql          : pg_monitor 또는 superuser 권한 필요
; user=opensql_streaming: REPLICATION 권한 필요
; pg_hba.conf에서 barman 호스트의 접근을 허용해야 합니다.

[pg-1]    # 모델 이름, Patroni REST API에서 제공하는 멤버 이름과 일치해야 함
cluster = opensql   # 이 모델이 종속된 서버를 구분하기 위한 태그
model = true        # 서버 정의가 아닌, 서버에 종속되어 일부 옵션을 오버라이딩 하는 '모델'임을 명시
conninfo = host=node1 port=5432 user=opensql dbname=opensql
streaming_conninfo = host=node1 port=5432 user=opensql_streaming dbname=opensql

[pg-2]    # 모델 이름, Patroni REST API에서 제공하는 멤버 이름과 일치해야 함
cluster = opensql   # 이 모델이 종속된 서버를 구분하기 위한 태그
model = true        # 서버 정의가 아닌, 서버에 종속되어 일부 옵션을 오버라이딩 하는 '모델'임을 명시
conninfo = host=node2 port=5432 user=opensql dbname=opensql
streaming_conninfo = host=node2 port=5432 user=opensql_streaming dbname=opensql

[pg-3]    # 모델 이름, Patroni REST API에서 제공하는 멤버 이름과 일치해야 함
cluster = opensql   # 이 모델이 종속된 서버를 구분하기 위한 태그
model = true        # 서버 정의가 아닌, 서버에 종속되어 일부 옵션을 오버라이딩 하는 '모델'임을 명시
conninfo = host=node3 port=5432 user=opensql dbname=opensql
streaming_conninfo = host=node3 port=5432 user=opensql_streaming dbname=opensql

$ pip install -r requirements.txt

# 셸에서 직접 실행하고자 하는 경우
## Barman을 실행할 수 있는 권한이 있는 사용자여야 한다.
## Barman 기본 환경 설정의 [barman] 섹션 barman_user 필드
$ python3 server.py &

# systemd 서비스로 등록하는 경우
## barman-agent 실행파일과 config.yml 파일의 경로는 systemd 서비스 파일에 정의된 기본값이다.
## 필요에 따라 해당 파일들의 경로 또는 실행할 사용자를 서비스 파일을 수정하여 변경할 수 있다.
$ sudo chmod 755 server.py
$ sudo cp server.py /usr/local/bin/barman-agent

$ sudo cp config.yml /var/lib/barman/config.yml  

$ sudo cp barman-agent.service /usr/lib/systemd/system/.
$ sudo systemctl daemon-reload
$ sudo systemctl enable barman-agent
$ sudo systemctl start barman-agent

listen: "192.168.0.100"   ## Optional. 바인딩할 인터페이스 주소. 기본값: 0.0.0.0 (모든 인터페이스 허용)
port: 8080                ## Optional. 바인딩할 TCP 포트 번호. 기본값: 8080
cluster: opensql          ## 필수. /etc/barman.d/opensql.conf 의 서버 이름([opensql])과 일치해야 합니다.
patroni:                  ## 필수. Patroni 노드들의 REST API 엔드포인트를 리스트로 입력합니다.
  - node1:8008
  - node2:8008
  - node3:8008

$ barman receive-wal opensql ## Foreground 프로세스로 receive-wal 시작
Starting receive-wal for server opensql

$ barman cron                ## barman receive-wal 을 실행하는 Cron Job을 등록
Starting WAL archiving for server opensql
Starting streaming archiver for server opensql

$ which barman   ## barman 실행 파일 경로 확인
/usr/local/bin/barman

$ crontab -e -u barman
## 아래 내용 추가 (경로는 위 which barman 결과로 대체)
* * * * * /usr/local/bin/barman cron

$ barman check opensql

# /etc/patroni/patroni.yml
scope: opensql
name: postgresql0
restapi:
  listen: 0.0.0.0:8008
  connect_address: 192.168.0.1:8008
etcd3:
  protocol: http
  hosts:
  - 192.168.0.1:2379
  - 192.168.0.2:2379
  - 192.168.0.3:2379
bootstrap:
  # This section will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
  # and all other cluster members will use it as a `global configuration`.
  # WARNING! If you want to change any of the parameters that were set up
  # via `bootstrap.dcs` section, please use `patronictl edit-config`!
  dcs:
    ttl: 30
    loop_wait: 10
    retry_timeout: 10
    maximum_lag_on_failover: 1048576
    failsafe_mode: true
    postgresql:
      use_pg_rewind: true
      parameters:
#        wal_level: hot_standby
#        hot_standby: "on"
        max_connections: 100
        max_worker_processes: 8
#        wal_keep_segments: 8
#        max_wal_senders: 10
#        max_replication_slots: 10
#        max_prepared_transactions: 0
#        max_locks_per_transaction: 64
#        wal_log_hints: "on"
#        track_commit_timestamp: "off"
#        archive_mode: "on"
#        archive_timeout: 1800s
#        archive_command: mkdir -p ../wal_archive && test ! -f ../wal_archive/%f && cp %p ../wal_archive/%f
#      recovery_conf:
#        restore_command: cp ../wal_archive/%f %p

  # some desired options for 'initdb'
  initdb:  # Note: It needs to be a list (some options need values, others are switches)
  - encoding: UTF8
  - data-checksums

  post_bootstrap: /home/opensql/scripts/post_bootstrap.sh # $OPENSQL_HOME/scripts/post_bootstrap.sh

postgresql:
  listen: 0.0.0.0:5432
  connect_address: 192.168.0.1:5432
  proxy_address: 192.168.0.1:6432  # The address of connection pool (e.g.,openproxy) running next to Patroni/Postgres. Only for service discovery.
  data_dir: /home/opensql/data    # 
  bin_dir: /home/opensql/bin       # 
#  config_dir:
  pgpass: /tmp/pgpass0
  authentication:
    replication:
      username: patroni_repl
      password: patroni_repl
    superuser:
      username: postgres
      password: postgres
    rewind:  # Has no effect on postgres 10 and lower
      username: patroni_rewind
      password: patroni_rewind
  pg_hba:
    - local all all trust
    - host replication patroni_repl all md5
    - host all all all md5
  parameters:
    log_line_prefix: '%m [%r] [%u] [%a]'

tags:
  noloadbalance: false
  clonefrom: false
  nostream: false

# /etc/patroni/patroni.yml
scope: opensql
name: postgresql0
restapi:
  listen: 0.0.0.0:8008
  connect_address: 192.168.0.1:8008
etcd3:
  protocol: http
  hosts:
  - 192.168.0.1:2379
  - 192.168.0.2:2379
  - 192.168.0.3:2379
bootstrap:
  # This section will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
  # and all other cluster members will use it as a `global configuration`.
  # WARNING! If you want to change any of the parameters that were set up
  # via `bootstrap.dcs` section, please use `patronictl edit-config`!
  dcs:
    ttl: 30
    loop_wait: 10
    retry_timeout: 10
    maximum_lag_on_failover: 1048576
    failsafe_mode: true
    postgresql:
      use_pg_rewind: true
      parameters:
#        wal_level: hot_standby
#        hot_standby: "on"
        max_connections: 100
        max_worker_processes: 8
#        wal_keep_segments: 8
#        max_wal_senders: 10
#        max_replication_slots: 10
#        max_prepared_transactions: 0
#        max_locks_per_transaction: 64
#        wal_log_hints: "on"
#        track_commit_timestamp: "off"
#        archive_mode: "on"
#        archive_timeout: 1800s
#        archive_command: mkdir -p ../wal_archive && test ! -f ../wal_archive/%f && cp %p ../wal_archive/%f
#      recovery_conf:
#        restore_command: cp ../wal_archive/%f %p

  # some desired options for 'initdb'
  initdb:  # Note: It needs to be a list (some options need values, others are switches)
  - encoding: UTF8
  - data-checksums

  post_bootstrap: /home/opensql/scripts/post_bootstrap.sh # $OPENSQL_HOME/scripts/post_bootstrap.sh

postgresql:
  listen: 0.0.0.0:5432
  connect_address: 192.168.0.1:5432
  proxy_address: 192.168.0.1:6432  # The address of connection pool (e.g.,openproxy) running next to Patroni/Postgres. Only for service discovery.
  data_dir: /home/opensql/data    # 
  bin_dir: /home/opensql/bin       # 
#  config_dir:
  pgpass: /tmp/pgpass0
  authentication:
    replication:
      username: patroni_repl
      password: patroni_repl
    superuser:
      username: postgres
      password: postgres
    rewind:  # Has no effect on postgres 10 and lower
      username: patroni_rewind
      password: patroni_rewind
  pg_hba:
    - local all all trust
    - host replication patroni_repl all md5
    - host all all all md5
  parameters:
    log_line_prefix: '%m [%r] [%u] [%a]'

tags:
  noloadbalance: false
  clonefrom: false
  nostream: false

$ patroni $OPENSQL_HOME/etc/patroni.yml

postgres@opensql3:~$ patronictl -c $OPENSQL_HOME/etc/patroni.yml list
+ Cluster: cluster (7488929455988801618) ------+----+-----------+
| Member   | Host        | Role    | State     | TL | Lag in MB |
+----------+-------------+---------+-----------+----+-----------+
| patroni1 | 192.168.0.1 | Replica | streaming |  1 |         0 |
| patroni2 | 192.168.0.2 | Replica | streaming |  1 |         0 |
| patroni3 | 192.168.0.3 | Leader  | running   |  1 |           |
+----------+-------------+---------+-----------+----+-----------+

# $OPENSQL_HOME/etc/etcd.env 
# mandatory configuration
ETCD_NAME=<ETCD_NODE_NAME>

# Initial cluster configuration
ETCD_INITIAL_CLUSTER=<ETCD_NODE_NAME>=http://<NODE1_IP>:2380,<ETCD_NODE_NAME2>=http://<NODE2_IP>:2380, ...
ETCD_INITIAL_CLUSTER_STATE=new
ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster

# Peer configuration
ETCD_INITIAL_ADVERTISE_PEER_URLS=http://<NODE_IP>:2380
ETCD_LISTEN_PEER_URLS=http://<NODE_IP>:2380

# Client/server configuration
ETCD_ADVERTISE_CLIENT_URLS=http://<NODE_IP>:2379
ETCD_LISTEN_CLIENT_URLS=http://<NODE_IP>:2379,http://127.0.0.1:2379

#data dir
ETCD_DATA_DIR=/opensql/etc/etcd

#$OPENSQL_HOME/etc/etcd.env
## 이 서버의 etcd 노드 이름을 node1 로 지정
ETCD_NAME=node1

## 클러스터의 모든 etcd 노드 이름과 접근 가능한 peer url을 설정
ETCD_INITIAL_CLUSTER=node1=http://172.176.0.2:2380,node2=http://172.176.0.3:2380,node3=http://172.176.0.4:2380
ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster1
## 초기 클러스터 구성 시에는 3 노드 모두 'new' 로 설정하고 동작. 이후 existing으로 수정.
ETCD_INITIAL_CLUSTER_STATE=new

## etcd 노드간 통신하기 위해 사용하는 peer url을 지정. 기본 port는 2380임
ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.176.0.2:2380
ETCD_LISTEN_PEER_URLS=http://172.176.0.2:2380

# Client/server configuration
ETCD_ADVERTISE_CLIENT_URLS=http://172.176.0.2:2379
ETCD_LISTEN_CLIENT_URLS=http://172.176.0.2:2379,http://127.0.0.1:2379

# data dir
ETCD_DATA_DIR=/opensql/lib/etcd

$ sudo vim /usr/lib/systemd/system/etcd.service

[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd-member.service
Conflicts=etcd2.service

[Service]
EnvironmentFile=/etc/etcd/etcd.env
ExecStart=/usr/bin/etcd
Type=notify
TimeoutStartSec=0
Restart=on-failure
RestartSec=5s
LimitNOFILE=65536
Nice=-10
IOSchedulingClass=best-effort
IOSchedulingPriority=2
MemoryLow=200M

[Install]
WantedBy=multi-user.target

$ sudo systemctl daemon-reload

$ sudo systemctl enable etcd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/etcd.service to /usr/lib/systemd/system/etcd.service.

$ sudo systemctl start etcd.service

## 서비스를 중지하는 예시
$ sudo systemctl stop etcd.service

## 서비스를 재시작하는 예시
$ sudo systemctl restart etcd.service

$ sudo systemctl status -l etcd
● etcd.service - etcd
   Loaded: loaded (/usr/lib/systemd/system/etcd.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2025-03-17 16:49:45 KST; 3 weeks 2 days ago
     Docs: https://github.com/coreos/etcd
 Main PID: 4763 (etcd)
   CGroup: /system.slice/etcd.service
           └─4763 /usr/bin/etcd

Apr 09 17:46:30 node2 etcd[4763]: {"level":"warn","ts":"2025-04-09T17:46:30.542+0900","caller":"etcdserver/util.go:170","msg":"apply request took too long","took":"402.056395ms","expected-duration":"100ms","prefix":"read-only range ","request":"key:\"/service/opensql/\" range_end:\"/service/opensql\" ","response":"range_response_count:9 size:6173"}

$ etcd --name 'node1' \
    --data-dir '/var/lib/etcd' \
    --initial-cluster 'node1=http://172.18.0.2:2380,node2=http://172.18.0.3:2380,node3=http://172.18.0.4:2380' \
    --initial-cluster-token 'etcd-cluster1'
    --initial-cluster-state 'new'

$ etcdctl member list -w=table
+------------------+---------+-------+----------------------+-------------------------+------------+
|        ID        | STATUS  | NAME  |      PEER ADDRS      |      CLIENT ADDRS       | IS LEARNER |
+------------------+---------+-------+----------------------+-------------------------+------------+
| bfac432fd36a61d5 | started | etcd3 | http://opensql3:2380 | http://178.176.0.3:2379 |      false |
| c41cad57348d886f | started | etcd2 | http://opensql2:2380 | http://178.176.0.2:2379 |      false |
| dc3ff6e1d56a1012 | started | etcd1 | http://opensql1:2380 | http://178.176.0.4:2379 |      false |
+------------------+---------+-------+----------------------+-------------------------+------------+

[로컬 설치]                             
node1에서 직접 실행                     
  python3 opensql_local_installer.py          
                                              
node2에서 직접 실행                            
  python3 opensql_local_installer.py           

node3에서 직접 실행
  python3 opensql_local_installer.py
  
  
[원격 설치]
python3 opensql_remote_installer.py
│  SSH
├──────▶ node1
├──────▶ node2
└──────▶ node3

opensql-installer/
├── opensql_local_installer.py   # 로컬 설치 스크립트
├── opensql_remote_installer.py  # 원격 설치 스크립트
├── config/                      # 설정 디렉토리
│   ├── common.env               # 공통 설정 (로컬/원격 공통, 필수 수정)
│   ├── remote.env               # 원격 설치 전용 설정 (원격 설치 시 필수 수정)
│   ├── etcd.config.env          # etcd 전용 옵션
│   ├── patroni.config.env       # Patroni/PostgreSQL 전용 옵션
│   ├── openproxy.config.env     # OpenProxy 전용 옵션
│   ├── etcd.env                 # etcd 환경변수 템플릿 
│   ├── etcd.service             # etcd 서비스 파일 템플릿 
│   ├── patroni.yml              # Patroni 설정 템플릿 
│   ├── openproxy.toml           # OpenProxy 설정 템플릿 
│   └── openproxy.service        # OpenProxy 서비스 파일 템플릿 
├── licenses/                    # 노드별 라이선스 XML 배치 디렉토리 (필수 생성)
│   ├── node1_license.xml        (예시)
│   └── ...
└── src/                         # 공통 모듈 (수정 불필요)
    ├── config.py
    ├── functions.py
    └── package_requirements.json

# Rocky Linux / RHEL 설치 예시
dnf install -y openssh-clients python3 sshpass

opensql-installer/
└── licenses/
    ├── node1_license.xml
    ├── node2_license.xml   (3node, 2node-witness)
    └── node3_license.xml   (3node)

# 예시: Rocky Linux 8.10용 패키지
tar -xzf Tmax_OpenSQL_3.18.1.3_rockylinux8.10_buildtime20260223.tar.gz

Tmax_OpenSQL_3.18.1.3_rockylinux8.10_buildtime20260223/
└── opensql-installer/
    ├── opensql_local_installer.py
    ├── opensql_remote_installer.py
    └── config/
        ├── common.env       ← 로컬/원격 공통 설정 (필수 수정)
        └── remote.env       ← 원격 설치 전용 설정 (원격 설치 시 필수 수정)

# 클러스터의 모든 노드 IP (현재 노드 포함)
# 인스톨러가 현재 서버 IP와 비교하여 자신의 노드를 감지합니다.
NODE1_IP="<node1_ip>"
NODE2_IP="<node2_ip>"
NODE3_IP="<node3_ip>"

# 현재 노드의 표시 이름 (로컬 설치 시 로그에 표시됨)
NODE_NAME="<node_name>"

# OpenSQL 홈 디렉토리 (절대 경로)
# 바이너리, 데이터, 설정, 로그가 이 경로 하위에 위치합니다.
# 패키지 설치 경로는 자동으로 $OPENSQL_HOME/install 로 설정됩니다.
OPENSQL_HOME="/path/to/opensql/home"
PG_HOME="/path/to/pg/home"
PG_DATA_DIR="/path/to/pg/data"

# 현재 노드에 적용할 라이선스 파일명 (licenses/ 디렉토리 기준)
# 로컬 설치 시 필수. 원격 설치 시에는 remote.env에서 노드별로 설정합니다.
LICENSE_NAME="<license file>"

# 필수 패키지 자동 설치 (기본: false)
# AUTO_INSTALL_PREREQS=false

# OpenSQL 운영 유저/그룹 이름 (기본: opensql)
# OPENSQL_USER=opensql
# OPENSQL_GROUP=opensql

# OpenSQL 패키지 디렉토리 패턴 (기본: Tmax_OpenSQL*)
# OPENSQL_PACKAGE_PATTERN="Tmax_OpenSQL*"

# 2node-witness 모드: witness 노드의 etcd 포트 (필수)
# WITNESS_ETCD_CLIENT_PORT=2379
# WITNESS_ETCD_PEER_PORT=2380

# 노드 표시 이름 (로그에 표시됨)
NODE1_NAME="db-node1"
NODE2_NAME="db-node2"
NODE3_NAME="db-node3"

# SSH 접속 유저 (각 노드에 존재해야 함, sudo 권한 필요)
NODE1_SSH_USER="ec2-user"
NODE2_SSH_USER="ec2-user"
NODE3_SSH_USER="ec2-user"

# SSH 포트 (기본 22가 아닌 경우 명시)
NODE1_SSH_PORT="22"
NODE2_SSH_PORT="22"
NODE3_SSH_PORT="22"

# 노드별 OpenSQL 홈 디렉토리 (common.env의 OPENSQL_HOME과 다를 경우)
NODE1_OPENSQL_HOME="/home/opensql"
NODE2_OPENSQL_HOME="/home/opensql"
NODE3_OPENSQL_HOME="/home/opensql"

# 노드별 PG 디렉터리
NODE1_PG_HOME="/path/to/pg/"
NODE2_PG_HOME="/path/to/pg/"
NODE3_PG_HOME="/path/to/pg/"

# 노드별 PG_DATA 위치
NODE1_PG_DATA="/path/to/pg/data"
NODE2_PG_DATA="/path/to/pg/data"
NODE3_PG_DATA="/path/to/pg/data"

# 노드별 라이선스 파일명 (opensql-installer/licenses/ 기준)
# Patroni가 동작하는 노드에만 필요합니다.
# 2node-witness 모드의 witness(node3)는 비워둡니다.
NODE1_LICENSE_NAME="node1_license.xml"
NODE2_LICENSE_NAME="node2_license.xml"
NODE3_LICENSE_NAME="node3_license.xml"

노드별 비밀번호 (NODE{n}_PASSWORD)
  > 전체 공통 비밀번호 (COMMON_PASSWORD)
    > 대화형 입력 (실행 시 프롬프트)

python3 opensql_remote_installer.py --password "my_password"
python3 opensql_remote_installer.py --node1-password "pw1" --node2-password "pw2" --node3-password "pw3"

# 전체 공통 비밀번호
# COMMON_PASSWORD=""

# 노드별 개별 지정
# NODE1_PASSWORD=""
# NODE2_PASSWORD=""
# NODE3_PASSWORD=""

# SSH 키 경로 (기본: ~/.ssh/id_rsa_opensql)
# SSH_KEY="$HOME/.ssh/id_rsa_opensql"

# SSH 추가 옵션 (기본: StrictHostKeyChecking=no, ConnectTimeout=10)
# SSH_OPTS="-o StrictHostKeyChecking=no -o ConnectTimeout=10"

# 2node-witness 모드에서 클러스터 식별자 (기본: c1)
# CLUSTER_ID=c1

# etcd 포트 (기본: 2379/2380)
# ETCD_CLIENT_PORT=2379
# ETCD_PEER_PORT=2380

# etcd 데이터/환경 파일 경로 (비워두면 자동 설정)
# ETCD_DATA_DIR=/etc/opensql/etcd_data
# ETCD_ENV_FILE=/etc/opensql/etcd.env

# Patroni 인스턴스 이름 (기본: postgresql1/2/3)
# NODE1_PATRONI_NAME=postgresql1
# NODE2_PATRONI_NAME=postgresql2
# NODE3_PATRONI_NAME=postgresql3

# Patroni 설정 (기본값)
# PATRONI_SCOPE_BASE=opensql
# PATRONI_API_PORT=8008
# PATRONI_TTL=30
# PATRONI_LOOP_WAIT=10
# PATRONI_RETRY_TIMEOUT=10

# PostgreSQL 포트/계정 (기본값)
# PG_PORT=5432
# PG_SUPERUSER=postgres
# PG_SUPERUSER_PASSWORD=postgres
# PG_REPLICATION_USER=patroni_repl
# PG_REPLICATION_PASSWORD=patroni_repl
# PG_REWIND_USER=patroni_rewind
# PG_REWIND_PASSWORD=patroni_rewind

# OpenProxy 포트 (기본: 6432/6433)
# OPENPROXY_PORT=6432
# OPENPROXY_ADMIN_PORT=6433

# OpenProxy 동작 설정 (기본값)
# OPENPROXY_CONNECT_TIMEOUT=10000    # 클라이언트 연결 타임아웃 (밀리초)
# OPENPROXY_POOL_MODE=session        # 풀 모드: session / transaction
# OPENPROXY_DEFAULT_ROLE=primary     # 기본 라우팅: primary / replica
# OPENPROXY_QUERY_PARSER_ENABLED=false
# OPENPROXY_POOL_SIZE=10             # 풀당 최대 서버 연결 수
# OPENPROXY_DATABASE=postgres        # 연결 대상 데이터베이스명

WITNESS_ETCD_CLIENT_PORT=2379
WITNESS_ETCD_PEER_PORT=2380

NODE1_IP="192.168.1.10"
NODE2_IP=""
NODE3_IP=""

NODE_NAME="db-single"
OPENSQL_HOME="/home/opensql"
LICENSE_NAME="node1_license.xml"

NODE1_NAME="db-single"
NODE1_SSH_USER="ec2-user"
NODE1_SSH_PORT="22"
NODE1_OPENSQL_HOME="/home/opensql"
NODE1_LICENSE_NAME="node1_license.xml"

# 로컬 설치 (node1에서 직접)
cd opensql-installer
python3 opensql_local_installer.py --mode single

# 원격 설치 (제어 서버에서)
cd opensql-installer
python3 opensql_remote_installer.py --mode single

node1: Primary PostgreSQL + Patroni + etcd
node2: Standby PostgreSQL + Patroni + etcd + OpenProxy
node3: Standby PostgreSQL + Patroni + etcd + OpenProxy

# 모든 노드에서 공통
NODE1_IP="192.168.1.10"
NODE2_IP="192.168.1.11"
NODE3_IP="192.168.1.12"

OPENSQL_HOME="/home/opensql"

# node1에서 실행 시
NODE_NAME="db-primary"
LICENSE_NAME="node1_license.xml"

# node2에서 실행 시 → NODE_NAME="db-standby1", LICENSE_NAME="node2_license.xml"
# node3에서 실행 시 → NODE_NAME="db-standby2", LICENSE_NAME="node3_license.xml"

NODE1_NAME="db-primary"
NODE1_SSH_USER="ec2-user"
NODE1_SSH_PORT="22"
NODE1_OPENSQL_HOME="/home/opensql"
NODE1_LICENSE_NAME="node1_license.xml"

NODE2_NAME="db-standby1"
NODE2_SSH_USER="ec2-user"
NODE2_SSH_PORT="22"
NODE2_OPENSQL_HOME="/home/opensql"
NODE2_LICENSE_NAME="node2_license.xml"

NODE3_NAME="db-standby2"
NODE3_SSH_USER="ec2-user"
NODE3_SSH_PORT="22"
NODE3_OPENSQL_HOME="/home/opensql"
NODE3_LICENSE_NAME="node3_license.xml"

# 로컬 설치 (각 노드에서 NODE_NAME/LICENSE_NAME 변경 후 실행)
cd opensql-installer
python3 opensql_local_installer.py --mode 3node

# 원격 설치 (제어 서버에서 한 번에 실행)
cd opensql-installer
python3 opensql_remote_installer.py --mode 3node

node1: PostgreSQL + Patroni + etcd + OpenProxy
node2: PostgreSQL + Patroni + etcd + OpenProxy
node3: etcd (witness only)

# 모든 노드에서 공통
NODE1_IP="192.168.1.10"
NODE2_IP="192.168.1.11"
NODE3_IP="192.168.1.12"

OPENSQL_HOME="/home/opensql"

# witness etcd 포트 (필수 — 모든 노드에서 동일하게 설정)
WITNESS_ETCD_CLIENT_PORT=2379
WITNESS_ETCD_PEER_PORT=2380

# node1에서 실행 시
NODE_NAME="db-primary"
LICENSE_NAME="node1_license.xml"

# node2에서 실행 시 → NODE_NAME="db-standby", LICENSE_NAME="node2_license.xml"
# node3(witness)에서 실행 시 → NODE_NAME="witness", LICENSE_NAME=""

CLUSTER_ID=c1

NODE1_NAME="db-primary"
NODE1_SSH_USER="ec2-user"
NODE1_SSH_PORT="22"
NODE1_OPENSQL_HOME="/home/opensql"
NODE1_LICENSE_NAME="node1_license.xml"

NODE2_NAME="db-standby"
NODE2_SSH_USER="ec2-user"
NODE2_SSH_PORT="22"
NODE2_OPENSQL_HOME="/home/opensql"
NODE2_LICENSE_NAME="node2_license.xml"

NODE3_NAME="witness"
NODE3_SSH_USER="ec2-user"
NODE3_SSH_PORT="22"
NODE3_OPENSQL_HOME="/home/opensql"
# witness(node3)는 Patroni 없음 → LICENSE_NAME 비워둡니다.
NODE3_LICENSE_NAME=""

# 로컬 설치 (각 노드에서 NODE_NAME/LICENSE_NAME 변경 후 실행)
cd opensql-installer
python3 opensql_local_installer.py --mode 2node-witness

# 원격 설치 (제어 서버에서 한 번에 실행)
cd opensql-installer
python3 opensql_remote_installer.py --mode 2node-witness

cd opensql-installer

python3 opensql_local_installer.py --mode 3node
python3 opensql_local_installer.py --mode single
python3 opensql_local_installer.py --mode 2node-witness

cd opensql-installer

# 기본 실행 (3node, 대화형 sudo 비밀번호 입력)
python3 opensql_remote_installer.py --mode 3node

# 공통 비밀번호 지정
python3 opensql_remote_installer.py --mode 3node --password "my_password"

# 노드별 비밀번호
python3 opensql_remote_installer.py --mode 3node \
  --node1-password "pw1" \
  --node2-password "pw2" \
  --node3-password "pw3"

export OPENSQL_HOME=/home/opensql
export PATH=/home/opensql/bin:$PATH
export LD_LIBRARY_PATH=/home/opensql/lib:$LD_LIBRARY_PATH
export PGHOST=/home/opensql/tmp
export PGDATA=/home/opensql/data
export OPENSQL_LICENSE_PATH=/home/opensql/license/node1_license.xml

vi /home/opensql/.opensqlrc

# 파일 끝에 추가
export PGOPTIONS="-c log_min_duration_statement=1000"
export PGTZ="Asia/Seoul"

source ~/.opensqlrc

# etcd 서비스 상태
sudo systemctl status opensql-etcd

# Patroni 프로세스
ps aux | grep patroni

# OpenProxy 프로세스
pgrep -f openproxy

# 클러스터 상태 (opensql 유저로)
patronictl -c /home/opensql/etc/patroni.yml list

ss -tunlp | grep -E "5432|6432|6433|2379|2380|8008"

# opensql 유저로
psql -h 127.0.0.1 -p 5432 -U postgres

# OpenProxy를 통한 접속
psql -h 127.0.0.1 -p 6432 -U postgres

RuntimeError: 현재 서버 IP(x.x.x.x)가 설정된 노드 IP와 일치하지 않습니다.

ERROR: 키 등록 실패

ERROR: 필수 패키지 요건을 충족하지 않습니다.
ERROR: 누락된 필수 패키지: python3-psycopg2

ERROR: 라이선스 디렉토리를 찾을 수 없습니다: .../licenses
ERROR: 라이선스 파일을 찾을 수 없습니다: .../licenses/node1_license.xml

ERROR: 라이선스 edition을 확인할 수 없습니다.

ERROR: 라이선스 signature가 중복됩니다.

ERROR: OPENSQL_LICENSE_PATH 미설정
ERROR: OPENSQL_LICENSE_PATH 불일치 (expected=..., actual=...)

ERROR: etcd 시작 실패

ERROR: OpenProxy 프로세스가 실행되지 않았습니다.

WARN: Patroni 상태 확인 필요