基于pgpool搭建postgressql集群部署

时间:2024-02-21 12:38:33

postgresql集群搭建

基于pgpool中间件实现postgresql一主多从集群部署,这里用两台服务器作一主一从示例

虚拟机名 IP 主从划分
THApps 192.168.1.31 主节点
YY-Test-01 192.168.1.36 从节点
vip 192.168.1.100 虚拟ip

1.软件版本

系统版本 CentOS Linux release 7.9.2009 (Core)
PostgreSQL 10
pgpool-II 4.0.1

2.整体架构

Pgpool-II集群

3.安装postgresql

3.0.安装postgresql-10

# 1.更新源
网页打开:https://yum.postgresql.org/repopackages.php  
找到版本 CentOS 7 - x86_64 
右键 复制链接
# 在centos系统中运行:
	yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
    
# 2.安装postgresql
# 执行命令:
	yum update -y
# 查看postgresql源:
	yum list | grep postgresql
# 我们需要安装的是这两个: postgresql10-contrib postgresql10-server
yum install postgresql10 postgresql10-contrib postgresql10-server postgresql10-devel -y

# 3.初始化数据库 执行:
	/usr/pgsql-10/bin/postgresql-10-setup initdb

# 4.启动数据库并设置开机启动
    sudo systemctl start postgresql-10
    sudo systemctl enable postgresql-10.service

# 5.安装完毕,配置pg环境变量
	vi ~/.bash_profile
# 在PATH后添加
	/usr/pgsql-10/bin
# 比如:
	PATH=$PATH:$HOME/bin:/usr/pgsql-10/bin
# 添加完后执行:使它立即生效
	source ~/.bash_profile



3.1主节点配置

(1)创建用于主从访问的用户, 修改postgres用户的密码,用于远程登录。(切换到postgres用户操作)

su - postgres
psql
create role actorcloud login replication encrypted password \'public\';
alter role postgres with password \'postgres\';

(2)修改pg_hba.conf和postgresql.conf配置:
vim /var/lib/pgsql/10/data/pg_hba.conf在最后一行添加下面内容:

host    replication    actorcloud    192.168.1.31/32    trust
host    replication    actorcloud    192.168.1.36/32    trust
host    all    all    192.168.1.0/24    md5
host    all    all    0.0.0.0/0    md5

修改postgresql.conf配置:
vim /var/lib/pgsql/10/data/postgresql.conf

listen_addresses = \'*\' 
port = 5432 
wal_level = replica
max_wal_senders= 10
wal_keep_segments = 10240
max_connections = 512

(3)重启主节点
建议先停止,再启动,而不是重启。之后再验证一下是否启动成功

systemctl stop postgresql-10
systemctl start postgresql-10

3.2从节点配置

从节点的操作建议全部在postgres用户下进行。

(1)切换postgres用户

su - postgres

(2)对主节点的数据进行备份到从节点,其中192.168.1.31为主节点IP,actorcloud是上一节主节点创建的用户。

rm -rf /var/lib/pgsql/10/data/*
pg_basebackup -h 192.168.1.31 -U actorcloud -D /var/lib/pgsql/10/data -X stream -P

(3)拷贝recovery.conf,编辑recovery.conf内容,其中192.168.1.31对应主机IP,actorcloud是上一节主机创建的用户。

cp /usr/pgsql-10/share/recovery.conf.sample /var/lib/pgsql/10/data/recovery.conf

vim /var/lib/pgsql/10/data/recovery.conf修改配置:

standby_mode = on
primary_conninfo = \'host=192.168.1.31 port=5432 user=actorcloud password=public\' 
recovery_target_timeline = \'latest\'
trigger_file = \'/tmp/trigger_file0\'

(4)修改从节点的postgresql.conf,用于开启standby模式。

hot_standby = on

(5)退出postgres用户,重启PostgreSQL

4.验证主从

4.1查看从节点信息

在主节点切换至psql界面,输入命令:

select client_addr,sync_state from pg_stat_replication;

若从节点显示出来,如下图所示,则说明PostgreSQL集群搭建成功。

4.2读写测试

(1)在主节点写数据,从节点读数据。

create database test;
\l

在从节点上查看创建之后的数据库。可以看见,数据库同步了。

\l

5.postgres用户间免密登录

(0)关闭防火墙和SETLINUX

# 查看防火墙状态
firewall-cmd --state
# 停止firewall
systemctl stop firewalld.service
# 禁止firewall开机启动
systemctl disable firewalld.service 

# 修改/etc/selinux/config 文件
# 将
SELINUX=enforcing
# 改为
SELINUX=disabled

# 重启
reboot

以下操作两台机器同时进行:

(1)给postgres用户更改密码:密码修改为postgres

passwd postgres

(2)生成并同步密钥

以192.168.1.31为例,想要免密登录另外一台机器。先切换到postgres用户执行,ssh-keygen时一路回车往下,提升输入y时输入y,ssh-copy-id时需要输入密码。

su postgres
ssh-keygen
ssh-copy-id 192.168.1.36

测试免密登录:

ssh 192.168.1.36
ip addr

同理在192.168.1.36机器上也是相同操作

6.安装pgpool

(1)安装(两台机器都需要安装)

# 添加源
yum install http://www.pgpool.net/yum/rpms/4.0/redhat/rhel-7-x86_64/pgpool-II-release-4.0-1.noarch.rpm
 
# 安装
 yum install pgpool-II-pg10-debuginfo pgpool-II-pg10-devel  pgpool-II-pg10-extensions  pgpool-II-pg10

安装完之后pgpool的配置文件在/etc/pgpool-II/下

(2)修改配置(两台机器都需要配置)

pool_hba.conf和之前配置的PostgreSQL中的配置时一样的

vim /etc/pgpool-II/pool_hba.conf
host    replication    actorcloud    192.168.1.31/32    trust
host    replication    actorcloud    192.168.1.36/32    trust
host    all    all    192.168.1.0/24    md5
host    all    all    0.0.0.0/0    md5

(3)对postgres的密码进行加密。本文将postgres的密码设置为和用户名相同,将加密结果复制,并粘贴到pcp.conf中相应的位置,取消掉该行的注释。

pg_md5 postgres

vim /etc/pgpool-II/pcp.conf
postgres:81dc9bdb52d04dc20036dbd8313ed055

(4)执行命令(先切换到postgres用户再执行然后输入密码):

pg_md5 -m -p -u postgres pool_passwd

7.修改集群配置

以192.168.1.31主节点为例

vim /etc/pgpool-II/pgpool.conf

(1)修改监听地址,将localhost改为*,即监听所有地址发来的请求。

修改前:listen_addresses = \'localhost\'
修改后:listen_addresses = \'*\'

(2)修改backend相关参数,对应的是PostgreSQ两个节点的相关信息。

修改前:
	backend_hostname0 = \'localhost\'                           
	backend_port0 = 5432
	backend_weight0 = 1
	backend_data_directory0 = \'/var/lib/pgsql/data\'
	backend_flag0 = \'ALLOW_TO_FAILOVER\'
修改后:
	backend_hostname0 = \'192.168.1.31\'
	backend_port0 = 5432
	backend_weight0 = 1
	backend_data_directory0 = \'/var/lib/pgsql/10/data\'
	backend_flag0 = \'ALLOW_TO_FAILOVER\'
 	
    backend_hostname1 = \'192.168.1.36\'
    backend_port1 = 5432
    backend_weight1 = 1
    backend_data_directory1 = \'/var/lib/pgsql/10/data\'
    backend_flag1 = \'ALLOW_TO_FAILOVER\'

(3)pg_hba.conf生效

修改前:enable_pool_hba = off
修改后:enable_pool_hba = on

(4)使负载均衡生效

修改前:load_balance_mode = off
修改后:load_balance_mode = on

(5)主从流复制生效,并配置用于检查的用户,这个用户就用上方创建的用于主从访问的用户。

修改前:
	master_slave_mode = off
	sr_check_period = 0
	sr_check_user = \'nobody\'
	sr_check_password = \'\'
	sr_check_database = \'postgres\'
	delay_threshold = 0
修改后:
	master_slave_mode = on
	sr_check_period = 6
	sr_check_user = \'actorcloud\'
	sr_check_password = \'public\'
	sr_check_database = \'postgres\'
	delay_threshold = 10000000

(6)健康检查相关配置,并配置用于检查的用户,这个用户就用上方创建的用于主从访问的用户。

修改前:
	health_check_period = 0
	health_check_user = \'nobody\'
	health_check_password = \'\'
	health_check_database = \'\'
修改后:
	health_check_period = 10
	health_check_user = \'actorcloud\'
	health_check_password = \'public\'
	health_check_database = \'postgres\'

(7)配置主机故障触发执行的脚本。

修改前:failover_command = \'\'
修改后:failover_command = \'/var/lib/pgsql/10/failover_stream.sh %d %H\'

(8)开启开门狗,IP为本机IP

修改前:
	use_watchdog = off
	wd_hostname = \'\'
修改后:
	use_watchdog = on
	wd_hostname = \'192.168.1.31\'

(9)开启虚拟IP,并修改网卡信息。启动后直接使用虚拟IP进行数据库操作剧哦

修改前:
	delegate_IP = \'\'
	if_up_cmd = \'ip addr add $_IP_$/24 dev eth0 label eth0:0\'
	if_down_cmd = \'ip addr del $_IP_$/24 dev eth0\'
	arping_cmd = \'arping -U $_IP_$ -w 1 -I eth0\'
修改后:
	delegate_IP = \'192.168.1.100\'
	if_up_cmd = \'ip addr add $_IP_$/24 dev ens192 label ens192:0\'
	if_down_cmd = \'ip addr del $_IP_$/24 dev ens192\'
	arping_cmd = \'arping -U $_IP_$ -w 1 -I ens192\'

上方把所有eth0改为了ens192,ens192是该主机的网卡设备名称,可通过命令ip addr查看

(10)心跳检查的配置与看门狗配置。IP为从节点的IP

修改前:
	heartbeat_destination0 = \'host0_ip1\'
	heartbeat_device0 = \'\'
	#other_pgpool_hostname0 = \'host0\'
	#other_pgpool_port0 = 5432
	#other_wd_port0 = 9000
修改后:
	heartbeat_destination0 = \'192.168.1.36\'
	heartbeat_device0 = \'ens192\'
	other_pgpool_hostname0 = \'192.168.1.36\'
	other_pgpool_port0 = 9999
	other_wd_port0 = 9000

以上,是主节点的配置。对于从节点,只有(8)和(10)的IP需要更改,其他的一致。

8.编写故障切换脚本

vim /var/lib/pgsql/10/failover_stream.sh
内容为:

#! /bin/sh
# Failover command for streaming replication.
# Arguments: $1: new master hostname.
failed_node=$1
new_master=$2
trigger_file=$3
# Do nothing if standby goes down.
if [ $failed_node = 1 ]; then
exit 0;
fi
# Create the trigger file.
# use commond 
/usr/bin/ssh -T $new_master /usr/pgsql-10/bin/pg_ctl promote -D /var/lib/pgsql/10/data/
# use file
# /usr/bin/ssh -T $new_master  /bin/touch /tmp/trigger_file0
exit 0

9.文件权限更改

chmod u+s /sbin/ifconfig &&chmod u+s /usr/sbin

chown postgres:postgres /var/lib/pgsql/10/failover_stream.sh && chmod 777 /var/lib/pgsql/10/failover_stream.sh

chown -R postgres.postgres /etc/pgpool-II

mkdir /var/log/pgpool

chown -R postgres.postgres /var/log/pgpool

mkdir /var/run/pgpool

chown -R postgres.postgres /var/run/pgpool

10.运行pgpool

# 启动
systemctl start pgpool
# 开机自启
systemctl enable pgpool

登录虚拟ip查看集群节点。以后所有的操作均可通过连接虚拟IP操作数据库。

psql -p 9999 -h 192.168.1.100 -U postgres
show pool_nodes;

至此,基于 Pgpool-II 中间件的 PostgreSQL 集群搭建完成。