PostgreSQL Replication之第十一章 使用Skytools(4)

时间:2021-09-12 20:58:50

11.4 使用 londiste 复制数据

pgq是一个叫做londiste的复制工具的核心。londiste 的核心是有一个比如比Slony 更加简单,容易使用的机制。如果您在一个大的安装中使用Slony,在集群方面的一个问题很容易引起其他方面的问题—在许多年前,但Slony还是相当新的时候,这尤其是如此。

和Slony相比,londiste的主要优势是,在londiste的情况下,每个“程序”复制就会有一个进程。所以,如果您从A复制到B,这个通道将被一个londiste进程管理。如果您从B复制到A或者从A复制到C,将会有这些独立的进程,这些进程相互之间都是彼此独立的。所有的从A到其它地方的通道可能共享一个接收者的队列,但是,传输进程之间不会相互交互。使用这种方法有些好处,因为如果一个组件出现故障,它不太可能导致其它问题—这不是所有进程交互的情况,因为这是Slony 的情况。对我来说这是londiste和Slony相比最关键的优势。

11.4.1 复制我们的第一个表

在这个理论的介绍之后,我们就可以向前继续,复制我们的第一个 表。要做到这一点,我们在同一个实例中创建两个数据库(这些数据库是否在同一个实例或者相距甚远并没有什么区别):

hs@hs-VirtualBox:~$ createdb node1

hs@hs-VirtualBox:~$ createdb node2

就像以前一样,我们将创建两个数据库中的表:

node1=# CREATE TABLE t_test (id int4, name text,

t timestamp DEFAULT now(),

PRIMARY KEY (id));

NOTICE: CREATE TABLE / PRIMARY KEY will create implicit index "t_

test_pkey" for table "t_test"

CREATE TABLE

在Slony的章节中,我们已经看到了,DDL不被复制。该规则同样适用于 londiste,因为在PostgreSQL方面,这两个系统都面临这同样的限制。

在我们深入细节之前—让我们简单地总结一些复制我们的表的接下来的步骤:

• 写一个init 文件并初始化master.

• 在master上启动 londiste

• 写一个slave配置并初始化slave

• 在slave上启动londiste

• 写一个ticker 配置并启动ticker

• 添加所需要的来复制

让我们从该国过程的第一部分开始。我们必须创建一个init 文件,它应该控制master;

[londiste3]

job_name = first_table

db = dbname=node1

queue_name = replication_queue

logfile = /home/hs/log/londiste.log

pidfile = /home/hs/pid/londiste.pid

这里重要的部分是每项工作必须有一名字。这对于我们容易区分这些进程有意义。然后,我们必须定义一个到master的连接字符串,以及所以涉及的复制队列的名称。最后,我们可以配置一个PID和一个日志文件。

[每一项工作都必须有一个名字。这是要求的,因为Slony在集群上有一个单一的进程(因此,集群名称是足够的),但是londiste 的情况是每个程序有一个进程。]

要安装重要的东西,以及要初始化master节点,我们可以调用 londiste:

hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini create-root node1

dbname=node1

2013-05-15 13:37:24,902 3999 WARNING No host= in public connect

string, bad idea

2013-05-15 13:37:25,118 3999 INFO plpgsql is installed

2013-05-15 13:37:25,119 3999 INFO Installing pgq

2013-05-15 13:37:25,119 3999 INFO Reading from /usr/local/share/

skytools3/pgq.sql

2013-05-15 13:37:25,327 3999 INFO pgq.get_batch_cursor is installed

2013-05-15 13:37:25,328 3999 INFO Installing pgq_ext

2013-05-15 13:37:25,328 3999 INFO Reading from /usr/local/share/

skytools3/pgq_ext.sql

2013-05-15 13:37:25,400 3999 INFO Installing pgq_node

2013-05-15 13:37:25,400 3999 INFO Reading from /usr/local/share/

skytools3/pgq_node.sql

2013-05-15 13:37:25,471 3999 INFO Installing londiste

2013-05-15 13:37:25,471 3999 INFO Reading from /usr/local/share/

skytools3/londiste.sql

2013-05-15 13:37:25,579 3999 INFO londiste.global_add_table is

installed

2013-05-15 13:37:25,670 3999 INFO Initializing node

2013-05-15 13:37:25,674 3999 INFO Location registered

2013-05-15 13:37:25,755 3999 INFO Node "node1" initialized for queue

"replication_queue" with type "root"

2013-05-15 13:37:25,761 3999 INFO Done

在Skytools中,这里有一个简单的规则:给脚本传递的第一个脚本总是包含所需配置的INI文件。然后是一些指令以及一些参数。这个调用将安装所有需要的基础设施并返回Done。

一旦这个操作完成,我们就可以启动一个工作进程:

hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini worker

2013-05-15 13:41:31,761 4069 INFO {standby: 1}

2013-05-15 13:41:42,801 4069 INFO {standby: 1}

在master上启动了工作进程之后,我们可以看看slave的配置:

[londiste3]

job_name = first_table_slave

db = dbname=node2

queue_name = replication_queue

logfile = /home/hs/log/londiste_slave.log

pidfile = /home/hs/pid/londiste_slave.pid

这里主要的区别是,我们使用不同的连接字符串和一个不同的工作的名字。如果master和slave是两个独立的机器,剩下的将是一样。

一旦我们编译了配置,我们就可以创建叶子节点:

hs@hs-VirtualBox:~/skytools$ londiste3 slave.ini create-leaf node2

dbname=node2 --provider=dbname=node1

2013-05-15 13:51:27,090 4246 WARNING No host= in public connect

string, bad idea

2013-05-15 13:51:27,117 4246 INFO plpgsql is installed

2013-05-15 13:51:27,118 4246 INFO pgq is installed

2013-05-15 13:51:27,122 4246 INFO pgq.get_batch_cursor is installed

2013-05-15 13:51:27,122 4246 INFO pgq_ext is installed

2013-05-15 13:51:27,123 4246 INFO pgq_node is installed

2013-05-15 13:51:27,124 4246 INFO londiste is installed

2013-05-15 13:51:27,126 4246 INFO londiste.global_add_table is

installed

2013-05-15 13:51:27,205 4246 INFO Initializing node

2013-05-15 13:51:27,291 4246 INFO Location registered

2013-05-15 13:51:27,308 4246 INFO Location registered

2013-05-15 13:51:27,317 4246 INFO Subscriber registered: node2

2013-05-15 13:51:27,321 4246 INFO Location registered

2013-05-15 13:51:27,324 4246 INFO Location registered

2013-05-15 13:51:27,334 4246 INFO Node "node2" initialized for queue

"replication_queue" with type "leaf"

2013-05-15 13:51:27,345 4246 INFO Done

这里的关键是要告诉slave 从哪里找到master(提供者)。一旦系统知道从哪里找到所有的数据,我们就可以启动这里的worker了。

hs@hs-VirtualBox:~/skytools$ londiste3 slave.ini worker

2013-05-15 13:55:10,764 4301 INFO Consumer uptodate = 1

如果之前的命令已经成功运行了,这不会引起任何问题并正常工作。既然我们所有的工作都已就绪,我们可以进行最后的组件的安装—ticker进程:

[pgqd]

logfile = /home/hs/log/pgqd.log

pidfile = /home/hs/pid/pgqd.pid

ticker 的配置文件相当简单,--它所需要只有三行。这足以启动ticker 进程:

hs@hs-VirtualBox:~/skytools$ pgqd pgqd.ini

2013-05-15 14:01:12.181 4683 LOG Starting pgqd 3.1.4

2013-05-15 14:01:12.188 4683 LOG auto-detecting dbs ...

2013-05-15 14:01:12.310 4683 LOG test: pgq version ok: 3.1.3

2013-05-15 14:01:12.531 4683 LOG node1: pgq version ok: 3.1.3

2013-05-15 14:01:12.596 4683 LOG node2: pgq version ok: 3.1.3

2013-05-15 14:01:42.189 4683 LOG {ticks: 90, maint: 3, retry: 0}

2013-05-15 14:02:12.190 4683 LOG {ticks: 90, maint: 0, retry: 0}

如果ticker 已经成功启动了,我们已经把所有的基础工作完成了。到目前为止,我们配置了复制所需要的所有进程—但是,我们还没有告诉系统复制什么。

londiste 命令将为我们提供一组定义复制对象的命令。在我们的例子中,我们只是要添加所有的表并复制它们:

hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini add-table --all

2013-05-15 14:02:39,367 4760 INFO Table added: public.t_test

就像Slony一样,londiste 将安装一个触发器,它会跟踪所有的变化。这些变化将希尔到pgq队列中,并有我们已经设置的进程来调度:

node1=# \d t_test

Table "public.t_test"

Column | Type | Modifiers

--------+-----------------------------+---------------

id | integer | not null

name | text |

t | timestamp without time zone | default now()

Indexes:

"t_test_pkey" PRIMARY KEY, btree (id)

Triggers:

_londiste_replication_queue AFTER INSERT OR DELETE OR UPDATE ON t_

test FOR EACH ROW EXECUTE PROCEDURE pgq.logutriga('replication_queue')

_londiste_replication_queue_truncate AFTER TRUNCATE ON t_test FOR

EACH STATEMENT EXECUTE PROCEDURE pgq.sqltriga('replication_queue')

Skytools 和 londiste 都特别地提供了使您的生活更方便的一组丰富的附加功能。然而,记录所有这些特征恐怕要查出本书的范围。如果您要了解更多的信息,我们建议更深入地去看Skytools 源代码的文档目录。您会发现一些有意思的文档,解释了一步一步地可以做什么。