【文件属性】:
文件名称:隧道:PG数据同步工具(Java实现)
文件大小:242KB
文件格式:ZIP
更新时间:2021-02-05 22:43:03
java elasticsearch postgres sync kafka
PG数据同步工具(Java实现)
隧道是一个将postgresql的实时数据同步到es或kafka的服务
版本支持
Postgresql 9.4或更高版本
Kafka 0.8或更高版本
ElasticSearch 5.x
架构图
原理
tunnel利用pg内部的逻辑复制功能,通过在pg逻辑复制槽,接收数据库的逻辑更改,通过解析test_decoding特定格式的消息,得到逻辑数据
安装使用
打包
$ git clone https://github.com/hellobike/tunnel
$ cd tunnel
$ mvn clean package -Dmaven.test.skip=