canal_mysql_nosql_sync:基于canal的mysql与redismemcachedmongodb的nosql数据实时同步方案案例demo canal client

时间:2021-02-03 21:58:13
【文件属性】:
文件名称:canal_mysql_nosql_sync:基于canal的mysql与redismemcachedmongodb的nosql数据实时同步方案案例demo canal client
文件大小:9.5MB
文件格式:ZIP
更新时间:2021-02-03 21:58:13
mysql sync binlog canal canal-mysql 下图是最基本的web服务器的结构图。 基于Canal的MySql RabbitMQ Redis / memcached / mongodb的nosql同步(多读,nosql延迟不严格需求) 1.mysql主从配置 2.对mysql binlog(row) parser 这一步交给canal 3.MQ对解析后binlog增量数据的推送 4.对MQ数据的消费(接收+数据解析,考虑消费速度,MQ队列的阻塞) 5.数据写入/修改到nosql (redis的主从/hash分片) 6.保证对应关系的简单性:一个mysql表对应一个 redis实例(redis单线程,多实例保证分流不阻塞),关联关系数据
【文件预览】:
canal_mysql_nosql_sync-master
----python_sync_nosql()
--------meta.log(43B)
--------queue_rabbitmq.py(1KB)
--------sync_redis.py(4KB)
--------.DS_Store(6KB)
--------config.py(1KB)
--------__pycache__()
--------startup.py(307B)
--------get_file.py(2KB)
--------sync_mongo.py(3KB)
--------config.pyc(478B)
----.DS_Store(8KB)
----README.md(11KB)
----canal-client()
--------data()
--------canal_client.jar(10KB)
--------src()
--------bin()
--------.classpath(3KB)
--------.DS_Store(10KB)
--------.settings()
--------README.md(187B)
--------.project(371B)
--------lib()
--------conf()
--------start_canal_client.sh(370B)
----img()
--------system-image.png(279KB)
--------.DS_Store(6KB)
--------redis-hash.png(79KB)
--------canal-mysql-nosql.png(157KB)
--------mongo.png(65KB)

网友评论