前言

核心组件

1. canal-instance

2. canal-server（有些地方又称作 canal-deployer）

3. canal-admin

4. canal-client/canal-client-adapter

canal-instance

canal-server（canal-deployer）

• TCP模式：canal-server会启动一个netty-server，客户端需要通过对应的协议去直接消费store里的数据

• MQ模式：canal-server会启动一个隐式的client来消费store里的数据，并转存到MQ里

canal-admin

canal-client

1. TCP模式：通过自定义的tcp协议的client连接canal-server去消费

2. MQ模式：直接消费对应的MQ数据，只依赖MQ，不依赖canal

canal-client-adapter

部署Canal同步链路的最佳实践

1. 保证了监听及解析binlog的准确性，防止丢失

2. 保证了canal-server以及MQ模式下内置client的高可用

3. 增加了kafka作为消息队列，防止消费速度过慢对canal-server带来的影响，也把消费逻辑和canal-server解耦了

物理组件

• canal-admin

• canal-server

• zookeeper

• kafka

• canal-client-adapter

部署模式

1. 我们需要在配置文件中指定canal-admin的地址来启动canal-server。使用这种方式启动，后续可以通过canal-admin来统一管理canal-server和canal-instance的配置，并且修改后可以动态生效。

2. 我们需要以MQ模式启动canal-server，并指定对应的mq类型，这里使用的是kafka，当然你也可以使用rocketmq等。再配置上指定的mq对应的配置

1. 保证canal-server、MQ模式下内置client的高可用

2. 保证同一个canal-instance同一时间就只能在一台canal-server上运行（当然这个也可能会有意外）

3. 记录canal-client消费store的消费进度

部署流程

部署zookeeper、kafka

启动canal-admin

Canal Admin QuickStart

阿里巴巴 MySQL binlog 增量订阅&消费组件 . Contribute to alibaba/canal development by creating an account on GitHub.

https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart

1. 添加一个集群，一个集群代表一组canal-server，集群内部保证高可用

2. 为这个集群添加一个主配置文件（通过载入模板再微调一下即可），这个集群里的所有canal-server都共享这个配置文件。需要调整的配置项为

// zk地址
canal.zkServers = ${zk.addr}
// 模式 tcp or 对应mq
canal.serverMode = kafka
// 使用kafka，要填上kafka的链接信息
kafka.bootstrap.servers = ${kafka.addr}

启动canal-server

• 常规：使用canal.properties启动

• local：使用canal_local.properties启动

• debug：使用debug相关参数启动

添加canal-instance

canal.instance.master.address=127.0.0.1:3307
canal.instance.dbUsername=root
canal.instance.dbPassword=123456
// 需要订阅的表名
canal.instance.filter.regex=api_test.tag,test.z,api_test.student
// 也可以全部订阅
# canal.instance.filter.regex=.*\\..*

部署canal-client-adapter

总结