实时数据订阅功能旨在帮助用户获取RDS MySQL、DRDS的实时增量数据,您可以根据自身业务需求自由消费增量数据,搭建/实现多种业务场景,例如缓存更新策略、业务异步解耦、异构数据源数据实时同步及含复杂ETL的数据实时等。
支持的数据库、订阅的数据库类型以及配置文档
请参见订阅方案概览。
订阅对象
数据订阅的订阅对象可以为:库、表。
数据订阅将增量数据细分为:
- 数据变更(Data Manipulation Language,简称DML)
- 结构变更(Data DefinitionLanguage,简称DDL)
在配置数据订阅时,您可以根据业务需求选择数据变更类型。
订阅通道
订阅通道是进行增量数据订阅与消费的基本单元。如果要订阅数据库实例的增量数据,必须在数据传输控制台创建一个针对这个数据库实例的订阅通道。
订阅通道会实时拉取数据库实例的增量数据,并将最近24小时的增量数据保存在订阅通道中,用户可以使用DTS提供的SDK从订阅通道中订阅增量数据并进行消费。同时,用户可以在数据传输控制台进行订阅通道的创建、管理及删除等操作。
一个订阅通道只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个数据库实例时,需要创建多个订阅通道。这些订阅通道订阅的数据库实例均为同一个实例ID。
订阅通道在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示。
通道状态 | 状态说明 | 可进行的操作 |
---|---|---|
预检中 | 订阅通道已经完成任务配置,正在进行预检查。 | 删除订阅 |
未启动 | 订阅通道已经通过预检查,但是还没有启动订阅。 |
|
初始化 | 订阅通道正在进行启动初始化,一般需要1分钟左右。 | 删除订阅 |
正常 | 订阅通道正在拉取数据源的增量数据。 |
|
异常 | 订阅通道拉取数据源的增量数据异常。 |
|
当订阅通道处于异常状态时,7天之内这个任务会被后台启动恢复。如果需要停止订阅,需要手动暂停或结束订阅通道。
高级特性
数据订阅支持多种特性,降低使用门槛。
- 动态增减订阅对象
在数据订阅过程中,用户可以随时增加或减少需要订阅的对象。
- 在线查看订阅数据
支持在线查看订阅通道中的增量数据。
- 修改消费时间点
支持修改需要消费数据对应的时间点。
- 完善的监控体系
提供订阅通道状态、下游消费延迟的报警监控功能。用户可以根据业务敏感度,自定义消费延迟报警阈值。