实时数据订阅功能旨在帮助用户获取RDS MySQL、DRDS的实时增量数据,您可以根据自身业务需求自由消费增量数据,搭建/实现多种业务场景,例如缓存更新策略、业务异步解耦、异构数据源数据实时同步及含复杂ETL的数据实时等。

支持的数据库、订阅的数据库类型以及配置文档

请参见订阅方案概览

订阅对象

数据订阅的订阅对象可以为:库、表。

数据订阅将增量数据细分为:

  • 数据变更(Data Manipulation Language,简称DML)
  • 结构变更(Data DefinitionLanguage,简称DDL)

在配置数据订阅时,您可以根据业务需求选择数据变更类型。

订阅通道

订阅通道是进行增量数据订阅与消费的基本单元。如果要订阅数据库实例的增量数据,必须在数据传输控制台创建一个针对这个数据库实例的订阅通道。

订阅通道会实时拉取数据库实例的增量数据,并将最近24小时的增量数据保存在订阅通道中,用户可以使用DTS提供的SDK从订阅通道中订阅增量数据并进行消费。同时,用户可以在数据传输控制台进行订阅通道的创建、管理及删除等操作。

一个订阅通道只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个数据库实例时,需要创建多个订阅通道。这些订阅通道订阅的数据库实例均为同一个实例ID。

订阅通道在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示。

通道状态 状态说明 可进行的操作
预检中 订阅通道已经完成任务配置,正在进行预检查。 删除订阅
未启动 订阅通道已经通过预检查,但是还没有启动订阅。
  • 开始订阅
  • 删除订阅
初始化 订阅通道正在进行启动初始化,一般需要1分钟左右。 删除订阅
正常 订阅通道正在拉取数据源的增量数据。
  • 查看示例代码
  • 查看订阅数据
  • 删除订阅
异常 订阅通道拉取数据源的增量数据异常。
  • 查看示例代码
  • 删除订阅

当订阅通道处于异常状态时,7天之内这个任务会被后台启动恢复。如果需要停止订阅,需要手动暂停或结束订阅通道。

高级特性

数据订阅支持多种特性,降低使用门槛。

  • 动态增减订阅对象

    在数据订阅过程中,用户可以随时增加或减少需要订阅的对象。

  • 在线查看订阅数据

    支持在线查看订阅通道中的增量数据。

  • 修改消费时间点

    支持修改需要消费数据对应的时间点。

  • 完善的监控体系

    提供订阅通道状态、下游消费延迟的报警监控功能。用户可以根据业务敏感度,自定义消费延迟报警阈值。