本文介绍了数据传输服务DTS(Data Transmission Service)产品功能的发布动态。
更多新功能介绍
详情请参见数据传输服务产品动态。
2021年
发布时间 | 发布内容 | 相关文档 |
---|---|---|
2021年9月 | 支持云数据库Redis间的同步和跨账号同步功能(新版控制台)。 | 跨云账号单向同步云数据库Redis实例 |
支持 PostgreSQL 至PolarDB PostgreSQL的同步和迁移功能(新版控制台)。 | 文档准备中 | |
2021年8月 | 支持订阅PolarDB-X 1.0(新版控制台)。 | 创建PolarDB-X 1.0数据订阅任务 |
支持PolarDB-X 2.0同步或迁移至Elasticsearch(新控制台)。 | PolarDB-X 2.0同步至Elasticsearch | |
支持订阅DMS逻辑库(新版控制台)。 | 文档准备中 | |
支持Db2 for LUW同步至云原生数据仓库AnalyticDB PostgreSQL版(新旧版控制台)。 | 文档准备中 | |
2021年7月 | 支持在新版控制台配置自建PostgreSQL间的双向同步、RDS PostgreSQL间的双向同步。
说明 目前仅支持在华东1(杭州)、华东2(上海)、华北1(青岛)地域配置。
|
RDS PostgreSQL间的双向同步 |
支持订阅自建PostgreSQL、RDS PostgreSQL、PolarDB-O集群(新版控制台)。
说明 仅华东1(杭州)、华东2(上海)地域的订阅任务支持订阅源实例的
结构更新
|
||
新版控制台支持如下功能:
|
||
新版控制台支持升级实例配置:升级包年包月实例和按量付费实例的链路规格配置。 | 升级任务的链路规格 | |
新版控制台支持转换实例计费方式:包年包月实例和按量付费实例之间相互转换,且实例ID保持不变。 | 转换付费方式 | |
新版控制台支持PolarDB-X 2.0迁移或同步至阿里云消息队列Kafka、自建Kafka。 | ||
2021年6月 | 支持在新版控制台配置RDS SQL Server同步至RDS MySQL的任务。 | RDS SQL Server同步至RDS MySQL |
支持在新版控制台配置自建Hbase迁移至云原生数据仓库AnalyticDB MySQL版。 | 自建HBase迁移至AnalyticDB MySQL 3.0 | |
支持在旧版控制台配置自建Oracle同步至DataHub。 | 从自建Oracle同步至DataHub | |
2021年5月 | ETL(Extract Transform Load)功能新增支持源实例为PolarDB MySQL,目标实例为云原生数据仓库AnalyticDB MySQL版,满足多样化的数据库场景需求。
说明 ETL功能正在新版控制台公测中,公测期间,您需要点击
申请链接开通ETL功能。
|
ETL使用流程 |
支持在新版控制台配置MySQL、PolarDB MySQL迁移和同步至云原生数据仓库AnalyticDB MySQL 3.0的任务。 | ||
新增SQL Server(自建SQL Server、RDS SQL Server)间同步链路(新版控制台)。 | RDS SQL Server间的同步 | |
新增Teradata结构和全量迁移至云原生数据仓库AnalyticDB PostgreSQL版(新版控制台)。
说明 目前仅支持在上海、青岛、张家口地域配置。
|
Teradata迁移至AnalyticDB PostgreSQL | |
支持在新版控制台配置数据订阅实例(新版)。
说明 数据订阅(旧版)功能自2020年3月31日起已下线,且新版本控制台不再支持配置该功能,请您尽快升级至数据订阅(新版)。
|
||
2021年4月 | ETL(Extract Transform Load)功能正在新版控制台公测中,可用于实现数据库中数据的清洗和转换处理,能够准确、高效地提供您需要的数据。
说明
|
ETL使用流程 |
支持在新版控制台配置如下同步链路:
|
||
支持自建Oracle同步至云原生数据仓库AnalyticDB PostgreSQL版(新版控制台)。 | 自建Oracle同步至云原生数据仓库AnalyticDB PostgreSQL版 | |
PostgreSQL(自建PostgreSQL、RDS PostgreSQL)迁移或同步至MySQL(自建MySQL、RDS MySQL)的链路,支持结构迁移或结构同步。 | ||
如果源实例使用数据管理DMS(Data Management Service)配置逻辑库,DTS支持DMS逻辑库同步至云原生数据仓库AnalyticDB MySQL(新版控制台)。
注意 目前仅支持在上海和新加坡地域配置。
|
数据管理DMS逻辑库同步至云原生数据仓库AnalyticDB MySQL 3.0 | |
2021年3月 | 支持在新版控制台配置如下同步链路:PolarDB-X 2.0同步至RDS MySQL、PolarDB MySQL或PolarDB-X 2.0。 | 从PolarDB-X 2.0同步至RDS MySQL |
支持自建PostgreSQL、RDS PostgreSQL迁移至自建MySQL、RDS MySQL。 | RDS PostgreSQL迁移至RDS MySQL | |
源为RDS SQL Server的数据迁移和同步链路,在原先基于SQL Server日志解析进行数据迁移的基础上,新增CDC的模式,解决了日志截断导致迁移任务中断,不支持迁移堆表、无主键表等问题。 | ||
数据迁移和同步任务的一键诊断功能,在诊断源库性能时,增加数据库自治服务DAS(Database Autonomy Service)的异常诊断内容。
说明 源实例需已接入DAS,且数据库类型为MySQL。
|
一键诊断 | |
调用OpenAPI时,支持根据系统参数RegionId过滤DTS实例。 | 查询一个迁移实例状态(示例) | |
2021年2月 | 目标实例为云原生数据仓库AnalyticDB MySQL的数据集成任务,支持选择调度策略为基于时间戳的增量模式。 | 调度策略说明 |
2021年1月 | 支持从RDS SQL Server同步至云原生数据仓库AnalyticDB MySQL,可应用于实时数据分析场景。 | RDS SQL Server同步至AnalyticDB MySQL版 3.0 |
在数据迁移和同步实例中,支持配置同步到目标库对象名称大小写策略,以满足目标库对象对英文字母大小写的要求。 | 目标库对象名称大小写策略 | |
如果迁移或同步时,需使用数据管理DMS(Data Management Service)对源库执行Online DDL(在线DDL),您可以在DTS控制台选择是否迁移或同步Online DDL产生的临时表数据。 | ||
在自建PostgreSQL或RDS PostgreSQL迁移至自建PostgreSQL或RDS PostgreSQL的场景中,支持增量迁移如下DDL操作:
注意 目前仅适用于
上海地域新建的迁移实例。
|
2020年
发布时间 | 发布内容 | 相关文档 |
---|---|---|
2020年12月 | 支持MaxCompute结构、全量数据迁移至MySQL(自建MySQL、RDS MySQL)。 | 从MaxCompute迁移至RDS MySQL |
支持Db2 for i结构迁移至MySQL(自建MySQL、RDS MySQL)。 | 从自建Db2迁移至RDS MySQL | |
支持Oracle迁移分区表至MySQL(自建MySQL、RDS MySQL)、PolarDB-O集群。 | ||
支持PolarDB MySQL同步至PolarDB-X 2.0。 | 从PolarDB MySQL同步至PolarDB-X | |
2020年11月 | 支持PolarDB PostgreSQL全量数据、增量数据迁移至自建Oracle。 | 从PolarDB PostgreSQL迁移至自建Oracle |
2020年10月 | MySQL(自建MySQL、RDS MySQL)同步至阿里云消息队列Kafka版、自建Kafka的任务,支持选择使用DTS Avro或Canal json格式进行投递,实现Canal用户的平滑迁移。 | Kafka集群的数据存储格式 |
PolarDB-O迁移至阿里云消息队列Kafka版、自建Kafka的任务,支持选择使用DTS Avro或shareplex json格式进行投递。 | Kafka集群的数据存储格式 | |
支持自建Oracle迁移至阿里云消息队列Kafka版、自建Kafka。 | 从自建Oracle迁移至阿里云消息队列Kafka | |
支持跳过预检查警告项。 | ||
DTS可以在自定义时间内重试连接源库、目标库。 | ||
支持对DTS任务编辑标签。 | ||
2020年9月 | 支持从自建TiDB同步到云原生数据仓库AnalyticDB MySQL,帮助您轻松实现数据的流转,将企业数据集中分析。 | 从自建TiDB同步至云原生数据仓库AnalyticDB MySQL |
支持从MySQL(例如RDS MySQL、Polar MySQL、自建MySQL)同步到PolarDB-X(暂不支持结构初始化),帮助您实现增量数据的实时同步。 | ||
在自建Oracle增量迁移至PolarDB-O的场景下,支持对无主键表ROWID值的增量数据迁移,可用于对无主键表的数据去重和数据校验。 | 从自建Oracle迁移至PolarDB-O集群(迁移数据) | |
同步的目标库支持Elasticsearch 7.4版本。 | ||
数据迁移和同步新增一键诊断功能,通过分析增量阶段的性能数据,帮助您快速定位问题并提供诊断建议。 | ||
金融云支持从DB2 for i同步至自建MySQL、RDS MySQL(暂不支持结构初始化)。
说明 目前仅支持上海地域。
|
暂无 | |
2020年8月 | 支持从MySQL(例如RDS MySQL、Polar MySQL、自建MySQL)迁移至有公网IP的自建Kafka,是数据同步场景的补充。 | 从RDS MySQL迁移至自建Kafka |
支持RDS PPAS 9.3、9.6、10.0版本到PolarDB-O的数据迁移。 | 从RDS PPAS迁移至PolarDB-O集群 | |
2020年7月 | 发布SQL Server数据库多库增量迁移功能,可在一个数据迁移任务中增量迁移多个数据库,极大提升了提升迁移效率。 | 从自建SQL Server增量迁移至RDS SQL Server |
发布Kafka多Partition(分区)的同步策略配置功能,可调整同步策略将数据同步至多个Partition以提升同步性能。 | ||
DTS产品接入至云监控平台,可以对实例重要的监控指标设置报警规则,让您在第一时间得知指标数据发生异常,帮您迅速定位处理故障。 | 通过云监控平台为DTS任务设置报警规则 | |
周期性全量数据迁移升级为数据集成功能,通过该功能可以帮助您构建更加灵活的数据仓库(例如构建T+1的周期性数仓)。 | ||
发布全链路诊断功能,可展示DTS链路中各模块的状态信息(例如网络连接状态、网络延迟、流量等信息),帮助您快速定位问题。 | ||
发布MySQL到Clickhouse的同步功能,支持MySQL结构、全量数据、增量数据同步到ClickHouse,构建实时的数仓。 | 从RDS MySQL同步至ClickHouse集群 | |
数据迁移功能支持迁移RDS MariaDB的无主键表。 | 从RDS MariaDB迁移至RDS MySQL | |
支持从自建Oracle迁移至PolarDB MySQL。 | 从自建Oracle迁移至PolarDB MySQL | |
2020年6月 | 华东2(上海)、华北2(北京)和华南1(深圳)支持从自建Oracle迁移至云原生数据仓库AnalyticDB PostgreSQL,帮助您构建实时数仓。 | 从自建Oracle迁移至云原生数据仓库AnalyticDB PostgreSQL |
支持迁移MongoDB 4.2版本的数据库。 | DTS数据迁移方案概览 | |
支持将云原生分布式数据库PolarDB-X(原DRDS)中基于私有RDS实例创建的数据库作为同步的源库或目标库。 | DTS数据同步方案概览 | |
2020年5月 | 支持从TiDB增量迁移至RDS MySQL、PolarDB MySQL或自建MySQL数据库。 | 从自建TiDB增量迁移至RDS MySQL |
优化SQL Server增量迁移功能,修复日志截断导致增量数据迁移失败的问题,大幅提链路稳定性。 | 从自建SQL Server增量迁移至RDS SQL Server | |
支持DTS云服务与通过云企业网CEN(Cloud Enterprise Network)接入的本地IDC实现互通,可将本地IDC中的自建数据库作为数据迁移或数据同步的源库或目标库,实现便捷、安全的数据迁移上云。 | 通过CEN实现本地IDC与DTS云服务互通 | |
2020年4月 | DTS支持将数据库网关DG(Database Gateway)中接入的本地或第三方云的数据库作为源库或目标库。 | 通过数据库网关将本地或第三方云的数据库接入至阿里云 |
支持阿里云Redis企业版实例间的单向或双向数据同步,支持的架构类型包括标准版、读写分离版和集群版,可应用于异地多活、数据容灾、业务多地部署等场景。 | Redis企业版实例间的双向同步 | |
DTS的实例详情页增加DMS登录入口,支持一键登录数据库。 | 无 | |
ConfigureSynchronizationJob接口支持将DataHub作为同步的目标库。 | 配置同步实例 | |
2020年3月 | 支持从TiDB迁移至RDS MySQL、PolarDB MySQL、自建MySQL数据库。 | 从自建TiDB全量迁移至RDS MySQL |
支持PolarDB MySQL的双向同步功能,可应用于业务多活场景。 | PolarDB MySQL集群间的双向同步 | |
支持从SQL Server同步至AnalyticDB for PostgreSQL,可应用于实时数据分析场景。 | ||
支持PolarDB-O集群间的数据迁移、数据同步功能,可应用于数据灾备、读写分离、就近查询等场景。 | ||
华东2(上海)地域支持将PolarDB-O集群的增量变更同步至Kafka,扩展消息处理能力。 | 从PolarDB-O集群同步至自建Kafka | |
支持迁移PostgreSQL分区表的结构和数据。 | 从自建PostgreSQL(10.1~13版本)增量迁移至RDS PostgreSQL | |
从PostgreSQL同步至分析型数据库PostgreSQL时,支持对sequence(序列生成器)的结构初始化和全量数据初始化。 | ||
支持为子账号授予操作(Action)级别的权限,满足多种场景下权限的精细控制。 | 通过自定义策略授权子账号管理DTS | |
2020年2月 | 在数据同步的过程中,支持通过DMS企业版来执行在线DDL结构变更。
说明 如果数据同步作业的创建时间早于2020年2月14日,且2020年2月14日及之后未重新启动过,您需要将数据同步作业暂停并重新启动才可以支持该功能。
|
不锁表结构变更 |
支持迁移Oracle 9i、10g、11g、12c、18c或19c版本的数据库,满足多种Oracle迁移场景。 | ||
支持迁移PostgreSQL 12版本的数据库。 | 从自建PostgreSQL(10.1~13版本)增量迁移至RDS PostgreSQL | |
支持对处于迁移中的PolarDB MySQL集群(源或目标)执行迁移可用区操作,且不会引起迁移任务中断。 | 无 | |
亚太东南 1(新加坡)地域支持从RDS MySQL到MaxCompute的数据同步。 | 从RDS MySQL同步至MaxCompute | |
2020年1月 | 华北1(青岛)、华北2(北京)、华北3(张家口)和华东2(上海)地域发布周期性全量调度高级功能,可根据调度策略和周期配置,定期地将源库中的结构和存量数据迁移至目标库中,帮助您构建更加灵活的数据仓库。 | |
支持为子账号授予具体DTS实例的权限,同时,可以通过角色扮演的方式,实现跨账号的DTS实例授权,满足多种场景下的实例权限控制。 | 通过自定义策略授权子账号管理DTS |
2019年
发布时间 | 发布内容 | 相关文档 |
---|---|---|
2019年12月 | 支持迁移PostgreSQL 11版本数据库。 | 从自建PostgreSQL(10.1~13版本)增量迁移至RDS PostgreSQL |
支持从自建PostgreSQL(9.x-11.x版本)同步至AnalyticDB for PostgreSQL。 | 自建PostgreSQL同步到云原生数据仓库AnalyticDB PostgreSQL | |
支持Redis5.0版本间的单向同步。 | DTS数据同步方案概览 | |
支持从MySQL数据库(含自建MySQL、RDS MySQL和PolarDB MySQL)迁移至AnalyticDB for MySQL 3.0版本。 | DTS数据同步方案概览 | |
数据订阅功能新增华北3地域的支持。 | 支持的地域列表 | |
2019年11月 | 支持迁移Oracle数据库的分区表结构至MySQL数据库。 | 从自建Oracle迁移至RDS MySQL |
2019年10月 | 支持迁移MongoDB Atlas,同时支持事务日志。
说明 DTS通过SSL加密连接至MongoDB Atlas,可建立更加安全可靠的迁移链路。
|
使用DTS将MongoDB Atlas数据库迁移至阿里云 |
支持读取其他阿里云账号下的专有网络。 配置RAM授权后,DTS可以在配置数据迁移时读取其他阿里云账号下的专有网络,您可以将其他阿里云账号下通过专线接入的自建数据库迁移至当前云账号下的RDS实例。 |
从通过专线接入的自建MySQL迁移至其他账号下的RDS MySQL | |
支持迁移Amazon RDS for PostgreSQL(10.4-11.4版本),可实现不停机的平滑迁移。
说明 支持PostgreSQL replication slot的定期清理。当释放迁移任务或迁移失败时,DTS也会主动清理PostgreSQL replication slot,避免其持续累积占用磁盘空间。
|
从Amazon RDS for PostgreSQL增量迁移至阿里云 | |
支持从DRDS同步到AnalyticDB for MySQL(3.0)或AnalyticDB for PostgreSQL(4.3),帮助您快速构建实时数据仓库。 | DTS数据同步方案概览 | |
从MySQL同步至AnalyticDB for PostgreSQL(4.3)时,支持结构初始化,您无需手动在目标库创建Schema,降低配置难度,提升链路配置效率。 | 无 | |
支持新版附加列命名规则,避免其和业务字段名称冲突。 DTS在将数据同步到DataHub或MaxCompute时,会在同步的目标表添加一些附加列,用于元数据管理、排序去重等。在您评估附加列和目标表中已有的列是否会出现名称冲突后,可选择是否启用新版附加列命名规则。 |
修改数据同步的附加列规则 | |
2019年9月 | 支持迁移RDS MariaDB、PolarDB-O集群、SQL Server 2017。 | 支持的数据库 |
支持全量迁移性能监控功能,为您管理数据迁移任务提供参考依据。 | 查看全量迁移链路状态和性能 | |
支持任务时间轴和任务日志功能,为您记录并展示关键节点的任务状态和日志信息。 | 查看任务日志 | |
2019年8月 | 支持迁移/同步/订阅PolarDB MySQL。 | 支持的数据库 |
支持对处于数据迁移/同步/订阅中的数据库执行修改密码的操作。 | 修改数据库密码 | |
支持为Datahub自定义shard key的功能,解决数据轮循投递到不同shard导致的数据乱序问题。 | 从RDS MySQL同步至DataHub | |
OpenAPI新增查询、配置监控报警相关接口、支持DRDS跨账号数据订阅。 | API概览 | |
2019年7月 | 支持迁移MongoDB 4.0版本、PostgreSQL 10.x版本的数据库。 | 支持的数据库 |
支持异常告警恢复通知的功能,当检测到异常恢复后,将发送短信通知用户,降低用户运维成本。 | 无 | |
2019年6月 | 支持从MySQL/PostgreSQL同步至AnalyticDB for PostgreSQL,帮助构建数据仓库,大幅降低数据源到数仓之间的延时,提升数据分析的时效性。 | DTS数据同步方案概览 |
数据同步功能全面支持单实例/主从/读写分离/集群等架构的Redis实例,可满足Redis集群零停机上云、上云切换失败回滚及云上灾备等业务场景。 | 支持的数据库 | |
优化数据订阅的在线查询功能,提升数据订阅的使用体验。 | 查看订阅数据 | |
升级全量数据迁移功能,优化任务断点重启逻辑,实现接近无损的断点重启。 | 无 | |
2019年5月 | 支持新版数据订阅功能。 | 数据订阅(新版) |
支持迁移/同步/订阅MySQL 8.0版本的数据库。 | 支持的数据库 | |
支持从MySQL同步至AnalyticDB for MySQL(3.0),帮助您快速构建企业内部BI、交互查询、实时报表等系统。 | 从RDS MySQL同步到云原生数据仓库AnalyticDB MySQL |
2019年之前
发布时间 | 发布内容 | 相关文档 |
---|---|---|
2018年7月17日 | 支持从DRDS同步至AnalyticDB for MySQL、Datahub。 | |
2018年7月5日 | 支持从DRDS实例间的数据同步。 | PolarDB-X间的数据实时同步 |
2018年7月3日 | 支持从MySQL迁移至PolarDB MySQL。 | 从自建MySQL迁移至PolarDB MySQL |
2018年6月12日 | 支持从DB2迁移至MySQL。 | 从自建Db2迁移至RDS MySQL |
2018年6月5日 | 支持订阅专有网络的DRDS。 | 创建数据订阅通道 |
OpenAPI支持指定增量迁移或增量同步的拉取日志起始时间点。 | 无 | |
2015年10月30日 | 支持RDS实例间的数据同步。 | |
支持SQL Server的离线数据迁移(大版本升级中,暂不可用)。 | 无 | |
2015年8月11日 |
|
无 |
2015年7月28日 | 支持订阅RDS MySQL。 | 创建RDS MySQL数据订阅通道 |
2015年7月21日 | 支持从Oracle迁移至PPAS。 | 从自建Oracle迁移至RDS PPAS |
支持迁移金融云的RDS实例。 | 无 | |
2015年6月5日 | 支持从SQL Server间的数据迁移。 | 从自建SQL Server增量迁移至RDS SQL Server |
2015年5月28日 | 支持RDS MySQL实例间的增量数据迁移。 | RDS实例间的数据迁移 |
2015年4月28日 | 支持从Oracle迁移至MySQL。 | 从自建Oracle迁移至RDS MySQL |
支持MySQL间的数据迁移。 | 从自建MySQL迁移至RDS MySQL | |
支持库、表、列粒度的名称映射。 | 库表列映射 | |
支持对迁移对象的粒度选择(粒度为库、表、列)。 | 无 | |
支持对迁移对象的条件过滤。 | 过滤待迁移数据 |