本文介绍如何使用数据传输服务DTS(Data Transmission Service),将MongoDB副本集实例迁移至分片集群实例。DTS支持全量数据迁移和增量数据迁移,同时使用这两种迁移类型可以实现在不停服的情况下,平滑地完成数据库的迁移。
前提条件
确保目标分片集群实例中的Shard节点具备充足的存储空间。
注意事项
- DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。
- MongoDB实例支持的版本与存储引擎请参见版本及存储引擎,如需跨版本或跨引擎迁移,请提前确认兼容性。
- 不支持数据库admin和local作为源和目标库。
费用说明
迁移类型 |
链路配置费用 |
公网流量费用 |
全量数据迁移 |
不收费。 |
仅当通过公网将数据迁移出阿里云时收费,详情请参见DTS产品定价。 |
增量数据迁移 |
收费,详情请参见DTS产品定价。 |
迁移类型说明
迁移类型 |
说明 |
全量数据迁移 |
将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。
说明 支持迁移database、collection和index。
|
增量数据迁移 |
在全量迁移的基础上,将源MongoDB数据库的增量更新数据同步到目标MongoDB数据库中。
说明
- 支持database、collection和index的新建和删除操作的同步。
- 支持document的新增、删除和更新操作的同步。
|
数据库账号的权限要求
实例 |
全量数据迁移 |
增量数据迁移 |
MongoDB副本集实例 |
待迁移库的read权限 |
待迁移库、admin库和local库的read权限 |
MongoDB分片集群实例 |
目标库的readWrite权限 |
目标库的readWrite权限 |
准备工作
根据业务需要,在目标MongoDB实例中创建需要分片的数据库和集合,并配置数据分片,详情请参见设置数据分片以充分利用Shard性能。
说明 配置数据分片可避免数据被迁移至同一Shard,导致无法发挥集群性能。
操作步骤
- 登录数据传输控制台。
- 在左侧导航栏,单击数据迁移。
- 在迁移任务列表页面顶部,选择目标MongoDB实例所属地域。
- 单击右上角的创建迁移任务。
- 配置迁移任务的源库及目标库信息。
类别 |
配置 |
说明 |
无 |
任务名称 |
DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。 |
源库信息 |
实例类型 |
选择云数据库MongoDB。 |
实例地区 |
选择源MongoDB实例所在地域。 |
MongoDB实例ID |
选择源MongoDB实例ID。 |
数据库名称 |
填入鉴权数据库名,即数据库账号所属的数据库。 |
数据库账号 |
填入源MongoDB实例的数据库账号,权限要求请参见数据库账号的权限要求。 |
数据库密码 |
填入该数据库账号的密码。
说明 源库信息填写完毕后,您可以单击
数据库密码后的
测试连接来验证填入的源库信息是否正确。源库信息填写正确则提示
测试通过,如提示
测试失败,单击
测试失败后的
诊断,根据提示调整填写的源库信息。
|
目标库信息 |
实例类型 |
选择MongoDB实例。 |
实例地区 |
选择目标MongoDB实例所在地域。 |
MongoDB实例ID |
选择目标MongoDB实例ID。 |
数据库名称 |
填入鉴权数据库名,即数据库账号所属的数据库。 |
数据库账号 |
填入目标MongoDB实例的数据库账号,权限要求请参见数据库账号的权限要求。 |
数据库密码 |
填入该数据库账号的密码。
说明 目标库信息填写完毕后,您可以单击
数据库密码后的
测试连接来验证填入的目标库信息是否正确。目标库信息填写正确则提示
测试通过,如提示
测试失败,单击
测试失败后的
诊断,根据提示调整填写的目标库信息。
|
- 配置完成后,单击页面右下角的授权白名单并进入下一步。
说明 此步骤会将DTS服务器的IP地址自动添加到源和目标MongoDB实例的白名单中,用于保障DTS服务器能够正常连接源和目标MongoDB实例。迁移完成后如不再需要可手动删除,详情请参见
设置白名单。
- 选择迁移对象及迁移类型。
配置 |
说明 |
迁移类型 |
- 如果只需要进行全量迁移,则选中全量数据迁移。
- 如果需要进行不停机迁移,则同时选中全量数据迁移和增量数据迁移。
说明 如果未选中
增量数据迁移,为保障数据一致性,数据迁移期间请勿在源MongoDB数据库中写入新的数据。
|
迁移对象 |
- 在迁移对象框中单击待迁移对象,然后单击图标将其移动至已选择对象框。
- 迁移对象选择的粒度为database、collection或function。
- 默认情况下,迁移完成后,迁移对象的名称保持不变。如果您需要改变迁移对象在目标数据库中的名称,需要使用对象名映射功能,详情请参见库表列映射。
|
映射名称更改 |
如需更改迁移对象在目标实例中的名称,请使用对象名映射功能,详情请参见库表列映射。 |
源、目标库无法连接重试时间 |
默认重试12小时,您也可以自定义重试时间。如果DTS在设置的时间内重新连接上源、目标库,迁移任务将自动恢复。否则,迁移任务将失败。
说明 由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标库实例释放后尽快释放DTS实例。
|
源表DMS_ONLINE_DDL过程中是否复制临时表到目标库 |
如源库使用数据管理DMS(Data Management Service)执行Online DDL变更,您可以选择是否迁移Online DDL变更产生的临时表数据。
- 是:迁移Online DDL变更产生的临时表数据。
说明 Online DDL变更产生的临时表数据过大,可能会导致迁移任务延迟。
- 否:不迁移Online DDL变更产生的临时表数据,只迁移源库的原始DDL数据。
|
- 上述配置完成后,单击页面右下角的预检查并启动。
说明
- 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
- 如果预检查失败,单击具体检查项后的,查看失败详情。
- 您可以根据提示修复后重新进行预检查。
- 如无需修复告警检测项,您也可以选择确认屏蔽、忽略告警项并重新进行预检查,跳过告警检测项重新进行预检查。
- 预检查通过后,单击下一步。
- 在购买配置确认页面,选择链路规格并选中数据传输(按量付费)服务条款。
- 单击购买并启动,迁移任务正式开始。
- 将业务切换至MongoDB实例。