本文介绍如何使用数据传输服务DTS(Data Transmission Service),将MongoDB副本集实例迁移至分片集群实例。DTS支持全量数据迁移和增量数据迁移,同时使用这两种迁移类型可以实现在不停服的情况下,平滑地完成数据库的迁移。
前提条件
确保目标分片集群实例中的Shard节点具备充足的存储空间。
注意事项
- DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。
- MongoDB实例支持的版本与存储引擎请参见版本及存储引擎,如需跨版本或跨引擎迁移,请提前确认兼容性。
费用说明
迁移类型 |
链路配置费用 |
公网流量费用 |
全量数据迁移 |
不收费。 |
仅当通过公网将数据迁移出阿里云时收费,详情请参见DTS产品定价。 |
增量数据迁移 |
收费,详情请参见DTS产品定价。 |
迁移类型说明
迁移类型 |
说明 |
全量数据迁移 |
将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。
说明 支持迁移database、collection和index。
|
增量数据迁移 |
在全量迁移的基础上,将源MongoDB数据库的增量更新数据同步到目标MongoDB数据库中。
说明
- 支持database、collection和index的新建和删除操作的同步。
- 支持document的新增、删除和更新操作的同步。
|
数据库账号的权限要求
实例 |
全量数据迁移 |
增量数据迁移 |
MongoDB副本集实例 |
待迁移库的read权限 |
待迁移库、admin库和local库的read权限 |
MongoDB分片集群实例 |
目标库的readWrite权限 |
目标库的readWrite权限 |
准备工作
根据业务需要,在目标MongoDB实例中创建需要分片的数据库和集合,并配置数据分片,详情请参见设置数据分片以充分利用Shard性能。
说明 配置数据分片可避免数据被迁移至同一Shard,导致无法发挥集群性能。
操作步骤
- 登录MongoDB管理控制台。
- 在页面左上角,选择实例所在的资源组和地域。
- 在左侧导航栏,单击副本集实例列表。
- 找到目标实例,单击实例ID。
- 在页面右上角,单击迁移MongoDB数据库。
- 在创建迁移任务页面,根据页面信息完成迁移任务配置。
- 设置以下参数,配置源库及目标库信息。
类别 |
参数 |
参数说明 |
无 |
任务名称 |
DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。 |
源库信息 |
实例类型 |
选择云数据库MongoDB。 |
实例地区 |
选择源MongoDB实例所在地域。 |
MongoDB实例ID |
选择源MongoDB实例ID。 |
数据库名称 |
填入鉴权数据库名,即数据库账号所属的数据库。
说明 如果使用的数据库账号为root,那么对应的数据库名称即为admin。
|
数据库账号 |
填入源MongoDB实例的数据库账号,权限要求请参见数据库账号的权限要求。 |
数据库密码 |
填入该数据库账号的密码。
说明 源库信息填写完毕后,您可以单击
数据库密码后的
测试连接来验证填入的源库信息是否正确。源库信息填写正确则提示
测试通过,如提示
测试失败,单击
测试失败后的
诊断,根据提示调整填写的源库信息。
|
目标库信息 |
实例类型 |
选择MongoDB实例。 |
实例地区 |
选择目标MongoDB实例所在地域。 |
MongoDB实例ID |
选择目标MongoDB实例ID。 |
数据库名称 |
填入鉴权数据库名,即数据库账号所属的数据库。
说明 如果使用的数据库账号为root,那么对应的数据库名称即为admin。
|
数据库账号 |
填入目标MongoDB实例的数据库账号,权限要求请参见数据库账号的权限要求。 |
数据库密码 |
填入该数据库账号的密码。
说明 目标库信息填写完毕后,您可以单击
数据库密码后的
测试连接来验证填入的目标库信息是否正确。目标库信息填写正确则提示
测试通过,如提示
测试失败,单击
测试失败后的
诊断,根据提示调整填写的目标库信息。
|
- 配置完成后,单击页面下方的授权白名单并进入下一步。
说明 此步骤会将DTS服务器的IP地址自动添加到源和目标MongoDB实例的白名单中,用于保障DTS服务器能够正常连接源和目标MongoDB实例。迁移完成后如不再需要可手动删除,详情请参见
设置白名单。
- 设置以下参数,选择迁移对象及迁移类型。
配置 |
说明 |
迁移类型 |
- 如果只需要进行全量迁移,则选中全量数据迁移。
- 如果需要进行不停机迁移,则同时选中全量数据迁移和增量数据迁移。
说明 如果未选中
增量数据迁移,为保障数据一致性,数据迁移期间请勿在源MongoDB数据库中写入新的数据。
|
迁移对象 |
选择迁移对象,方法如下:
- 从迁移对象列表中,选择待迁移的对象。
- 单击将其移动至已选择对象列表中。
说明
- 不支持迁移admin和local数据库。
- 迁移对象选择的粒度为database、collection或function。
- 默认情况下,迁移完成后,迁移对象的名称保持不变。如果您需要改变迁移对象在目标数据库中的名称,可使用对象名映射功能,详情请参见库表列映射。
|
映射名称更改 |
如需更改迁移对象在目标实例中的名称,请使用对象名映射功能,详情请参见库表列映射。 |
源库、目标库无法连接后的重试时间 |
默认重试12小时,您也可以自定义重试时间。如果DTS在设置的时间内重新连接上源、目标库,迁移任务将自动恢复。否则,迁移任务将失败。
说明 由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标库实例释放后尽快释放DTS实例。
|
- 上述配置完成后,单击页面右下角的预检查并启动。
说明
- 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
- 如果预检查失败,单击具体检查项后的,查看失败详情。
- 您可以根据提示修复后重新进行预检查。
- 如无需修复告警检测项,您也可以选择确认屏蔽、忽略告警项并重新进行预检查,跳过告警检测项重新进行预检查。
- 预检查通过后,单击下一步。
- 在购买配置确认页面,选择链路规格,并勾选数据传输(按量付费)服务条款。
- 单击立即购买并启动,迁移任务正式开始。
- 查看迁移任务进展。
- 观察迁移任务的进度变更为增量迁移,并显示为无延迟状态时,将源库停写几分钟,此时增量迁移的状态可能会显示延迟的时间。
- 等待迁移任务的增量迁移再次进入无延迟状态,手动结束迁移任务。
- 将业务切换至目标MongoDB实例。