淘宝开放平台

登录
文档中心 > 对象存储 OSS

对象存储 OSS

如何同步数据到OSS

更新时间： 访问次数：1673

用户可参考以下方法，将增量数据自动同步到OSS的Bucket中。

主要方法

  • OSS跨区域复制：将OSS的BucketA数据，同步到另一个区域的BucketB中。您可以在控制台中，对OSS源Bucket设置跨区域复制。
  • 镜像回源：适用于客户源站无缝迁移数据到OSS。即服务已在源站或者在其他云产品上运行，需迁移到OSS，但又不能停止服务。在Ossimport完成历史数据迁移且业务切换到OSS后，当访问的数据不在OSS，会触发镜像回源到源站抓取，并下载到OSS中。
    镜像回源
  • OSS API或SDK：使用OSS API或SDK编写代码实现，详情请参见CopyObject、UploadPartCopy。

场景1：OSS的不同Bucket之间的数据同步

当需要将BucketA数据，同步到BucketB时，可参考如下方法：

  • 设置跨区域复制
    适用于源BucketA、目的BuketB都不是归档存储，且分属不同区域场景。
  • 镜像回源
    适用于当客户端访问BucketB时，BucketB中没有该数据，触发镜像回源去BcuektA中抓取，下载到BucketB。
  • OSS API/SDK CopyObject、UploadPartCopy
    适用于用户有特性需求，且有较强开发能力。

常见疑问

  • 是否可以指定Bucket下特定目录而非整个Bucket间进行同步？
    可以。通过设置跨区域复制功能指定文件名前缀进行同步，只同步特定目录。

  • 归档存储是否可以使用跨区域复制功能？
    当源Bucket或目标Bucket是归档存储时，不支持设置跨区域复制。用户可以使用OSS API/SDK 编写代码，以实现同步。

    由于归档存储存在恢复时间，如果客户在应用中，需要由归档存储，向标准或低频存储间同步，建议采用更合理的架构，将源Bucket改为标准或低频存储，目标Bucket改为归档存储，节省成本，提升业务体验。

场景2：第三方数据源的数据“同步”到OSS

第三方数据源，自动同步到OSS，可参考如下方法：

  • 镜像回源
    • 当客户端访问OSS时，OSS如没有该数据，则触发镜像回源去第三方数据源站中抓取，下载到OSS。镜像回源
  • OSS API/SDK Copy Object、Upload Part Copy
    适用于用户有特性需求，且有较强开发能力
  • 使用ossimport增量迁移模式
    使用ossimport数据迁移增量模式定期查询源站数据，并将其同步到OSS中。

常见疑问

如果是将历史数据批量地迁移或复制到OSS，请参考如何将数据迁移到OSS。

其他

如果问题还未能解决，请联系售后技术支持。

FAQ

关于此文档暂时还没有FAQ
有用(0) 我要提问
文档标签:
如何同步数据到OSS
返回
顶部