通过断点续传上传的方式将文件上传到OSS前,您可以指定断点记录点。上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分。

背景信息

您可以通过oss2.resumable_upload方法断点续传上传指定文件,该方法包含以下参数:

参数 描述 是否必须 默认值
bucket 存储空间名称
key 上传到OSS的文件名称
filename 待上传的本地文件名称
store 指定保存断点信息的目录 HOME目录下建立的.py-oss-upload目录
headers HTTP头部
multipart_threshold 文件长度大于该值时,则使用分片上传 10 MB
part_size 分片大小 自动计算
progress_callback 上传进度回调函数
num_threads 并发上传线程数 1

有关断点续传上传的详情,请参见分片上传和断点续传

代码实现

以下代码用于断点续传上传:

# -*- coding: utf-8 -*-
import oss2
# 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录RAM控制台创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例,其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')
# 当文件长度大于或等于可选参数multipart_threshold(默认值为10 MB)时,则使用分片上传。如未使用参数store指定目录,则会在HOME目录下建立.py-oss-upload目录来保存断点信息。
oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>')

Python SDK 2.1.0以上版本支持断点续传上传时设置可选参数,代码如下:

# 若使用store指定了目录,则断点信息将保存在指定目录中。若使用num_threads设置并发上传线程数,请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。
oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>',
    store=oss2.ResumableStore(root='/tmp'),
    multipart_threshold=100*1024,
    part_size=100*1024,
    num_threads=4)
说明
  • 断点续传内部使用了多线程,调用时无需在外部封装多线程,否则可能导致数据重复传输。
  • 网络情况较好时,建议增加分片大小。反之,减小分片大小。