通过断点续传上传的方式将文件上传到OSS前,您可以指定断点记录点。上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分。
背景信息
您可以通过oss2.resumable_upload方法断点续传上传指定文件,该方法包含以下参数:
参数 | 描述 | 是否必须 | 默认值 |
---|---|---|---|
bucket | 存储空间名称 | 是 | 无 |
key | 上传到OSS的文件名称 | 是 | 无 |
filename | 待上传的本地文件名称 | 是 | 无 |
store | 指定保存断点信息的目录 | 否 | HOME目录下建立的.py-oss-upload目录 |
headers | HTTP头部 | 否 | 无 |
multipart_threshold | 文件长度大于该值时,则使用分片上传 | 否 | 10 MB |
part_size | 分片大小 | 否 | 自动计算 |
progress_callback | 上传进度回调函数 | 否 | 无 |
num_threads | 并发上传线程数 | 否 | 1 |
有关断点续传上传的详情,请参见分片上传和断点续传。
代码实现
以下代码用于断点续传上传:
# -*- coding: utf-8 -*- import oss2 # 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录RAM控制台创建RAM账号。 auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>') # Endpoint以杭州为例,其它Region请按实际情况填写。 bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>') # 当文件长度大于或等于可选参数multipart_threshold(默认值为10 MB)时,则使用分片上传。如未使用参数store指定目录,则会在HOME目录下建立.py-oss-upload目录来保存断点信息。 oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>')
Python SDK 2.1.0以上版本支持断点续传上传时设置可选参数,代码如下:
# 若使用store指定了目录,则断点信息将保存在指定目录中。若使用num_threads设置并发上传线程数,请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。 oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>', store=oss2.ResumableStore(root='/tmp'), multipart_threshold=100*1024, part_size=100*1024, num_threads=4)
说明
- 断点续传内部使用了多线程,调用时无需在外部封装多线程,否则可能导致数据重复传输。
- 网络情况较好时,建议增加分片大小。反之,减小分片大小。