阿里云ossjava源码-aliyun-oss-sync:阿里云oss增量上传脚本

时间:2024-06-25 18:43:51
【文件属性】:

文件名称:阿里云ossjava源码-aliyun-oss-sync:阿里云oss增量上传脚本

文件大小:3KB

文件格式:ZIP

更新时间:2024-06-25 18:43:51

系统开源

阿里云 oss java源码 aliyun-oss-sync 简介 阿里云 OSS 增量上传脚本,此脚本是用来发布我个人博客 而编写的,因为工作中常用语言为 Java,而 Python 仅是副业,代码如有不当之处,敬请指出。 逻辑很简单,递归遍历本地目录,然后判断每个文件在 OSS 里是否存在,如果不存在则直接上传,如果存在则检查 Content-Md5 是否相等,如果不相等则表明该文件内容已经发生变化,则上传该文件,OSS 会自动覆盖同名文件。 值得注意的是检查 Content-Md5 的值是用的 HTTP 的 HEAD 方法,因为我们只需要 header 中的 Content-Md5 字段的值,所以并不需要使用 GET 方法拿到响应体,这样既加快了速度也节省了 OSS 流量。遍历是单个线程在进行遍历,然后将遍历到的文件上传任务放进了线程池,因为上传任务为 I/O 密集型,故使用多线程上传,采用 Python 指定的默认线程数。源代码如下: max_workers = (os.cpu_count() or 1) * 5 关于 ossDomain 的值,你如果在同地域内网的 ECS 上


【文件预览】:
aliyun-oss-sync-master
----incremental_upload_to_aliyun_oss.py(3KB)
----.gitignore(166B)
----README.md(2KB)
----oss_config.json(124B)

网友评论