python批量上传文件到七牛云

引子

七牛云对象存储 Kodo 是七牛云提供的高可靠、强安全、低成本、可扩展的存储服务。您可通过控制台、API、SDK 等方式简单快速地接入七牛存储服务，实现海量数据的存储和管理。通过 Kodo 可以进行文件的上传、下载和管理。

我们通常将图片、音视频、javascript、css等静态资源上传到七牛云，利用cdn提高访问速度。

但是，遗憾的是，七牛云没有提供批量上传指定文件目录中所有文件的功能，而只能单个上传。

棘手的需求

我们有一个基于NextJs构建的web项目，每次发布都会在本地打包，发布的文件成百上千，且目录是多层结构。

通常我们是直接将打包后的文件拷贝到web服务器替换。坏就坏在，里面有个wasm类型的文件超过2.8M，首次加载超过10s,导致整个网站卡顿。

如何解决呢？

从nextjs官网查阅发现,支持为静态资源添加路径前缀并支持发布到CDN。

const isProd = process.env.NODE_ENV === 'production'

module.exports = {
  // Use the CDN in production and localhost for development.
  assetPrefix: isProd ? 'https://cdn.mydomain.com' : '',
}

静态资源上传到 CDN，这是存在目前存在的最大的问题，虽然在next.config.js中可以配置assetPrefix字段，但实际使用起来还是非常困难。

打包后的 js 和 css，引用路由均为/_next/static开头。

假设我们的CDN地址是 http://static.qq.com

<script src="http://static.qq.com/runtime/webpack-4b444dab214c6491079c.js"></script>

最后拼接后的地址是：

<script src="http://static.qq.com/_next/static/runtime/webpack-4b444dab214c6491079c.js"></script>

中间多出了/_next/static的路径，最后的结果是页面需要加载的资源和上传的资源路径不一致，就会各种 404。

无独有偶，也有博友遇到了类似的问题-《nextjs：如何将静态资源发布到 CDN》

化繁为简

复杂的事情简单化。

综合各方的信息，最终决定尝试将_next/static及其文件整体上传到七牛云。

在七牛云的存储目录如下：

根目录/_next/static/

这样代码上就不需要做改动。

唯一要做的就是实现批量上传文件到七牛云。

实战案例

废话不多说,我们现在就用代码来实现上面的需求吧!


# -*- coding: utf-8 -*-
# author: zhikecore
# https://developer.qiniu.com/kodo/1242/python#rs-stat

import os;
from qiniu import Auth, put_file, etag
from qiniu import BucketManager

# 全局变量
# 需要填写你的 Access Key 和 Secret Key
ACCESS_KEY='您申请的七牛云Access Key'
SECRET_KEY='您申请的七牛云Secret Key'

#要上传的空间
BUCKET_NAME = '您申请的七牛云空间名称bucket'

# 遍历文件
def scan_dir(path):
    for root, dirs, files in os.walk(path):
        for file in files:
            filePath=os.path.join(root, file)
            fileDir=os.path.dirname(filePath).replace('\\','/')
            fileKey=fileDir.replace(path,'_next/static')+'/'+file
            #print('fileDir:'+fileDir+',filePath:'+filePath+',fileKey:'+fileKey)
            #delfileKey(fileKey)
            #print("del fileKey："+fileKey+",success!")
            upload(filePath,fileKey)
            print("upload fileKey："+fileKey+",success!")
        for dir in dirs:
            dir=os.path.join(root, dir)
            print(dir)


def upload(filepath,fileKey):
    #构建鉴权对象
    q = Auth(ACCESS_KEY, SECRET_KEY)
    #要上传的空间
    bucket_name = BUCKET_NAME
    #上传后保存的文件名
    key=fileKey
    #生成上传 Token，可以指定过期时间等
    token = q.upload_token(bucket_name, key, 3600)
    #要上传文件的本地路径
    localfile = filepath
    print('key:'+key,"localfile:"+localfile)
    ret, info = put_file(token, key, localfile, version='v2') 
    print(info)
    assert ret['key'] == key
    assert ret['hash'] == etag(localfile)

def delfileKey(fileKey):
    #初始化Auth状态
    q = Auth(ACCESS_KEY, SECRET_KEY)
    #初始化BucketManager
    bucket = BucketManager(q)
    #你要测试的空间， 并且这个key在你空间中存在
    bucket_name = BUCKET_NAME
    key = fileKey
    #删除bucket_name 中的文件 key
    ret, info = bucket.delete(bucket_name, key)
    print(info)


# 如果该文件不是被import,则执行下面代码。
if __name__ == '__main__':
    scan_dir('./_next/static')

代码中几乎每行都有注释,这里不再赘述。

至此,代码已经编写完成,我们保存为next_package_upload.py文件。

接下来,就是让代码run起来。

我们再次访问一下网站，查看wasm文件资源的加载速度。

很显然从10s+提升到10ms内，性能大幅提升。

这里需要注意的是,每次发版我会先删除旧的文件，再上传新的文件。delfileKey方法可以根据您的实际选择使用或者不用。

没有安装python环境的新手同学可以参考《Python安装和使用教程（windows）》。

参考

《Python安装和使用教程（windows）》
《nextjs：如何将静态资源发布到 CDN》
《为静态资源添加路径前缀并支持发布到 CDN》

秒客网

python批量上传文件到七牛云

导航

引子

棘手的需求

化繁为简

实战案例

参考

相关文章