cloudfunc-geturilist:GCP Cloud功能可大规模提出Web请求,捕获对Cloud Storage存储桶的响应

时间:2024-05-03 23:40:31
【文件属性】:

文件名称:cloudfunc-geturilist:GCP Cloud功能可大规模提出Web请求,捕获对Cloud Storage存储桶的响应

文件大小:22KB

文件格式:ZIP

更新时间:2024-05-03 23:40:31

Go

CloudFunc-GetURIList CloudFunc-GetURIList是一种用Go语言编写的GCP云功能,可让您使用Google Cloud Storage存储桶进行输入和输出,以进行大规模(非JavaScript)网络请求并捕获HTTP / HTML响应。 与在自己的计算机上运行类似的代码相比,使用Cloud Functions可以使请求的扩展性更强-您可以像运行一个实例一样轻松地运行10或100个实例。 GetURIList处理上传到输入的Google Storage Bucket对象的URL text/uri-list ( text/uri-list文件,每行一个URL),获取每个URL的内容(跟随重定向),并保存最终内容(和HTTP响应标头) )到输出的Google Storage Bucket对象,每个请求的网址一个对象。 可以通过多种方式来命名输出对象,但是默


【文件预览】:
cloudfunc-geturilist-master
----LICENCE.md(1KB)
----.gcloudignore(543B)
----.ackrc(348B)
----.gitignore(142B)
----go.sum(44KB)
----geturilist.go(9KB)
----README.md(2KB)
----go.mod(170B)

网友评论