object-lambda-transform:将CSV即时发送到Parquet的S3 Object Lambda示例

时间:2024-04-08 17:26:00
【文件属性】:

文件名称:object-lambda-transform:将CSV即时发送到Parquet的S3 Object Lambda示例

文件大小:587KB

文件格式:ZIP

更新时间:2024-04-08 17:26:00

Python

对象lambda变换 一个S3 Object Lambda示例,可将CSV即时转换为Parquet。 在查看相关文章 部署方式 部署由Lambda函数,IAM角色,日志组,S3存储桶和访问点组成。 部署使用。 npx serverless deploy 存储桶名称和Lambda访问点名称是根据您的帐户ID和区域生成的。 export BUCKET_NAME=object-lambda-transform-dev-1234567890123-us-east-1 export LAP_NAME=object-lambda-transform-dev-lambda-ap 跑步 其中包括一个示例CSV文件。要测试该功能,请先将csv复制到存储桶中。 aws s3 cp data/weather.csv s3://${BUCKET_NAME}/ 然后,使用AWS开发工具包(此处使用boto3)


【文件预览】:
object-lambda-transform-master
----package.json(251B)
----data()
--------weather.csv(1.99MB)
----LICENSE(11KB)
----package-lock.json(43KB)
----.npmignore(199B)
----serverless.yml(2KB)
----requirements.txt(30B)
----.gitignore(83B)
----README.md(2KB)
----handler.py(2KB)

网友评论