文件名称：lambda上的spark：AWS Lambda上的Apache Spark
文件大小：19.28MB
文件格式：ZIP
更新时间：2024-02-25 16:55:58
aws lambda big-data spark apache-spark
注意：“此仓库包含易受攻击的代码，因此无论任何目的均不得将其用于任何目的。” Lambda上的Spark-自述文件 AWS Lambda是一种无服务器的功能即服务，可快速扩展并以100ms的粒度计费。 我们认为，看看能否在Lambda上运行Apache Spark会很有趣。 这是一个有趣的想法，为了进行验证，我们只是将其砍入原型中以查看其是否有效。 我们能够使它在Spark的调度程序和随机播放区域中进行一些更改而起作用。 由于AWS Lambda的最大运行时间限制为5分钟，因此我们必须改组外部存储。 因此，我们修改了Spark代码的混编部分，以对S3等外部存储进行混编。 这是一个原型，未经测