文件名称：大文件流：使用流处理方法读取大文件的POC应用程序
文件大小：11KB
文件格式：ZIP
更新时间：2024-03-24 00:32:48
Scala
大文件流 POC应用程序以流处理方法读取大文件 实施细节 实施了两种方法： 流：具有背压的简单缓冲以及与akka actor的聚合 Kafka：使用Kafka分离阅读和处理 怎么跑 技术栈 Scala2.13 sbt 1.4.7 Java 11 码头工人撰写 1-以给定的格式生成一个大型的csv文件 1, "DE" 2, "NL" 1, "US" 3, "US" 您可以通过运行largecsvgenerator.go来创建10G文件。 警告名为largefile.csv的文件必须位于项目的根文件夹中。 1-运行流解决方案 > export SOLUTION="stream" > sbt run 2-运行kafka解决方案 使用docker-compose启动kafka > docker-compose up 然后 > export SOLUTION="kafka" > sbt