文件名称:spark-with-graalvm:使用GraalVM EE加速Spark流程
文件大小:1.03MB
文件格式:ZIP
更新时间:2024-05-04 00:53:46
Java
使用GraalVM EE加速Apache Spark大数据流程 介绍 在本教程中,我们将使用GraalVM EE加速大数据处理。 正在使用以下软件。 装置 GraalVM Hadoop 设置单节点Hadoop集群。 我们将不涉及创建apache Hadoop / Spark cluser的所有细节。 按照Joshua Hruzik的以下视频设置您的Hadoop集群。 ! 本教程应该简单明了。 对于我的安装, HADOOP_HOME指向/usr/local/Cellar/hadoop/3.2.0/libexec/对于OSX用户,启动dfs后,对于Hadoop 3.0+版本,您可能会遇到警告 $HADOOP_HOME/sbin/start-all.sh WARN util.NativeCodeLoader: Unable to load native-hadoop library for
【文件预览】:
spark-with-graalvm-main
----wordcount-spark-scala()
--------src()
--------.idea()
--------build.sbt(159B)
----images()
--------hadoop-up-and-running.png(116KB)
--------hdfs-directory-browser.png(95KB)
--------spark-job-executed.png(266KB)
----wordcount-spark-java()
--------src()
--------.idea()
--------wordcount-spark-java.iml(80B)
--------pom.xml(807B)
----README.md(8KB)
----Makefile(178B)
----lorem.txt(59KB)
----.gitignore(278B)