文件名称：spark-examples:字数统计和一些基本的日志文件解析和分析
文件大小：2.4MB
文件格式：ZIP
更新时间：2024-07-09 20:17:30
Scala
使用 Vagrant 在任何机器上建立 Apache Spark。 还包括一些用于字数统计和日志文件处理的示例作业。 Vagrant 是 VirtualBox 的前端，允许在任何平台上轻松创建和启动虚拟机。 此处包含的 VagrantFile 将使用 Apache Spark 创建并完全配置 Linux VM。 有关 Vagrant 的更多详细信息，请参阅 Vagrant 站点。 依赖项： 克隆这个仓库 运行vagrant up 。 随着软件的下载和安装，这将需要一段时间。 然后，您将拥有一个正在运行的 VM，但您还没有连接到它。 运行vagrant ssh连接到你的虚拟机 cd spark-1.1.0-bin-hadoop1 （您的版本可能会有所不同，例如 spark-1.2.0-bin-hadoop1） 垃圾箱/火花壳 您现在处于 spark-shell 环境中 :load
【文件预览】：
spark-examples-master
----.vagrant()
--------machines()
----data()
--------http_logs.scala(2KB)
--------world_cup_10k(891KB)
--------world_cup_200k(17.41MB)
--------50krows.txt(904KB)
--------graph_process.scala(1KB)
--------wordcount.scala(738B)
--------macbeth.txt(103KB)
--------.http_logs.scala.swp(12KB)
--------twitter_edges_60k.txt(1.08MB)
----Vagrantfile(5KB)
----README.md(2KB)