【文件属性】:
文件名称:spark-workshop:Codepot 2015研讨会的入门代码
文件大小:5.75MB
文件格式:ZIP
更新时间:2021-05-13 08:38:49
Shell
自述文件
这是Codepot 2015上的“使用Apache Spark深入数据”研讨会的入门项目。
先决条件
克隆此仓库
获得安装了Scala支持的IntelliJ Idea
入门项目结构
这是一个典型的sbt项目,其中将spark作为依赖项,并提供了一些框架类来帮助您入门。
我该如何工作?
您可以执行测试,例如org.codepot.jobs.ExampleSparkJobSpec
键入./sbt tests以运行所有测试
类型./sbt 'test-only ./sbt test-only org.codepot.jobs.ExampleSparkJobSpec'
如何写我自己的工作?
您可以按照org.codepot.jobs.Example的示例进行org.codepot.jobs.Example
演示版
一些纯文本数据的字数统计
显示火花
在独立程序中
在一个副本中
【文件预览】:
spark-workshop-master
----sbt(19KB)
----src()
--------test()
--------main()
----.gitignore(44B)
----project()
--------build.properties(19B)
--------Build.scala(557B)
----README.md(2KB)