【文件属性】:
文件名称:spark-training:Apache Spark培训说明
文件大小:53KB
文件格式:ZIP
更新时间:2021-05-18 00:08:57
R
Spark –跨集群的快速闪电分析
001_preflight_check
在Scala中启动Spark Shell
./bin/spark-shell
如果Spark出现网络错误,请使用以下命令强制Spark使用本地网络。
SPARK_LOCAL_IP=127.0.0.1 ./bin/spark-shell
要减少冗长的日志, $SPARK_HOME/conf/log4j.properties.template复制到$SPARK_HOME/conf/log4j.properties ,然后将INFO更改为WARN以用于根记录程序。
- log4j.rootCategory=INFO, console
+ log4j.rootCategory=WARN, console
sc
sc.master
val data = 1 to 10000
val distData = s
【文件预览】:
spark-training-master
----.gitignore(51B)
----images()
--------spark-stack.png(32KB)
--------spark-logo.png(11KB)
----weblog-spark.md(449B)
----sparkR-csv-example.R(858B)
----README.md(12KB)
----Presentation.Rmd(2KB)
----R_spark_console_remote.R(2KB)
----ExamplesInPython.md(6KB)
----cars.csv(134B)