文件名称:word源码java-spark_demo:spark_demo
文件大小:9KB
文件格式:ZIP
更新时间:2024-06-25 17:24:38
系统开源
word源码java 说明: yarn-client相当于是命令行 会将你输入的代码提交到yarn上面执行 yarn-cluster是将你写好的程序打成jar包然后提交到yarn上面去执行 然后yarn会将jar包分发到各个节点 并负责资源分配和任务管理 rack: null) dead for group 错误 参考: kafka server.properties 需要配置: listeners=PLAINTEXT://192.168.0.104:9092 , 不能够是PLAINTEXT://:9092 参考: spark on yarn 的支持两种模式 1)yarn-cluster:适用于生产环境; 2)yarn-client:适用于交互、调试,希望立即看到app的输出 spark on yarn 开发环境搭建: 集群规划:(不启动HA) 主机名 IP 安装的软件 运行的进程 c7 192.168.0.107 jdk、scala、hadoop、spark nameNode、ResourceManager、Master c8 192.168.0.108 jdk、sca
【文件预览】:
spark_demo-master
----.gitignore(339B)
----project()
--------plugins.sbt(0B)
--------build.properties(19B)
----src()
--------main()
----README.md(9KB)
----build.sbt(336B)