vagrant-hadoop-spark:使用 Hadoop 和 Spark 启动集群虚拟机的 Vagrant 项目

时间:2024-06-29 11:55:42
【文件属性】:

文件名称:vagrant-hadoop-spark:使用 Hadoop 和 Spark 启动集群虚拟机的 Vagrant 项目

文件大小:26KB

文件格式:ZIP

更新时间:2024-06-29 11:55:42

Shell

vagrant-hadoop-spark 介绍 使用 Hadoop v2.6.0 和 Spark v1.3.1 启动由 4 个虚拟机组成的集群的 Vagrant 项目。 node1 : HDFS NameNode + Spark Master node2 : YARN ResourceManager + JobHistoryServer + ProxyServer node3 : HDFS DataNode + YARN NodeManager + Spark Slave node4 : HDFS DataNode + YARN NodeManager + Spark Slave 入门 。 运行vagrant box add ubuntu/trusty64 Git 克隆这个项目,并将目录(cd)更改为这个项目(目录)。 运行vagrant up创建虚拟机。 运行vagr


【文件预览】:
vagrant-hadoop-spark-master
----.gitignore(117B)
----resources()
--------ssh()
--------spark()
--------hadoop()
----Vagrantfile(2KB)
----scripts()
--------setup-ubuntu-ssh.sh(2KB)
--------setup-spark-slaves.sh(501B)
--------common.sh(1KB)
--------setup-spark.sh(930B)
--------setup-java.sh(898B)
--------setup-hadoop-slaves.sh(505B)
--------setup-ubuntu-hosts.sh(1KB)
--------setup-hadoop.sh(1KB)
--------setup-ubuntu.sh(331B)
----README.md(6KB)

网友评论