文件名称：spark_docker：用于本地部署和测试的Spark Docker容器
文件大小：50KB
文件格式：ZIP
更新时间：2024-03-06 08:23:24
Shell
此仓库基于并针对我自己的自定义进行了修改。 此存储库最初是为了使用docker.io容器使用Hadoop，Hive和Spark创建一个具有1个主节点和2个工作节点的3节点hadoop集群。 您可以在此处阅读有关原始项目的更多信息： : 更新：感谢pedro-glongaron，该项目现在有1个主节点，2个工人，1个边缘节点（带有Flume，Sqoop和Kafka !!），1个Hue服务节点，1个Zeppelin服务节点和1个Nifi节点。 注意：请确认Dockerfile中的下载链接仍处于活动状态。 对于Hadoop：从此处选择任意Hadoop版本> 2.0。 对于Hive：从此处选择Hive版本> 2.0.0（最好是<3> 2.0。 更新：通过安装python 2.7添加了pyspark支持...在spark Docke
【文件预览】：
spark_docker-main
----dockerhub_push.sh(443B)
----build.sh(733B)
----cluster.sh(9KB)
----configs()
--------mapred-site.xml(1KB)
--------hive-site.xml(2KB)
--------hdfs-site.xml(1KB)
--------core-site.xml(852B)
--------workers(12B)
--------hive-schema-2.3.0.postgres.sql(40KB)
--------nifi.properties(11KB)
--------init-hive-db.sh(970B)
--------hive-txn-schema-2.3.0.postgres.sql(4KB)
--------yarn-site.xml(2KB)
--------hue.ini(77KB)
----postgresql-hms()
--------Dockerfile(331B)
----hive()
--------Dockerfile(788B)
----test_data.csv(398B)
----nifi()
--------Dockerfile(1KB)
----LICENSE(11KB)
----README.md(3KB)
----hadoop()
--------Dockerfile(3KB)
----edge()
--------Dockerfile(1KB)
----hue()
--------Dockerfile(410B)
----.gitignore(51B)
----spark()
--------Dockerfile(2KB)
----zeppelin()
--------Dockerfile(1KB)