文件名称：SparkDeployTools:用于将 spark 自动部署到多节点的 Linux shell
文件大小：9KB
文件格式：ZIP
更新时间：2024-06-20 12:58:04
Shell
Spark自动部署工具 本工具有一些需要Expect工具的支持实现SSH用户名和密码自动登录。 1. linux\mscp 一键多节点拷贝，使用expect进行远程ssh登陆。可以实现自动解压缩tar文件，自动递归拷贝目录。会调用multicopy_server.sh，在远程实现分发拷贝。 原理：先拷贝到远程的一个节点，在从这个节点往其他节点拷贝，节省流量。 使用方法：./mscp.sh [-conf conf_file_name] -option sourcePath destDir 例如，在本地修改一个Spark-env.sh之后，将其上传到Spark目录的conf目录，覆盖原有的配置： ./mscp.sh -conf ./user_host_passwds -file ~/develop/conf/spark-env.sh /data/hadoopspark/spark-1.1.0-
【文件预览】：
SparkDeployTools-master
----spark()
--------switch-spark.sh(4KB)
--------user_host_passwds(65B)
----linux()
--------mscp.sh(6KB)
--------user_host_passwds(65B)
--------multidelete_server.sh(0B)
--------setenv.sh(3KB)
--------mrm.sh(2KB)
--------multicopy_server.sh(3KB)
--------user_host_passwds-root(66B)
----README.md(3KB)