scp 上传文件到多个服务器节点

时间：2021-04-18 13:14:19

参考：scp批量上传文件到多台机器上(升级版)

实测，代码可运行.

1.如果遇到syntax error near unexpected token问题，基本是由于windows环境下编写的shell脚本上传到UNIX中包含了^M引起的。

使用remove_ctrlM.sh替换掉sh脚本中的^M字符，也可以使用 vi -b your_file编辑文件。

如果scp.conf报syntax error near unexpected token问题，则vi -b scp.conf编辑此配置文件，替换掉其中的特殊字符。

2.如果遇到source: not found的异常，查看ubuntu12.04中shell脚本无法使用source的原因及解决方法。

原作者的脚本在copy dir的时候，会将整个dir目录拷贝至 target中，这跟scp命令本身有关。

scp -r ./code/oaf/* huanghongbo@192.168.233.136:$JAVA_TOP会仅拷贝oaf目录下的文件及文件夹至$JAVA_TOP

但是此处不能用sh multi_scp.sh ./scp.conf ./code/oaf/* $JAVA_TOP,会抛出异常。

所以我针对想仅拷贝目录下的文件及文件夹做了一点改动。

把multi_scp.sh中的

/usr/bin/expect scp_upload.sh "$ssh_host" "$ssh_port" "$ssh_user" "$ssh_password" "$scp_file" "$scp_target"

改为了

if [ -d "$scp_file" ]

then

for f in ` ls "$scp_file"`

do

/usr/bin/expect scp_upload.sh "$ssh_host" "$ssh_port" "$ssh_user" "$ssh_password" "$scp_file/$f" "$scp_target"

done

else

#scp file or dir

/usr/bin/expect scp_upload.sh "$ssh_host" "$ssh_port" "$ssh_user" "$ssh_password" "$scp_file" "$scp_target"

fi

version2，拷贝目录至target.

version3，仅拷贝目录下的内容至target.

鉴于此种方式需要使用linux的expect模块，我又写了一个简陋的scp，此种方式需要在每次执行scp的时候交互式的输入scp的密码，但是特别繁琐，所以就想到了加入ssh信任免密码登录。

Step 1. Linux基础 - scp免密码登陆进行远程文件同步

Step 2. $ sh scp2multi_nodes.sh（下载）

#!/bin/bash

ssh_hosts=("192.168.233.136" "192.168.233.137")

default_ssh_user="huanghongbo"

default_ssh_password="huanghongbo"

default_ssh_port=""

port=$default_ssh_port

scp_file=./code/oaf/

target=$JAVA_TOP

scpuser=$default_ssh_user

for((i=;i<${#ssh_hosts[@]};i++))

do

#remote ssh host

scphost=${ssh_hosts[$i]}

echo $i node ,host is $scphost

#echo "["`date +"%F %T"`"] (scp -r $scp_file $ssh_user@$ssh_host:$ssh_port:$scp_target) start" 

echo "["`date +"%F %T"`"] (scp -r -P $port $scp_file $scpuser@$scphost:$target  ) start"

#scp -q -r -P $port $scp_file/* $scpuser@$scphost:$target

#-q 不显示传输进度

scp -r -P $port $scp_file/* $scpuser@$scphost:$target

if [ "$?" -eq "" ]

then

success_hosts="$success_hosts,$scphost"

else

fail_hosts="$fail_hosts,$scphost"

fi 

echo "["`date +"%F %T"`"] (scp -r -P $port $scp_file $scpuser@$scphost:$target  ) end"    

done

echo "success_hosts=[$success_hosts]"

echo "fail_hosts=[$fail_hosts]"

PS:

1.示例中的target都是使用的环境变量$JAVA_TOP,如果remote环境和local环境的$JAVA_TOP环境变量不一致，则会导致传输到错误的路径或者scp:***：No such file or directory。

在scp中如何获取remote环境的环境变量，我暂时还没找到方法。

看到的一种比较合理的解释是

How is it supposed to know what the remote variables values are? scp/rcp DO NOT execute a .profile or any login script. They establish a connection to the remote server only.

2.Expect在这个程序里就是用来帮助自动输入scp的密码,Expect主要用于把需要人工交互的程序变为程序自动化完成，这个对于运维批量部署系统,批量无人值守安装，批量执行命令，批量上传下载
　现代的Shell对程序提供了最小限度的控制(开始，停止，等等)，而把交互的特性留给了用户。 这意味着有些程序，你不能非交互的运行，比如说passwd。 有一些程序可以非交互的运行，但在很大程度上丧失了灵活性，比如说fsck。这表明Unix的工具构造逻辑开始出现问题。Expect恰恰填补了其中的一些裂痕，解决了在Unix环境中长期存在着的一些问题。

default_ssh_user="huanghongbo" 
default_ssh_password="huanghongbo"
default_ssh_port="22"
 
port=$default_ssh_port
scp_file=./code/oaf/
target=$JAVA_TOP
scpuser=$default_ssh_user
 
for((i=0;i<${#ssh_hosts[@]};i++))  
do
#remote ssh host  
scphost=${ssh_hosts[$i]}
echo $i node ,host is $scphost
#echo "["`date +"%F %T"`"] (scp -r $scp_file $ssh_user@$ssh_host:$ssh_port:$scp_target) start" 
 
echo "["`date +"%F %T"`"] (scp -r -P $port $scp_file $scpuser@$scphost:$target  ) start"
#scp -q -r -P $port $scp_file/* $scpuser@$scphost:$target
#-q 不显示传输进度
 
scp -r -P $port $scp_file/* $scpuser@$scphost:$target
 
if [ "$?" -eq "0" ]  
then 
success_hosts="$success_hosts,$scphost" 
else 
fail_hosts="$fail_hosts,$scphost" 
fi 
 
echo "["`date +"%F %T"`"] (scp -r -P $port $scp_file $scpuser@$scphost:$target  ) end"    
 
done  
echo "success_hosts=[$success_hosts]" 
echo "fail_hosts=[$fail_hosts]" 

相关文章