centos linux 系统日常管理4 scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法 第十七节课

时间:2022-08-20 16:06:48

centos linux 系统日常管理4  scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法  第十七节课

rsync可以增量同步,scp不行

注意:修改sshd_config文件时候,port字段,sshd不支持监听小于1024 ,1~1023不允许自定义(保留端口)

注意:scp和rsync都可以用密钥登录,避免输入密码,关闭selinux

注意:当目标文件存在的情况下,scp跟rsync都会支持覆盖目标文件,不会询问,而第一次scp或rsync的时候都会询问你是否保存scp或rsync密码

注意:rsync不能自己创建目录,需要预先创建好目录,否则报错

rsync顺序和scp顺序如果觉得难记可以这样,右边永远都是目标,只是远程目标还是本地目标,左边用于都是源,只是远程源还是本地源

scp   源     目标
rsync 源 目标

可以保留属主 属组权限:rsync -a ,cp -p

不可以保留属主 属组权限:scp -p

上半节课

scp

下半节课

rsync

md5sum

sha1sum

strace

find

scp  (有流量控制、有传输加密、有传输压缩)
1、不加任何用户名,则默认以root用户连接
2、两边都需要安装openssh-clients包,ssh,scp,rsync都要安装这个包: yum install -y openssh-clients 
3、两边都尽量写绝对路径
scp a/a.txt a/b.txt a/c.txt B: 会把a.txt b.txt c.txt 也拷贝过去,而不是只拷贝c.txt这个文件 ,要加a/目录才能拷贝多个文件,不加a/目录只能拷a.txt这个文件: scp a.txt b.txt c.txt B:

选项
-p 和cp一样,保留原文件的修改时间,访问时间和访问权限,不会保留属主和属组,scp没有rsync的-g 所属组,-o 所属主选项

-p Preserves modification times, access times, and
modes from the original file.

-r 和cp一样,递归复制整个目录
-1 强制scp命令使用协议ssh1
-2 强制scp命令使用协议ssh2
-4 强制scp命令只使用IPv4寻址
-6 强制scp命令只使用IPv6寻址
-B 使用批处理模式(传输过程中不询问传输口令或短语)
-C 允许压缩。(compression 将-C标志传递给ssh,从而打开压缩功能)
-q 不显示传输进度条。
-v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接,验证和配置问题。
-c cipher 以cipher将数据传输进行加密,这个选项将直接传递给ssh。
-F ssh_config 指定一个替代的ssh配置文件,此参数直接传递给ssh。
-i identity_file 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh。
-l limit 限定用户所能使用的带宽,以Kbit/s为单位。
-o ssh_option 如果习惯于使用ssh_config(5)中的参数传递方式,
-P port 注意是大写的P, port是指定数据传输用到的端口号
-S program 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

a目录下的文件拷到b目录下: scp -r a/ 192.168.1.12:/tmp/b/ 
拷贝目录包括a: scp -r a 192.168.1.12:/tmp/b 
远程到本地 : scp -p -P root@127.0.0.1:/tmp/123.txt /root//.txt

示例
目录到目录
/root/123/目录下的文件复制到/tmp/123/目录并保留权限 ,/tmp/123/目录不需要预先创建: scp -r -p /root// root@127.0.0.1:/tmp/  
目录到目录下
/root/123/目录下的文件复制到/tmp/123/目录并保留权限并压缩: scp -C -r -p /root// root@127.0.0.1:/tmp//  
文件到文件
/root/123/目录下的2.txt文件复制到/tmp/目录下并保留权限,并指定端口22: scp -p -P /root//.txt root@127.0.0.1:/tmp/123.txt

/root/123/2.txt root@127.0.0.1:/tmp/123/ :这样会报错, 123/不是一个文件

注意两点:
1.如果远程服务器防火墙有特殊限制,scp便要走特殊端口,具体用什么端口视情况而定
2.使用scp要注意所使用的用户是否具有可读取远程服务器相应文件的权限。


下半节课

rsync(有加密传输,有流量控制,有断点续传,有传输压缩)

当前登录用户:root
远端和本地都必须要安装rsync: yum install -y rsync

上传#模块名test

rsync /tmp/.txt username@ip:/tmp/.txt
rsync /tmp/.txt username@ip::test/.txt

下载

rsync username@ip:/tmp/.txt /tmp/.txt
rsync username@ip::test/.txt /tmp/.txt

rsync -a (-r 递归 -l 保留软链接 拷贝过去也是软链接不是真正的文件 -p 保留权限,比如755,过去也是755,-t 保留三个time ,-g 所属组 -o 所属主 -D 设备)
-r 递归 recursive
-l 保留软链接 拷贝过去也是软链接不是真正的文件
-p preserve保留权限,比如755,过去也是755
-t 保留三个time
-g 所属组
-o 所属主
-D 设备
-v 可视化
-L 软链接所指向的源文件也拷贝过去
-z 压缩 zip
-u 远端文件有更新 ,如果源比目标还要旧,防止源覆盖目标,加上u不覆盖目标文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输 ,断点续传
--delete 删除源没有,而目标有的文件
--exclude 过滤文件或目录
--progess 传输进度
--bwlimit 限速 ,单位KB/s
--delete-before 在传输之前删除源端文件实际不传输 receiver deletes before transfer (default)
-d 不传输子目录 --dirs transfer directories without recursing
-H 保留硬链接 --hard-links preserve hard links
--stats 显示状态 give some file-transfer stats
--copy-unsafe-links 复制不安全链接 only "unsafe" symlinks are transformed
--safe-links 忽略符号链接 ignore symlinks that point outside the tree
d -a -H -v --progress --stats /空目录/ /目标路径/
--files-from
--exclude-from
rsync -av --files-from=/root/syncto.txt --exclude-from=/root/excludefile.txt / /tmp/
注意:源路径要从根开始,会在目标目录下创建完整路径目录,比如/usr/2.usr,会在tmp目录下创建usr目录并复制2.usr过去

vi /root/syncto.txt
/root/pgsql2.txt
/root/pgsql3.txt
/usr/2.usr

vi /root/excludefile.txt
/root/excludefile.txt
/root/pgsql3.txt

The --relative (-R) 递归是隐式默认选项把/root/syncto.txt里的目录里面的文件都复制option is implied, which preserves the path  information  that  is
                 specified  for  each item in the file (use --no-relative or --no-R if you want to turn
                 that off).

o      The --dirs (-d) 目录是隐式默认选项 会自动创建完整路径 option is implied, which will create directories specified in the list
                 on  the  destination rather than noisily skipping them (use --no-dirs or --no-d if you
                 want to turn that off).

o      The --archive (-a) 非隐式默认选项 option’s behavior does not imply --recursive (-r),  so  specify  it
                 explicitly, if you want it.

tmp]# ll
total 5444
dr-xr-x--- 2 root root   4096 Jan 26 19:55 root
drwxr-xr-x 2 root root   4096 Jan 26 19:51 usr

http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4189580&extra=page%3D1%26filter%3Dauthor%26orderby%3Ddateline%26orderby%3Ddateline

rsync 同步判断标准:
文件信息 类似于inode ,文件信息不一样,则只同步文件信息 而不会同步文件内容
文件内容 文件内容不一样,则只同步文件内容 ,而不会同步文件信息
文件名相同不相同,不作为判断标准,他只判断文件信息和文件内容

只拷贝软链接: rsync -avl usr/ /tmp// 
拷贝实际文件: rsync -avL usr/ /tmp// 
不拷贝软链接,排除a选项里面的l选项: rsync -a --no-l -v usr/ /tmp// 
压缩: rsync -avLz usr/ /tmp// 
删除源没有,而目标有的文件: rsync -av --delete usr/ /tmp// 
过滤

rsync -av --exclude="*.txt" --exclude="*.ipt" usr/    /tmp//
rsync -av --exclude="bin" usr/ /tmp// //排除bin目录

或者
 rsync -av --exclude="*bin" usr/ /tmp// 
显示速度和进度: rsync -av --progess usr/ /tmp// 
限制速度为100KB: rsync -av --bwlimit= usr/ /tmp//

上传: rsync -avzL /root/usr/ root@192.168.21.112:/tmp/usr/ 
下载: rsync -avzL root@192.168.21.112:/tmp/usr/ ./usr/  
指定端口: rsync -avzL -e "ssh -p 2220" 192.168.21.112:/tmp/usr/ /usr/

示例  服务器1Mbps带宽,速度非常慢

rsync -avzL -e "ssh -p 12322"  /usr/  steven@162.189.86.58:/tmp/usr/

# du -sh /tmp/usr
39M /tmp/usr

-c:Ciphers 指定传输加密算法: rsync -apur --stats --progress -e "ssh -c arcfour" bigfile.dat root@192.168.27.142:/tmp/

http://blog.chinaunix.net/uid-16728139-id-3265394.html

http://www.cnblogs.com/MYSQLZOUQI/p/4883519.html

注意:使用rsync要注意所使用的用户是否具有可读取远程服务器相应文件的权限。

CS的连接模式

只需三步
1、写一个/etc/rsyncd.conf 配置文件
2、rsync --daemon 启动服务
3、是否监听873端口 netstat -lnp |grep 873

默认去使用/etc/rsyncd.conf这个配置文件,也可以指定配置文件 rsync --daemon --config=/etc/rsyncd2.conf
/etc/rsyncd.conf 里可以做注释,但是要写成单独的一行,不能和配置内容写在同一行里
修改了rsyncd.conf文件 马上生效,不需要重启服务,这么多服务rsync是不需要重启服务马上生效的

rsync应用实例 - 后台服务方式
配置文件 /etc/rsyncd.conf ,内容如下:
#port=873 #监听端口默认为873,也可以是别的端口
log file=/var/log/rsync.log #指定日志
pid file=/var/run/rsyncd.pid #指定pid
#address=192.168.0.10 #可以定义绑定的ip
----------------------------------------------------------
以上部分为全局配置部分,以下为模块内的设置
[test] #为模块名,自定义
path=/root/rsync # 指定该模块对应在哪个目录下
use chroot=true #是否限定在该目录下,默认为true,当有软连接并且rsync同步的时候指定了L选项,需要改为fasle
max connections=4 # 指定最大可以连接的客户端数
read only=no #是否为只读
list=true #是否可以列出模块名 最好设置为false 更安全
uid=root #以哪个用户的身份来传输 传过去之后,文件的uid就为root ,可以去掉保留源权限
gid=root #以哪个组的身份来传输 传过去之后,文件的gid就为root,可以去掉保留源权限
#auth users=test #指定验证用户名,可以不设置 用hosts allow来限制来访的主机就可以保证足够安全,这个用户跟系统用户无关,可以随便输入一个用户名
#secrets file=/etc/rsyncd.passwd #指定密码文件,如果设定验证用户,这一项必须设置,使用密码文件就不需要输入密码了,可以写在脚本里定时调用
hosts allow=192.168.0.101 #设置可以允许访问的主机,可以是网段,白名单

/etc/rsyncd.conf 文件示例

#port=
log file=/var/log/rsync.log
pid file=/var/run/rsyncd.pid
#address=192.168.0.10
[test]
path=/root/rsync/
use chroot=true
max connections=
read only=no
list=false
uid=root #一定不能注释掉
gid=root #一定不能注释掉
exclude = install.log install.log.syslog anaconda-ks.cfg
auth users=test
secrets file=/etc/rsyncd.passwd
hosts allow=192.168.0.101

指定模块名: rsync -av .txt 192.168.31.112::test/.txt 
列出模块名: rsync 192.168.31.112::

rsync服务是否已经启动

$ ps aux |grep rsync |grep -v grep
root 0.0 0.0 ? Ss : : rsync --daemon

密码文件/etc/rsyncd.passwd的内容格式为:username:password

在服务器端创建一个文件:/etc/rsyncd.passwd,
vi /etc/rsyncd.passwd
test:123456 //密码只能明文
chmod 600 /etc/rsyncd.passwd

客户端
rsync -av --password-file=/etc/rsyncd.passwd 3.txt test@192.168.1.12::test/6.txt //注意test用户
在/etc/rsyncd.passwd 里直接写密码,密码只能明文
chmod 600 /etc/rsyncd.passwd

杀死rsync服务: killall rsync

rsync同步的时候注意服务器和客户端上的UID,客户端不一定有服务器上的用户

centos linux 系统日常管理4  scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法  第十七节课

centos linux 系统日常管理4  scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法  第十七节课


md5sum

sha1sum

md5sum与sha1sum命令用于对文件进行校验和

安装了Linux后,就会有md5sum这个工具,直接在命令行终端直接运行

1、使用md5sum来产生指纹(报文摘要)命令如下:
 md5sum filename > filename.md5 
或者
 md5sum filename >>filename.md5

2、使用md5报文摘要验证文件
把下载的文件file和该文件的file.md5报文摘要文件放在同一个目录下,然后用如下命令进行验证:
md5sum -c filename.md5

md5sum filename > filename.md5
然后如果验证成功,则会输出:正确

md5sum与sha1sum命令用于对文件进行校验和,如:
$ md5sum a.txt
f377aaac2f5d73e805212e5d6249cf5b4b4d8ce2 a.txt
md5sum命令也可以接受多个文件或通配符,如:
$ md5sum file1 file2 file3 …  或md5sum  /tmp/*
[checksum1] file1
[checksum2] file2
[checksum3] file3

$ md5sum *.txt
[checksum1] a.txt
[checksum2] b.txt
[checksum3] c.txt

-c选项可以用生成的md5文件核实数据的完整性,把源文件file和该文件的file.md5报文摘要文件放在同一个目录下,如:
$ md5sum a.txt > a.md5
$ md5sum –c a.md5
a.txt: OK
SHA1与md5类似,是另一种常用的校验和算法。它从给定的输入文件中生成一个长度为40个字符的十六进制串。命令为sha1sum,使用方法与md5sum类似。

# cd /root/
# md5sum .txt >.txt.md5
# ll
总用量
-rw-r--r-- root root 10月 : .txt
-rw-r--r-- root root 10月 : .txt
-rw-r--r-- root root 10月 : .txt.md5
-rw-r--r-- root root 10月 : .txt
-rw-r--r-- root root 10月 : .txt
-rw-r--r-- root root 2月 test
# cat .txt.md5
7ed0097d7e9ee73cf0952a1f0a07c07e .txt
# md5sum -c .txt.md5
.txt: 确定

strace 

http://www.apelearn.com/bbs/thread-585-1-1.html

如果某些服务没有记录日志的,例如sshd,可以安装strace来跟踪一下

strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界,进程不能直接访问硬件设备,当进程需要访问硬件设备(比如读取磁盘文件,接收网络数据等等)时,必须由用户态模式切换至内核态模式,通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数,返回值,执行消耗的时间。

strace 命令是一种强大的工具, 能够显示任何由用户空间程式发出的系统调用. strace 显示这些调用的参数并返回符号形式的值. strace 从内核接收信息, 而且无需以任何特别的方式来构建内核. strace 的每一行输出包括系统调用名称, 然后是参数和返回值.

strace使用参数

-p 跟踪指定的进程
-f 跟踪由fork子进程系统调用
-F 尝试跟踪vfork子进程系统调吸入,与-f同时出现时, vfork不被跟踪
-o filename 默认strace将结果输出到stdout。通过-o可以将输出写入到filename文件中
-ff 常与-o选项一起使用,不同进程(子进程)产生的系统调用输出到filename.PID文件
-r 打印每一个系统调用的相对时间
-t 在输出中的每一行前加上时间信息。 -tt 时间精确到微秒级。还可以使用-ttt打印相对时间
-v 输出所有系统调用。默认情况下,一些频繁调用的系统调用不会输出
-s 指定每一行输出字符串的长度,默认是32。文件名一直全部输出
-c 统计每种系统调用所执行的时间,调用次数,出错次数。
-e expr 输出过滤器,通过表达式,可以过滤掉你不想要的输出

安装: yum install -y strace

跟踪sshd服务重启过程: strace /etc/init.d/sshd restart

跟踪某个进程

#netstat -nltp|grep nginx
tcp 0.0.0.0: 0.0.0.0:* LISTEN /nginx
# strace -p
Process attached - interrupt to quit
rt_sigsuspend([]
^C <unfinished ...>
Process detached

find

根据inode号删除文件

$ ls -li
11883412-rw-r--r-- 1 oracle dba 254 Jan 31 19:21 \
find ./ -inum 11883412 |xargs rm -f

在log文件里看到错误信息:log file=/var/log/rsync.log

后来发现是因为/etc/rsyncd.conf文件里模块名没有加右]  ,不知道为什么,都是复制粘贴过去的

[webbak
path=/mydata/bak/webbak/
use chroot=true

Badly formed line in configuration file: webbak

tail /var/log/rsync.log
// :: [] params.c:pm_process() - Failed. Error returned from params.c:parse().
// :: [] rsync error: syntax or usage error (code ) at clientserver.c() [receiver=3.0.]
// :: [] params.c:Section() - Badly formed line in configuration file: webbak
// :: [] params.c:pm_process() - Failed. Error returned from params.c:parse().
// :: [] rsync error: syntax or usage error (code ) at clientserver.c() [receiver=3.0.]
// :: [] params.c:Section() - Badly formed line in configuration file: webbak
// :: [] params.c:pm_process() - Failed. Error returned from params.c:parse().
// :: [] rsync error: syntax or usage error (code ) at clientserver.c() [receiver=3.0.]

/etc/rsyncd.conf配置域名白名单

可以写个脚本,每分钟(添加任务计划)ping那个域名,把得到的ip和你的配置文件比较,如果相同不理他,不同了,就改一下
适合家里没有固定IP,用花生壳做域名的情况

Rsync 常见错误及解决方法

http://www.tuicool.com/articles/me2IFjf

由于阿里云SLB不提供ECS间的数据同步服务,如果部署在SLB后端ECS上的应用服务是无状态的,那么可以通过独立的ECS或RDS服务来存储数据;如果部署在SLB后端ECS上的应用服务是有状态的,那么需要确保这些ECS上的数据是同步的。

centos linux 系统日常管理4  scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法  第十七节课

我们通过Rsync来实现多个ECS之间的数据同步。

通过Rsync来实现多个ECS之间的数据同步
通过Rsync来实现多个ECS之间的数据同步,请查看此文。

问题 @ERROR: chroot failed

@ERROR: chroot failed rsync error: error starting client-server protocol (code 5) at main.c(1503) [receiver=3.0.6]

原因:

服务器端的目录不存在或无权限。

解决办法:

创建目录并修正权限可解决问题。

问题 skipping non-regular file

receiving incremental file list

skipping non-regular file “vendor/bin/doctrine”

skipping non-regular file “vendor/bin/doctrine.php”

sent 1990 bytes received 489209 bytes 327466.00 bytes/sec total size is 182515746 speedup is 371.57

原因:

source源文件有软链接。

解决方法:

修改为 rsync -va,其中 -a == -rlptgoD (no -H,-A,-X) 或者 rsync -rvltOD 也可以。

解决后:

receiving incremental file list

vendor/bin/doctrine -> ../doctrine/orm/bin/doctrine

vendor/bin/doctrine.php -> ../doctrine/orm/bin/doctrine.php

sent 1998 bytes received 489279 bytes 327518.00 bytes/sec total size is 182515746 speedup is 371.51

问题@ERROR: module is read only

sending incremental file list

ERROR: module is read only

rsync error: syntax or usage error (code 1) at main.c(866) [receiver=3.0.6]

rsync: read error: Connection reset by peer (104)

rsync error: error in rsync protocol data stream (code 12) at io.c(759) [sender=3.0.6]

原因:

source源服务器端权限设置read为only只读权限。

解决方法:

read only = false

问题@ERROR: auth failed on module tee

@ERROR: auth failed on module tee rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.6]

原因:

服务器端该模块(tee)需要验证用户名密码,但客户端没有提供正确的用户名密码,认证失败。

解决方法:

提供正确的用户名密码解决此问题。

问题 @ERROR: Unknown module ‘tee_nonexists’

@ERROR: Unknown module ‘tee_nonexists’ rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.6]

原因:

服务器不存在指定模块。

解决方法:

提供正确的模块名或在服务器端修改成你要的模块以解决问题。

问题 password file must not be other-accessible

password file must not be other-accessible

continuing without password file

Password:

原因:

这是因为rsyncd.pwd rsyncd.secrets的权限不对,应该设置为600。

解决方法:

chmod 600 rsyncd.pwd

问题 rsync: failed to connect No route to host

rsync: failed to connect to 192.168.1.10: No route to host (113) rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=3.0.6]

原因:

对方没开机、防火墙阻挡、通过的网络上有防火墙阻挡,都有可能。

解决方法:

在iptables 中开放该端口,语句如下:

iptables -I INPUT -p tcp –dport 873 -j ACCEPT

rsync默认端口873,其实就是把tcp udp的873端口打开。

问题 rsync error: error starting client-server protocol

rsync error: error starting client-server protocol (code 5) at main.c(1524) [Receiver=3.0.6]

原因:

/etc/rsyncd.conf配置文件内容有错误。请正确核对配置文件。

问题 rsync: chown “” failed: Invalid argument (22)

rsync: chown “” failed: Invalid argument (22)

原因:

权限无法复制。去掉同步权限的参数即可。(这种情况多见于Linux向Windows的时候)

问题 @ERROR: daemon security issue — contact admin

@ERROR: daemon security issue — contact admin rsync error: error starting client-server protocol (code 5) at main.c(1530) [sender=3.0.6]

原因:

同步的目录里面有权限不足的软连接文件,需要服务器端的/etc/rsyncd.conf打开use chroot = yes。

问题 rsync: read error: Connection reset by peer (104)

rsync: read error: Connection reset by peer (104) rsync error: error in rsync protocol data stream (code 12) at io.c(794) [receiver=3.0.6]

解决:很大可能是服务器端没有开启 rsync 服务,开启服务。

问题 @ERROR: failed to open lock file

@ERROR: failed to open lock file rsync error: error starting client-server protocol (code 5) at main.c(1495) [receiver=3.0.6]

解决:配置文件 rsync.conf 中添加 lock file = rsyncd.lock 即可解决。

问题 /root/.bashrc: line 1: x: command not found
protocol version mismatch -- is your shell clean?
(see the rsync man page for an explanation)
rsync error: protocol incompatibility (code 2) at compat.c(171) [sender=3.0.6]

解决:检查一下 用户目录下的 .bashrc 文件


scp、rsync、ftp的功能总结

客户端:scp ,rsync,lftp

服务端:vsftp,sshd,rsync

断点续传:winscp、lftp、rsync

加密传输:rsync、scp、FTP(需要服务器端支持)

压缩传输:scp、rsync

流量控制:scp、rsync、lftp

通过比较,Linux下能取代FTP协议的服务器端和客户端软件只有rsync

http://www.cnblogs.com/MYSQLZOUQI/articles/4911707.html

f