rsync服务架设(数据同步|文件增量备份)

时间:2022-06-06 19:10:13

    近期由于业务需要,需要将两台服务器数据保持同步。方案有很多,rsync是其中一种解决方案,本文对rsync的安装及配置进行简单说明,其他实现方式有兴趣可以研究。以下是本文提纲,供参考:

  • rsync安装篇
  • rsync配置篇(服务器端&客户端)
  • 使用方法简介

一、rsync安装篇

    rsync的安装于其他linux应用安装方法相同,在centos系统,可通过以下命令安装

yum install rsync

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }   

    对于debian、ubuntu服务器,可使用以下命令:

sudo apt-get  install  rsyn

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

    安装完成后可使用命令rsync进行测试,如安装成功,会有以下提示:

rsync服务架设(数据同步|文件增量备份)

 

二、rsync配置篇(服务器端&客户端)

    rsync服务器端可以理解为需要备份同步的主服务器,客户端可以理解为数据同步目标服务器。

    1、rsync服务器端配置:

        rsync服务器端正常运行需要三个配置文件:rsyncd.conf、rsyncd.secrets和rsyncd.motd,软件安装完成后默认是没有这三个配置文件的,需要手动创建,我们通过以下命令,创建相关目录及文件:

mkdir /etc/rsyncd/

touch /etc/rsyncd/rsyncd.conf
touch /etc/rsyncd/rsyncd.secrets
touch /etc/rsyncd/rsyncd.motd chmod 600 /etc/rsyncd/rsyncd.secrets

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }    首先创建配置文件存放目录,这里使用/etc/rsyncd,之后建立三个配置文件。其中rsyncd.secrets为用户及密码存放文件,为了密码的安全性,我们把权限设为600。

    rsyncd.conf是rsync服务器的主要配置文件,配置信息基本都在此文件包含。rsyncd.secrets为用户及密码存放文件。rsyncd.motd 存放客户端登陆后的欢迎提示信息(好纠结)。

    下面为三个配置文件写入配置信息。

    rsyncd.conf 配置文件主要信息如下

#Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help # This line is required by the /etc/init.d/rsyncd script
pid file=/var/run/rsyncd.pid
port=10086
address=192.168.162.9
#uid = nobody
#gid = nobody
uid=root
gid=root use chroot=yes
read only=no #limit access to private LANs
hosts allow=192.168.162.127
hosts deny=* max connections = 5
motd file = /etc/rsyncd/rsyncd.motd #This will give you a separate log file
#log file = /var/log/rsync.log #This will log every file transferred - up to 85,000+ per user, per sync
#transfer logging = yes log format = %t %a %m %f %b
syslog facility = local3
timeout = 300 [config_m]
path=/usr/local/config_m
auth users=sunguangran
secrets file=/etc/rsyncd/rsyncd.secrets [jboss_home]
path=/usr/local/jboss-as-7.1.0.Final
exclude=/usr/local/jboss-as-7.1.0.Final/standalone/tmp
auth users=sunguangran
secrets file=/etc/rsyncd/rsyncd.secrets

    密码文件 rsyncd.secrets 的内容格式:

sunguangran:000000

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

    rsyncd.motd 文件内容可以随便写,用于在客户端登陆服务后显示的欢迎文字。

    rsyncd.conf 配置项较多,具体配置可google   rsync配置项说明,没google知道的多,这里就不多说了 哈

    此外,需要在服务器端开通相应端口的防火墙,以便客户端能够访问到服务。

 

三、使用方法简介

  1. 服务器端

        上述三个配置文件准备好后,在服务器执行以下脚本,启动rsync服务:

   /usr/bin/rsync –daemon --config=/etc/rsyncd/rsyncd.conf

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }    

    2、客户端

        客户端通过以下脚本同步数据:

   /usr/bin/rsync -avzP --delete --port 10086 sunguangran@192.168.162.9::config_m /usr/local/config_m

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }         注: 这个命令的意思就是说,用sunguangran用户登录到服务器上,把config_m(服务器配置节点名称)数据,同步到本地目录/usr/local/config_m上。当然本地的目录是可以你自己定义的。当你在客户端上,当前操作的目录下没有/usr/local/config_m这个目录时,系统会自动为你创建一个;当存在该目录中,要注意它的写权限。

        使用这种方式进行同步是,在链接服务器成功后,需要手动个输入密码。我们期望做成系统定时任务,定期同步数据,可以使用以下方式,将密码从文件中读取。

    我们加一个选项 --password-file=/etc/rsyncd/rsyncd.secrets,这是当我们以sunguangran用户登录rsync服务器同步数据时,密码将读取 rsyncd.secrets 这个文件。这个文件内容只是sunguangran用户的密码。我们要如下做:

touch rsyncd.secrets
chmod 600 rsyncd.secrets
echo "000000"> rsyncd.secrets
rsync -avzP --delete --port 10086 --password-file=/etc/rsyncd/rsyncd.secrets sunguangran@192.168.162.9::config_m /usr/local/config_m

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

    这样就不需要手动输入密码文件了,可以手动将需要同步的目录写成shell脚本,做成系统定时任务。

    新建一个文件 rsync_task.sh,加入以下两行代码:

/usr/bin/rsync -avzP --delete --port 10086 --password-file=/etc/rsyncd/rsyncd.secrets sunguangran@192.168.162.9::config_m /usr/local/config_m
/usr/bin/rsync -avzP --delete --port 10086 --password-file=/etc/rsyncd/rsyncd.secrets sunguangran@192.168.162.9::jboss_home /usr/local/jboss-as-7.1.0.Final

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

    建立系统定时任务,输入crontab -e,输入以下内容:

0,30 * * * * /etc/rsyncd/rsync_task.sh

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

    保存退出,客户端服务器每个小时的0分和30分时都会自动运行一次rsync_task.sh

    rsync除了同步文件及目录之外,还可以利用它来实现对远程网站的远程备份。如果再结合脚本和Crontab就能实现定时自动远程备份。其可以实现与商业化的备份和镜象产品的类似效果,但完全免费。

 

    本文主要针对环境搭建及实现进行了简单说明,如果对其中具体配置项意义感兴趣,可进行查询,这里不做赘述。