详解rsync，一款卓越的增量同步工具（一）

Rsync (remote rsync) 是可以实现 增量备份 的远程（和本地）文件复制工具，目的是实现本地主机和远程主机上的文件同步(包括本地推到远程，远程拉到本地两种同步方式)，也可以实现本地不同路径下（不同目录、分区之间）文件的同步，但不能实现远程路径1到远程路径2之间的同步(scp可以实现)。配合计划任务，rsync能实现 定时或周期同步 ；配合inotify或sersync，可以实现触发式的 实时同步 。

本篇文章主要介绍rsync的使用方法和它常用的功能。

rsync官方网站: https://rsync.samba.org/

不考虑rsync的实现细节，就文件同步而言，涉及了源文件和目标文件的概念，还涉及了以哪边文件为同步基准。例如，想让目标主机上的文件和本地文件保持同步，则是以本地文件为同步基准，将本地文件作为源文件推送到目标主机上。反之，如果想让本地主机上的文件和目标主机上的文件保持同步，则目标主机上的文件为同步基准，实现方式是将目标主机上的文件作为源文件拉取到本地。当然，要保持本地的两个文件相互同步，rsync也一样能实现，这就像Linux中cp命令一样，以本地某文件作为源，另一文件作为目标文件，但请注意，虽然rsync和cp能达到相同的目的，但它们的实现方式是不一样的。

既然是文件同步，在同步过程中必然会涉及到源和目标两文件之间版本控制的问题，例如是否要删除源主机上没有但目标上多出来的文件，目标文件比源文件更新(newer than source)时是否仍要保持同步，遇到软链接时是拷贝软链接本身还是拷贝软链接所指向的文件，目标文件已存在时是否要先对其做个备份等等。

rsync同步过程中由两部分模式组成：决定哪些文件需要同步的检查模式以及文件同步时的同步模式。

(1).检查模式是指按照指定规则来检查哪些文件需要被同步，例如哪些文件是明确被排除不传输的。默认情况下，rsync使用"quick check"算法快速检查源文件和目标文件的大小、mtime(修改时间)是否一致，如果不一致则需要传输。当然，也可以通过在rsync命令行中指定某些选项来改变quick check的检查模式，比如"--size-only"选项表示"quick check"将仅检查文件大小不同的文件作为待传输文件。rsync支持非常多的选项，其中检查模式的自定义性是非常有d性的。

(2).同步模式是指在文件确定要被同步后，在同步过程发生之前要做哪些额外工作。例如上文所说的是否要先删除源主机上没有但目标主机上有的文件，是否要先备份已存在的目标文件，是否要追踪链接文件等额外 *** 作。rsync也提供非常多的选项使得同步模式变得更具d性。

相对来说，为rsync手动指定同步模式的选项更常见一些，只有在有特殊需求时才指定检查模式，因为大多数检查模式选项都可能会影响rsync的性能。

以下是rsync的语法：

由此语法可知，rsync有三种工作方式：

(1).本地文件系统上实现同步。命令行语法格式为上述"Local"段的格式。

(2).本地主机使用远程shell和远程主机通信。命令行语法格式为上述"Access via remote shell"段的格式。

(3).本地主机通过网络套接字连接远程主机上的rsync daemon。命令行语法格式为上述"Access via rsync daemon"段的格式。

前两者的本质是通过管道通信，即使是远程shell。而方式(3)则是让远程主机上运行rsync服务，使其监听在一个端口上，等待客户端的连接。

但是，还有第四种工作方式：

(4).通过远程shell也能临时启动一个rsync daemon，这不同于方式(3)，它不要求远程主机上事先启动rsync服务，而是临时派生出rsync daemon，它是单用途的一次性daemon，仅用于临时读取daemon的配置文件，当此次rsync同步完成，远程shell启动的rsync daemon进程也会自动消逝。此通信方式的命令行语法格式同"Access via rsync daemon"，但要求options部分必须明确指定"--rsh"选项或其短选项"-e"。

如需源码安装，请关注即将发布的《详解Rsync，一款卓越的增量同步工具（二）》

系统环境：

服务器配置：阿里云ECS 11G

*** 作系统：CentOS7.2

rsync 版本：3.1.2

rsync 服务器：rsync-server （10.168.152.72）

rsync 客户端：rsync-client （10.117.217.172）

检查rsync 是否已经安装

若已安装，无需重新安装；若未安装，用以下命令安装：

写入以下配置到该文件：

输入，格式是“用户名:口令”，用户不要求是系统用户

root:pwd123456

输入：

======welcome to synchronize appdata======

如果rsync启动成功，可以看到873端口已经在监听了。

检查rsync 是否已经安装

若已安装，无需重新安装；若未安装，用以下命令安装：

更多同步数据的场景演示，请关注即将发布的《详解Rsync，一款卓越的增量同步工具（二）》

配置文件 rsyncd.conf 由全局配置和若干模块配置组成。配置文件的语法为：

全局参数

在文件中 [module] 之外的所有配置行都是全局参数。当然也可以在全局参数部分定义模块参数，这时该参数的值就是所有模块的默认值。

模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式，这个名字就是在 rsync 客户端看到的名字，类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：

a. 基本模块参数

b. 模块控制参数

c. 模块文件筛选参数

d. 模块用户认证参数

e. 模块访问控制参数

客户主机列表定义可以是以下形式：

f. 模块日志参数

设置了”log file”参数时，在日志每行的开始会添加”%t [%p]“。

可以使用的日志格式定义符如下所示：

服务器需求：

需要备份文件的服务器（服务器端）：192.168.10.2 （RHEL 5）

接收备份文件的服务器（客户端）：192.168.10.3 （RHEL 5）

实现功能：

通过rsync工具对turbomail邮件服务器的accounts目录和conf目录进行增量备份。

accounts目录：用于存储用户相关信息的目录

conf目录：用户配置文件存放目录

前提条件：

先将turbomail邮件系统安装好（服务器端与客户端 *** 作一样）

安装过程如下：

1、挂载光驱：mount /dev/cdrom

2、将turbomail的安装包拷贝到跟目录下/

#cd /dev/cdrom

#cp turbomail_linux_x86_xxx.tgz

3、解压turbomail安装包

tar –zxvf turbomail_linux_x86_xxx.tgz

4、启动turbomail

#cd /turbomail

#./starttm.sh

#cd /turbomail/web/bin/

#./startup.sh 5、修改启动脚本/etc/rc.d/rc.local

使邮件服务器开机自动启动加入以下几行：#/turbomail/starttm.sh &

#/turbomail/web/bin/startup.sh &#/turbomail/safestart.sh &

rsync的配置如下：

1.服务器端rsync的配置：使用系统自带的rsync工具，插入系统启动光盘，通过rpm安装rsync工具。

若采用采用源码包安装，上传安装包到服务器1）tar –zxvf rsyncrsync-2.6.9.tar.gz #解压2）cd rsyncrsync-2.6.9 3）./configure #默认配置，生成编译环境

4）make #编译

5）make install #安装完成，任何步骤有疑问输入echo $?查返回值，0表示成功，其他都为失败rsync 版本

2.4.6(可以从http://rsync.samba.org/rsync/获得最新版本)

1）编辑/etc/rsyncd.conf文件，rsync的主要配置文件：

#[globale]

strict modes= yes

#check passwd file

port= 873 #rsync工具默认使用的端口

#default port

logfile= /var/log/rsyncd.log #日志文件存放路径pidfile= /var/run/rsyncd.pid #记录rsync运行时的进程ID

max connections= 4 #同上最大的链接数

#[modules] #同步模块的配置

[rsync]

uid= root #该选项指定当该模块传输文件时守护进程应该具有的uid

gid= root #该选项指定当该模块传输文件时守护进程应该具有的gid

ignore errors #忽略一些无关的错误信息

#要备份的目录

path= /turbomail/accounts #需要同步的目录

read only= no #是否设置以只读的方式运行

host allow= 192.168.10.3 #同步数据的客户端ip如有多个客户端，以“，”隔开即可

auth users= zhouhw #同步用的用户名

secrets file= /etc/rsyncd.scrt #同步的密码认证文件

[test]

uid= root #该选项指定当该模块传输文件时守护进程应该具有的uid

gid= root #该选项指定当该模块传输文件时守护进程应该具有的gid

ignore errors #忽略一些无关的错误信息

#要备份的目录

path= /turbomail/conf #需要同步的目录

read only= no #是否设置以只读的方式运行

host allow= 192.168.10.3 #同步数据的客户端ip如有多个客户端，以“，”隔开即可

auth users= zhouhw #同步用的用户名

secrets file= /etc/rsyncd.scrt #同步的密码认证文件2）编辑/etc/rsyncd.scrt文件，密码认证文件

zhouhw：123456

该更权限为600：chmod 600 /etc/rsyncd.scrt 3) 运行rsync --daemon,并在/etc/rc.d/rc.local加入此语句,开机自动启动。

备注：rsync默认端口873，若安装了iptables，如需改动启动时启动rsync –port 873,请在iptables 中开放该端口，语句如下：

iptables -I INPUT -p tcp --dport 873 -j ACCEPT

4）编辑/etc/xinetd.d/rsync

rsync服务的监听由xinet来统一分配:

service rsync

{

disable = no #将此项改为no

socket_typ

e = stream

wait = no

user = root

server = /usr/bin/rsync

server_args = --daemon

log_on_failure += USERID

}

重启xinetd以启动rsync服务

service xinetd restart

5)查看rsync事故正常运行

输入命令：netstat -ant|grep :873若有显示以下一条语句，则说明rsync服务已经正常启动了。

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 2.客户端的配置：使用系统自带的rsync工具，插入系统启动光盘，通过rpm安装rsync工具。

1）编辑/etc/rsyncd.scrt文件，密码认证文件

zhouhw：123456

该更权限为600：chmod 600 /etc/rsyncd.scrt 2）编辑脚本vi /root/scrpit/rsync.sh并加入开机自动启动。

#!/bin/sh /usr/bin/rsync -vazu --progress --delete

zhouhw@192.168.10.2::rsync /turbomail --password-file=/etc/rsyncd.scrt

zhouhw@192.168.10.2::test /turbomail

--password-file=/etc/rsyncd.scrt修改权限：chmod u+x

/root/scrpit/rsync.sh执行./rsync.sh 同步数据。

3）编辑/etc/crontab文件，定义为每小时30分钟执行一次数据同步。

vi /etc/crontab

# run-parts

01 * * * * root run-parts /etc/cron.hourly 02 4 * * * root

run-parts /etc/cron.daily 22 4 * * 0 root run-parts /etc/cron.weekly 42 4

1 * * root run-parts /etc/cron.monthly 30 * * * * root

/root/scrpit/rsync.sh客户端的配置到此就可以了，服务器与客户端的数据也会在每小时的第30分钟执行一次。

客户端同步命令详解：

v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum

打开校验开关，强制对文件传输进行校验-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理-R, --relative 使用相对路径信息-b, --backup

创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结

--safe-links忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结-p, --perms 保持文件权限-o, --owner 保持文件属主信息-g,

--group 保持文件属组信息-D, --devices 保持设备文件信息-t, --times 保持文件时间信息-S, --sparse

对稀疏文件进行特殊处理以节省DST的空间-n, --dry-run现实哪些文件将被传输-W, --whole-file

拷贝文件，不进行增量检测-x, --one-file-system 不要跨越文件系统边界-B, --block-size=SIZE

检验算法使用的块尺寸，默认是700字节-e, --rsh=COMMAND 指定替代rsh的shell程序

--rsync-path=PATH指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete删除那些DST中SRC没有的文件

--delete-excluded同样删除接收端那些被该选项指定排除的文件

--delete-after传输结束以后再删除

--ignore-errors及时出现IO错误也进行删除

--max-delete=NUM最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输--force 强制删除目录，即使不为空

--numeric-ids不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒-I, --ignore-times

不跳过那些有同样的时间和长度的文件--size-only

当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR在DIR中创建临时文件

--compare-dest=DIR同样比较DIR中的文件来决定是否需要备份

-P等同于--partial

--progress显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN指定排除不需要传输的文件模式

--include=PATTERN指定不排除而需要传输的文件模式

--exclude-from=FILE排除F

ILE中指定模式的文件

--include-from=FILE不排除FILE指定模式匹配的文件

--version打印版本信息

--address绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT指定其他的rsync服务端口

--blocking-io对远程shell使用阻塞IO

-stats给出某些文件的传输状态

--progress在传输时现实传输过程

--log-format=formAT指定日志文件格式

--password-file=FILE从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second -h, --help 显示帮助信息

用文件共享网盘，不需要自己费心去设置，使用简单，安全性更强。

坚果云优点：

全平台覆盖，大公司网盘有做到的吗？除了坚果云，仅关掉的快盘有 Linux 客户端。快盘、微云等也有 macOS 客户端，但仅有基础功能，体验上远不如坚果云。而百度网盘最近更新了其客户端，据说和 Windows 下的体验类似。

WebDAV据我所知，国内唯一。这是我欣赏坚果云的最重要因素之一。

二次验证，还有哪个网盘有？除了谷歌验证，近期又提供了微信二次验证。密码意外泄漏也不必担心。我挺疑惑其它网盘为何不提供类似的功能，安全不重要么？！

三方应用专用密码如果专用密码是一次性的那就更好。

近一个月内的文件历史版本实际使用发现保留了所有的版本，可能是文件较小的缘故？

分享可以设置时效、权限权限为：上传和下载、仅下载、仅上传、仅预览；时效：自定义。

增量同步，这个月流量没用完可以存到下个月吗？也即只上传差异部分，如果是无法智能分析的加密文件增量同步是无能为力的。提高同步速度，减少流量消耗。

同步此文件夹功能即任意文件夹都可以随时上传和同步，而无需将它转移至所谓的同步文件夹。据我所知在 macOS 客户端是唯一具有此功能的，即便是 Dropbox 等也没有。不知在 Windows 下是否也是唯一。

---