运维管理 ·

Linux下使用 rsync+inotify 实现同步服务器数据自动备份

一、 什么是rsync

rsync 远程同步,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,是一款优秀的,快速的,多功能的本地或者远程数据同步工具,使用与unix/Linux/windows等多种平台。另外它还是免费的软件。

二、 Rsync简介

rsync是Linux、UNIX系统下的数据镜像备autoback.sh 打包脚本份工具,它的特性如下:
(1)可以镜像保存整个目录树和文件系统。
(2)可以很容易做到保持原来文件的权限、时间、软硬链接等等。
(3)无须特殊权限即可安装。
(4)优化的流程,文件传输效率高。
(5)可以使用rcp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
(6)支持匿名传输。

rsync优点:

支持增量备份,选择性的保持:符号链接、硬链接、文件属性、权限、及时间等。传输前执行压缩。适用于异地备份,镜像服务器等应用 。使用ssh做为传输端口。sftp、ssh、xshell

区别:

当文件数据很大时候:scp无法备份大量数据,特点:先统一信息,像windows复制。scp每次拷贝都是完整拷贝,无法增量拷贝。rsync 边复制,边比较,边统计。

服务端口:端口: 873  (此端口可更改)
工作模式: C/S

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客机的rsync同步操作的服务器称为备份源
首先认识同步数据的方式:
推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)
拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)
Linux下使用rsync实现同步服务器数据自动备份

三、 系统配置介绍

 3.0.1 纯环境镜像软件包列表

说明:在work231上配置rsync服务器,把网站根目录/var/www/html目录共享出去。保证客户端:work232 和work233实时同步。work232每天3点,差异备份work233上的数据。

要求:
(1) 为保证work231服务器安全性,在work232上不能使用work231上的系统帐号进行远程备份。
(2) 在work232上,每周日5点,对work231上的数据进行打包备份。命名方式为:work231-年-月-日.tar.gz。

 3.0.2 纯环境镜像软件包列表

HOSTNAME                              work231
源服务器 IP                              192.168.99.231
目标服务器1                             192.168.99.232
目标服务器2                              192.168.99.233
操作系统                               Centos 6.8
核心数量                               2
内存大小                              2G
CPU 处理器                             i3-4130

 3.0.3 纯环境镜像软件包列表

软件 版本 安装目录
rsync 3.12 /webserver/rsync
inotify-tools 3.14 /webserver/inotify
xinetd 2.3.14

四、 实验拓扑图

Linux下使用rsync实现同步服务器数据自动备份

五、 分别在两台在目标服务器安装Rsync服务端

 5.0.1 关闭SELINUX

[root@work231 /]# vim /etc/selinux/config    #编辑防火墙配置文件

A、把 SELINUX=enforcing 先输入7gg,跳到第7行

B、然后输入yyp 复制一行 SELINUX=enforcing,(养成习惯做好备份)并注释掉,如图
#SELINUX=enforcing             #注释掉
SELINUX=disabled               #添加一行

Linux下使用rsync实现同步服务器数据自动备份

:wq! #保存,退出

 5.0.2 安装xinetd服务来管理rsync服务

xinetd管理rsync服务工作原理

5.0.3 安装Rsync服务端软件

5.0.4 编辑配置文件,设置rsync执行路径

disable = yes   改为:

disable = no
server          = /usr/bin/rsync  改为:
server          = /webserver/rsync/bin/rsync

Linux下使用rsync实现同步服务器数据自动备份

5.0.5 rsync监听端口873添加到/etc/services服务里

Linux下使用rsync实现同步服务器数据自动备份

5.0.6 rsync命令的基本用法:

格式:rsync 【选项】 源文件 目标文件
scp
常见的选项:
-a,--archive(存档) 归档保存模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数-rlptgoD
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~
filename。可以使用--suffix选项来指定不同的备份文件前缀。
-c, --checksum 打开校验开关,强制对文件传输进行校验
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
-r,–recursive 对子目录以递归模式处理
-q, --quiet 精简输出模式

-l,--links 表示拷贝链接文件
-R, --relative 使用相对路径信息

-p , --perms 表示保持文件原有权限
-t , --times 表示保持文件原有时间
-g , --group 表示保持文件原有属用户组
-o , --owner 表示保持文件原有属主
-D , --devices 表示块设备文件信息
-t, --times 保持文件时间信息
-W, --whole-file 拷贝文件,不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

-z , --compress 表示压缩传输, 当资料在传送到目的端进行档案压缩.
-H 表示硬连接文件
-A 保留ACL属性信息,需要配合--perms
-n, --dry-run现实哪些文件将被传输

-P 显示传输进度 等同于 --partial
-u, --update 仅仅进行更新,也就是跳过所有已经存在于目标位置,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
-o, --owner 保持文件属主信息
-H, --hard-links 保留硬链结
-v 显示同步过程的详细信息

--port=PORT 指定其他的rsync服务端口 873
-T --temp-dir=DIR 在DIR中创建临时文件
-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--delete 删除那些目标位置有而原始位置没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件

--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽,Kbytes /second
--filter “- 文件名”需要过滤的文件
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--address 绑定到特定的地址
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
--backup-dir 将备份文件(如~filename)存放在在目录下
--suffix=SUFFIX 定义备份文件前缀
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--force 强制删除目录,即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间,单位为秒
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
--progress 显示备份过程
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
--blocking-io 对远程shell使用阻塞IO
--stats 给出某些文件的传输状态
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码

常用的 –avz 或者 -avzP

六、实战使用rsync备份数据举例:

对work231网站根目录的/var/www/html目录备份到work232 和work233的/data/backup目录。创建用户

getfooher用于下载,读;创建用户putfooher 用于上传,写。
客户端 work231
服务器 work232
服务器 work233

6.0.1 添加用户

扩展:

setfacl命令可以用来细分linux下的文件权限
getfacl 查看文件的权限
setfacl和chmod有什么区别
chmod命令可以把文件权限分为u,g,o三个组,而setfacl可以对每一个文件或目录设置更精确的文件权限。 比较常用的用法如下:
setfacl –m u:apache:rwx file 设置apache用户对file文件的rwx权限
setfacl –m g:market:rwx file 设置market用户组对file文件的rwx权限
setfacl –x g:market file 删除market组对file文件的所有权限

6.0.2 对目录赋予ACL权限

#putfooher 用户可以对目录拥有读写权限

#设置默认情况下,putfooher 对目录/var/www/html下的所有文件拥有读写权限

查看putfooher的权限

getfacl: Removing leading '/' from absolute path names
# file: var/www/html/
# owner: root
# group: root
user::rwx
user:putfooher:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:putfooher:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

6.0.3 创建测试数据:

在 work231 上操作,把 rsync-3.1.2.tar.gz 解压到 /var/www/html 里,这个目录下的所有数据作为测试数据

在 work232 上操作

Linux下使用rsync实现同步服务器数据自动备份

注意: /var/www/html 和 /var/www/html/ 区别 

A、 /var/www/html 后面不加 / 那么 rsync 会把 html 这个目录和html 子目录及文件一起下载下来

B、 /var/www/html/ 后面加了/ 那么 rsync 只是把 html 目录里面的文件下载下来,而不会下载 html 这个目录,

错误 1、出现 rsync: send_files failed to open "/var/www/html/文件名": Permission denied (13) 

错误 2、出现 sent 306 bytes received 148230 bytes 27006.55 bytes/sectotal size is 255182 speedup is 1.72
           rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1505) [generator=3.0.6]

这是因为对这个文件没有读权限的原因,请重启执行 getfacl 文件名 这样的权限

解决:  [root@work231 /]# getfacl /var/www/html/文件名

       [root@work231 /]# ll /var/www/html/文件名

       -rw-------+ 1 root root 787 Apr 9 19:17 /var/www/html/文件名
              [root@work231 /]# chmod 744 /var/www/html/文件名

七、使用ssh密钥实现无交互备份:

7.0.1 生成ssh密钥:

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again: #直接回库
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is: #直接回库
cd:3f:1f:08:92:36:e3:95:f3:d5:4d:52:32:70:46:ea root@work231
The key's randomart image is: #直接回库
+--[ RSA 2048]----+
| .o* .|
| + + |
| . . .|
| + o +.|
| S B E . o|
| o = = o |
| . = . |
| o . |
| . |
+-----------------+

getfooher@192.168.99.231's password:
Now try logging into the machine, with "ssh 'getfooher@192.168.99.231'", and check in:

.ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.

7.0.2 测试,不输密码直接连接:

[getfooher@work231 ~]$ exit
logout
Connection to 192.168.99.231 closed.

7.0.3 测试,不输密码直接登录和备份:

编写备份脚本:

测试脚本:

定期增量备份:

01 3 * * * /data/rsync_ssh_bak.sh.sh &

八、非系统用户备份数据:

使用系统配置文件/etc/rsyncd.conf来备份数据,创建备份账户,最后把rsync以deamon方式运行。

8.0.1 创建 rsyncd.conf 配置文件:

配置文件分为两部分:全局参数,模块参数
全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数生效
模块参数:定义需要通过rsync输出的目录定义的参数

常见的参数:

常见的模块参数:主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

rsyncd.conf 文件不存在,需要自己创建

rsyncd.mod 文件不存在,客户端登陆之后弹出的消息,需要创建

  #++++++++++++++++++++++++++++++++++++++++++++++

   Welcome to use the fooher.com rsync services!

  #++++++++++++++++++++++++++++++++++++++++++++++

8.0.2 创建用户密码文件

用户密码文件里面内容为: userfoohercom:www.fooher.com

8.0.3 设置配置文件权限

#rsyncd.secrets 权限必须是600,否则的话身份验证会失效

 8.0.3 设置 rsync 启动服务

#rsyncd.secrets 权限必须是600,否则的话身份验证会失效

Linux下使用rsync实现同步服务器数据自动备份
873 端口添加到防火墙

 -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT

rsync语法:rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

下载模式:

上传模式:

Linux下使用 rsync+inotify 实现同步服务器数据自动备份

实现无交互备份数据脚本:

创建计划任务:

01 3 * * * /data/rsyncbak.sh &

九、配置rsync+inotify实时同步:

Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取、删除、移动等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应。
使用rsync工具与inotify机制相结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静态等侍状态,这样一来,就避免了按固定周期备份进存在的延迟性、周期过密等问题。

扩展:
常见的开源软件下载网址:SourceForge.net,又称SF.net,是开源软件开发者进行开发管理的集中式场所。SourceForge 是全球最大开源软件开发平台和仓库,网站建立的宗旨,就是为开源软件提供一个存储、协作和发布的平台。SourceForge 上拥有大量非常优秀的开源软件,事实上,这些软件完全可以代替一些商业软件。

9.0.1 安装 inotify-tools

安装inotify-tools-3.14.tar.gz 后,将拥有inotifywait、inotifywatch辅助工具程序,从而来监控、汇总文件系统改动情况。

9.0.1 查看是否支持inotify

查看是否支持inotify,从kernel 2.6.13开始正式并入内核。

总用量 0
-rw-r--r-- 1 root root 0 5月 24 23:55 max_queued_events
-rw-r--r-- 1 root root 0 5月 24 23:55 max_user_instances
-rw-r--r-- 1 root root 0 5月 24 23:55 max_user_watches
注:
在linux内核中,默认的inotify机制提供了三个调控参数:
max_queued_events #表示监控事件队列
max_user_instances #表示最多监控实例数
max_user_watches #表示每个实例最多监控文件数

注:当要监控的目录、文件数量较多或者变化较频繁时,要加大这三个参数的值。
例如:可直接修改/etc/sysctl.conf配置文件,将管理队列设为32768,实例数设为1024,监控数设为9000000(建议大于监控目标的总文件数)

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 90000000

查看是否修改成功:

测试:
使用inotifywait命令监控网站目录/var/www/html发生的变化。然后在另一个终端向/var/www/html目录下添加文件、移动文件,查看屏幕输出结果。

常用参数:
-e 用来指定要监控哪些事件。
这些事件包括: create创建,move移动,delete删除,modify修改文件内容,attrib属性更改。
-m 表示持续监控
-r 表示递归整个目录
-q 表示简化输出信息。
[root@work231 inotify-tools-3.14]# inotifywait -mrq -e create,move,delete,modify /var/www/html/
在重新开启一个work231终端登录,在/var/www/html目录进行相关的操作,然后,回到原来的终端查看监控变化情况。

查看变化:

使用inotifywait输出的监控结果中,每行记录中依次包括目录、事件、文件。据此可以识别变动情况。
编写触发式同步脚本

9.0.2 同步时不需要输入密码:

当work231发生变化后,直接将发生变化的数据同步到work232、work233同步时不需要输入密码

然后分别在 work232、work233 执行文件权限

9.0.3 编写触发式同步脚本

#思路:
只要检测到变动时间,执行rsync上传同步操作,while read D E F是哪个变量,前面输出的内容是三段,每一段对应的就是后面的 D E F

这是一个差异备份上传脚本,参考以下:

说明:

在work231上配置rsync服务器,把网站根目录/var/www/html目录共享出去。保证客户端:work232 和work233实时同步。work232每天3点,差异备份work233上的数据。

要求:
(1) 为保证work231服务器安全性,在work232上不能使用work231上的系统帐号进行远程备份。
(2) 在work232上,每周日5点,对work231上的数据进行打包备份。命名方式为:work231-年-月-日.tar.gz。

把上面脚本保存为 autoback.sh 并添加计划任务 设置work231每天3点定时差异备份上传到work233服务器。

work232每天3点定时下载数据备份

每周日5点备份计划任务

autoback.sh 打包脚本

关注运维天涯微信、新浪微博

评论已关闭