运维管理 ·

Linux下使用 rsync+inotify 实现同步服务器数据自动备份

一、 什么是rsync

rsync 远程同步,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,是一款优秀的,快速的,多功能的本地或者远程数据同步工具,使用与unix/Linux/windows等多种平台。另外它还是免费的软件。

二、 Rsync简介

rsync是Linux、UNIX系统下的数据镜像备autoback.sh 打包脚本份工具,它的特性如下:
(1)可以镜像保存整个目录树和文件系统。
(2)可以很容易做到保持原来文件的权限、时间、软硬链接等等。
(3)无须特殊权限即可安装。
(4)优化的流程,文件传输效率高。
(5)可以使用rcp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
(6)支持匿名传输。

rsync优点:

支持增量备份,选择性的保持:符号链接、硬链接、文件属性、权限、及时间等。传输前执行压缩。适用于异地备份,镜像服务器等应用 。使用ssh做为传输端口。sftp、ssh、xshell

区别:

当文件数据很大时候:scp无法备份大量数据,特点:先统一信息,像windows复制。scp每次拷贝都是完整拷贝,无法增量拷贝。rsync 边复制,边比较,边统计。

服务端口:端口: 873  (此端口可更改)
工作模式: C/S

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客机的rsync同步操作的服务器称为备份源
首先认识同步数据的方式:
推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)
拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)
Linux下使用rsync实现同步服务器数据自动备份

三、 系统配置介绍

 3.0.1 纯环境镜像软件包列表

说明:在work231上配置rsync服务器,把网站根目录/var/www/html目录共享出去。保证客户端:work232 和work233实时同步。work232每天3点,差异备份work233上的数据。

要求:
(1) 为保证work231服务器安全性,在work232上不能使用work231上的系统帐号进行远程备份。
(2) 在work232上,每周日5点,对work231上的数据进行打包备份。命名方式为:work231-年-月-日.tar.gz。

 3.0.2 纯环境镜像软件包列表

HOSTNAME                              work231
源服务器 IP                              192.168.99.231
目标服务器1                             192.168.99.232
目标服务器2                              192.168.99.233
操作系统                               Centos 6.8
核心数量                               2
内存大小                              2G
CPU 处理器                             i3-4130

 3.0.3 纯环境镜像软件包列表

软件 版本 安装目录
rsync 3.12 /webserver/rsync
inotify-tools 3.14 /webserver/inotify
xinetd 2.3.14

四、 实验拓扑图

Linux下使用rsync实现同步服务器数据自动备份

五、 分别在两台在目标服务器安装Rsync服务端

 5.0.1 关闭SELINUX

[root@work231 /]# vim /etc/selinux/config    #编辑防火墙配置文件

A、把 SELINUX=enforcing 先输入7gg,跳到第7行

B、然后输入yyp 复制一行 SELINUX=enforcing,(养成习惯做好备份)并注释掉,如图
#SELINUX=enforcing             #注释掉
SELINUX=disabled               #添加一行

Linux下使用rsync实现同步服务器数据自动备份

:wq! #保存,退出

 5.0.2 安装xinetd服务来管理rsync服务

[root@work231 ~]# yum install -y xinetd

xinetd管理rsync服务工作原理

5.0.3 安装Rsync服务端软件

[root@work231 /]# mkdir -p /webserver/rsync/temp                # 临时文件目录
[root@work231 /]# mkdir -p /webserver/rsync/log                 # 日志目录
[root@work231 /]# mkdir -p /webserver/rsync/etc                 # 配置文件目录
[root@work231 /]# wget https://rsync.samba.org/ftp/rsync/rsync-3.1.2.tar.gz
[root@work231 /]# tar zxf rsync-3.1.2.tar.gz
[root@work231 /]# cd rsync-3.1.2
[root@work231 /]# ./configure --prefix=/webserver/rsync --disable-ipv6
[root@work231 rsync-3.1.2]# make
[root@work231 rsync-3.1.2]# make install
[root@work231 /]# ln -s /webserver/rsync/bin/rsync /usr/local/bin

5.0.4 编辑配置文件,设置rsync执行路径

[root@work231 ~]# vim /etc/xinetd.d/rsync

disable = yes   改为:

disable = no
server          = /usr/bin/rsync  改为:
server          = /webserver/rsync/bin/rsync

Linux下使用rsync实现同步服务器数据自动备份

5.0.5 rsync监听端口873添加到/etc/services服务里

Linux下使用rsync实现同步服务器数据自动备份

5.0.6 rsync命令的基本用法:

格式:rsync 【选项】 源文件 目标文件
scp
常见的选项:
-a,--archive(存档) 归档保存模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数-rlptgoD
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~
filename。可以使用--suffix选项来指定不同的备份文件前缀。
-c, --checksum 打开校验开关,强制对文件传输进行校验
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
-r,–recursive 对子目录以递归模式处理
-q, --quiet 精简输出模式

-l,--links 表示拷贝链接文件
-R, --relative 使用相对路径信息

-p , --perms 表示保持文件原有权限
-t , --times 表示保持文件原有时间
-g , --group 表示保持文件原有属用户组
-o , --owner 表示保持文件原有属主
-D , --devices 表示块设备文件信息
-t, --times 保持文件时间信息
-W, --whole-file 拷贝文件,不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

-z , --compress 表示压缩传输, 当资料在传送到目的端进行档案压缩.
-H 表示硬连接文件
-A 保留ACL属性信息,需要配合--perms
-n, --dry-run现实哪些文件将被传输

-P 显示传输进度 等同于 --partial
-u, --update 仅仅进行更新,也就是跳过所有已经存在于目标位置,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
-o, --owner 保持文件属主信息
-H, --hard-links 保留硬链结
-v 显示同步过程的详细信息

--port=PORT 指定其他的rsync服务端口 873
-T --temp-dir=DIR 在DIR中创建临时文件
-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--delete 删除那些目标位置有而原始位置没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件

--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽,Kbytes /second
--filter “- 文件名”需要过滤的文件
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--address 绑定到特定的地址
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
--backup-dir 将备份文件(如~filename)存放在在目录下
--suffix=SUFFIX 定义备份文件前缀
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--force 强制删除目录,即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间,单位为秒
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
--progress 显示备份过程
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
--blocking-io 对远程shell使用阻塞IO
--stats 给出某些文件的传输状态
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码

常用的 –avz 或者 -avzP

六、实战使用rsync备份数据举例:

对work231网站根目录的/var/www/html目录备份到work232 和work233的/data/backup目录。创建用户

getfooher用于下载,读;创建用户putfooher 用于上传,写。
客户端 work231
服务器 work232
服务器 work233

6.0.1 添加用户

[root@work231 rsync-3.1.2]# useradd getfooher             #测试用户,getfooher 用于下载
[root@work231 rsync-3.1.2]# useradd putfooher             #测试用户,putfooher 用户上传
[root@work231 rsync-3.1.2]# echo "123456" |passwd --stdin getfooher
更改用户 getfooher 的密码 。
passwd: 所有的身份验证令牌已经成功更新。
[root@work231 rsync-3.1.2]# echo "123456" |passwd --stdin putfooher
更改用户 putfooher 的密码 。
passwd: 所有的身份验证令牌已经成功更新。

扩展:

setfacl命令可以用来细分linux下的文件权限
getfacl 查看文件的权限
setfacl和chmod有什么区别
chmod命令可以把文件权限分为u,g,o三个组,而setfacl可以对每一个文件或目录设置更精确的文件权限。 比较常用的用法如下:
setfacl –m u:apache:rwx file 设置apache用户对file文件的rwx权限
setfacl –m g:market:rwx file 设置market用户组对file文件的rwx权限
setfacl –x g:market file 删除market组对file文件的所有权限

6.0.2 对目录赋予ACL权限

#putfooher 用户可以对目录拥有读写权限

[root@work232 rsync-3.1.2]# setfacl -R -m user:putfooher:rwx /var/www/html/

#设置默认情况下,putfooher 对目录/var/www/html下的所有文件拥有读写权限

[root@work232 rsync-3.1.2]# setfacl -R -m default:user:putfooher:rwx /var/www/html/

查看putfooher的权限

[root@work232 rsync-3.1.2]# getfacl /var/www/html/

getfacl: Removing leading '/' from absolute path names
# file: var/www/html/
# owner: root
# group: root
user::rwx
user:putfooher:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:putfooher:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

6.0.3 创建测试数据:

在 work231 上操作,把 rsync-3.1.2.tar.gz 解压到 /var/www/html 里,这个目录下的所有数据作为测试数据

[root@work231 /]# tar zxf rsync-3.1.2.tar.gz -C /var/www/html

在 work232 上操作

[root@work232 rsync-3.1.2]# mkdir /data/backup
[root@work232 rsync-3.1.2]# rsync -avz --delete getfooher@192.168.99.231:/var/www/html /data/backup/

Linux下使用rsync实现同步服务器数据自动备份

注意: /var/www/html 和 /var/www/html/ 区别 

A、 /var/www/html 后面不加 / 那么 rsync 会把 html 这个目录和html 子目录及文件一起下载下来

B、 /var/www/html/ 后面加了/ 那么 rsync 只是把 html 目录里面的文件下载下来,而不会下载 html 这个目录,

错误 1、出现 rsync: send_files failed to open "/var/www/html/文件名": Permission denied (13) 

错误 2、出现 sent 306 bytes received 148230 bytes 27006.55 bytes/sectotal size is 255182 speedup is 1.72
           rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1505) [generator=3.0.6]

这是因为对这个文件没有读权限的原因,请重启执行 getfacl 文件名 这样的权限

解决:  [root@work231 /]# getfacl /var/www/html/文件名

       [root@work231 /]# ll /var/www/html/文件名

       -rw-------+ 1 root root 787 Apr 9 19:17 /var/www/html/文件名
              [root@work231 /]# chmod 744 /var/www/html/文件名

七、使用ssh密钥实现无交互备份:

7.0.1 生成ssh密钥:

[root@work231 rsync]# ssh-keygen

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again: #直接回库
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is: #直接回库
cd:3f:1f:08:92:36:e3:95:f3:d5:4d:52:32:70:46:ea root@work231
The key's randomart image is: #直接回库
+--[ RSA 2048]----+
| .o* .|
| + + |
| . . .|
| + o +.|
| S B E . o|
| o = = o |
| . = . |
| o . |
| . |
+-----------------+

[root@work232 backup]# ssh-copy-id getfooher@192.168.99.231

getfooher@192.168.99.231's password:
Now try logging into the machine, with "ssh 'getfooher@192.168.99.231'", and check in:

.ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.

7.0.2 测试,不输密码直接连接:

[root@work232 backup]# ssh getfooher@192.168.99.231

[getfooher@work231 ~]$ exit
logout
Connection to 192.168.99.231 closed.

7.0.3 测试,不输密码直接登录和备份:

[root@work232 backup]# rsync -azP --delete getfooher@192.168.99.231:/var/www/html/ /data/backup

编写备份脚本:

[root@work232 data]# vim rsyncbak.sh
#!/bin/bash
#########################################################################
# Site name: 运维天涯
# Domain name address: http://www.fooher.com
# Created Time: Wed 22 May 2017 04:59:03 PM CST
#########################################################################
# 如果备份不存在,就新建一个
[ -d "/data/backup" ] && mkdir -p /data/backup

#注在这里,就把P参数去掉了,因为是后期执行备份,看不进度。
rsync -azP --delete getfooher@192.168.99.231:/var/www/html/ /data/backup
exit

测试脚本:

[root@work232 data]# chmod +x rsync_ssh_bak.sh
[root@work232 data]# ./rsync_ssh_bak.sh

定期增量备份:

[root@work232 data]# crontab -e

01 3 * * * /data/rsync_ssh_bak.sh.sh &

八、非系统用户备份数据:

使用系统配置文件/etc/rsyncd.conf来备份数据,创建备份账户,最后把rsync以deamon方式运行。

8.0.1 创建 rsyncd.conf 配置文件:

配置文件分为两部分:全局参数,模块参数
全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数生效
模块参数:定义需要通过rsync输出的目录定义的参数

常见的参数:

常见的模块参数:主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

rsyncd.conf 文件不存在,需要自己创建

[root@work231 rsync]# vim /webserver/rsync/etc/rsyncd.conf              #  rsyncd.conf 配置文件
#注意这个用户ID和组ID,如果要方便的话,可以设置成root,这样rsync几乎就可
#以读取任何文件和目录了,但是也带来安全隐患。建议设置成只能读取你要备份的目录和文件即可
#运行RSYNC守护进程的用户,权限为,用户ID,指定文件传输过程中的用户身份
uid = 0
#运行RSYNC守护进程的组,权限为,组ID,指定文件传输过程中的组身份
gid = 0
#默认为 true,锁定家目彔。rsync 被黑了,黑客无法在 rsync 运行的家目彔之外创建文件,该选项设置为 yes
#用chroot,在传输文件之前,服务器守护程序在将chroot 到文件系统中的目录中,这样做的好处是可能保护系统被安装漏洞侵袭的可能。
#缺点是需要超级用户权限。另外对符号链接文件,将会排除在外。也就是说,你在 rsync服务器上,如果有符号链接,你在备份服务器上
#运行客户端的同步数据时,只会把符号链接名同步下来,并不会同步符号链接的内容;这个需要自己来尝 试
use chroot = true
#最大连接数,0代表没有限制
max connections = 1024
#默认端口873
port = 873
#设置字符集
#charset = utf8
#默认为0,意no timeout,建议为600(10分钟)
#覆盖客户指定的IP超时时间,也就是说rsync服务器不会永远等待一个崩溃的客户端。
timeout = 600
# %h 远程主机名
# %a 远程IP地址
# %l 文件长度字符数
# %p 该次rsync会话的进程id
# %o 操作类型:" send" 或" recv"
# %f 文件名
# %P 模块路径
# %m 模块名
# %t 当前时间
# %u 认证的用户名(匿名时是null)
# %b 实际传输的字节数
# %c 当发送文件时,该字段记录该文件的校验码
#日志格式
#log format = %t %a %m %f %b
log format = %t-%a-%o-%a-%m-%u-%f-%l
syslog facility = local3
#进程pid位置
pid file = /webserver/rsync/temp/rsyncd_Pid.pid
#锁文件存放位置
lock file = /webserver/rsync/temp/rsyncd_lock.lock
#rsync的日志文件保存位置
log file = /webserver/rsync/log/rsyncdlog.log
#rsync启动时欢迎信息页面文件位置(文件内容自定义)
motd file = /webserver/rsync/etc/rsyncd.motd
#是否检查口令文件的权限,不验证用户密码
strict modes = false
# 忽略一些无关的IO错误
ignore errors
#忽略对用户没有可读的文件
ignore nonreadable
#记录下传输详细的情况
transfer logging = yes
#显示rsync服务端资源列表
list = true
#该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时,该文件才有作用。存放用户的密码文件,
#格式是 用户名:密码 。一般来说密码最好不要超过8个字符。没有默认的secures file名,注意:该文件的权限一定要是600,
#否则客户端将不能连接服务器。
#secrets file = rsyncd.secrets
#设置不同步的目录或文件用空格隔开
#exclude = blank.png;spinner.gif;downsimple.png;rails.png;WEB-INF/
#exclude = cygdrive
#允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开,不限制则填写,默认是允许所有主机连接 * 则表示所有。
#hosts allow = 192.168.2.231,192.168.2.232,192.168.2.233,192.168.2.234,192.168.2.235
#整个网段,例如:192.168.0.0/24,也可以是 192.168.0.0/255.255.255.0,或者all
#禁止数据同步的客户端IP地址,也可为 *,可以设置多个,用英文状态下逗号隔开
#hosts deny = 192.168.21.254
#################################
# 用户名: userfoohercom
# 密码: www.fooher.com
###################################
#共享模块名称
[wwwfoohercom]
#要备份文件的路径
path = /var/www/html
#描述
comment = rsync 实战测试项目
# 忽略一些无关的IO错误
ignore errors
#只读,不让客户端上传文件到服务器上。#只读方式(只可以下载),还有一个 write only选项,
read only = no
write only = no
list = yes
#允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
hosts allow = 192.168.99.232,192.168.99.233
#备份的用户,和系统用户无关
auth users = userfoohercom
存放用户的密码文件,格式是 用户名:密码
secrets file = rsyncd.secrets

rsyncd.mod 文件不存在,客户端登陆之后弹出的消息,需要创建

[root@work231 rsync]# vim /webserver/rsync/etc/rsyncd.motd

  #++++++++++++++++++++++++++++++++++++++++++++++

   Welcome to use the fooher.com rsync services!

  #++++++++++++++++++++++++++++++++++++++++++++++

8.0.2 创建用户密码文件

[root@work231 rsync]# vim /webserver/rsync/etc/rsyncd.secrets

用户密码文件里面内容为: userfoohercom:www.fooher.com

8.0.3 设置配置文件权限

#rsyncd.secrets 权限必须是600,否则的话身份验证会失效

[root@work231 rsync]# chmod 600 /webserver/rsync/etc/rsyncd.secrets
[root@work231 rsync]# chmod 600 /webserver/rsync/etc/rsyncd.conf

 8.0.3 设置 rsync 启动服务

#rsyncd.secrets 权限必须是600,否则的话身份验证会失效

#启动 rsync 服务
[root@work231 /]# /webserver/rsync/bin/rsync --daemon --config=/webserver/rsync/etc/rsyncd.conf
[root@work231 rsync]# chkconfig xinetd on
#添加开机启动
[root@work231 rsync]# echo /webserver/rsync/bin/rsync --daemon --config=/webserver/rsync/etc/rsyncd.conf >> /etc/rc.local
[root@work231 rsync-3.1.2]# /etc/init.d/xinetd start            # CentOS中是以xinetd来管理Rsync服务的
[root@work231 rsync-3.1.2]# netstat -antulp |grep 873
[root@work231 rsync-3.1.2]# lsof -i :873                        检查rsync是否启动成功

Linux下使用rsync实现同步服务器数据自动备份
873 端口添加到防火墙

 -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT

[root@work231 rsync]# [root@work231 etc]# service iptables restart       # 重启防火墙

rsync语法:rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

下载模式:

[root@work232 backup]# rsync -avz --delete userfoohercom@192.168.99.231::wwwfoohercom /data/backup

上传模式:

rsync -vzrtopg -avz --progress /data/backup/ userfoohercom@192.168.99.231::wwwfoohercom --port=873 --password-file=rsync.passwd

Linux下使用 rsync+inotify 实现同步服务器数据自动备份

实现无交互备份数据脚本:

[root@work232 data]# echo 123456 >rsync.passwd
[root@work232 data]# chmod 600 rsync.passwd            #密码文件 权限必要是 600
[root@work232 data]# vim rsync_bak.sh
#!/bin/bash
#########################################################################
# Site name: 运维天涯
# Domain name address: http://www.fooher.com
# Created Time: Wed 22 May 2017 04:59:03 PM CST
#########################################################################
# 如果备份不存在,就新建一个
[ -d "/data/backup" ] && mkdir -p /data/backup

#注在这里,就把P参数去掉了,因为是后期执行备份,看不进度。
rsync -vzrtopg -avz --progress /data/backup/ userfoohercom@192.168.99.231::wwwfoohercom --port=873 --password-file=rsync.passwd
exit

创建计划任务:

[root@work232 data]# crontab -e

01 3 * * * /data/rsyncbak.sh &

九、配置rsync+inotify实时同步:

Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取、删除、移动等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应。
使用rsync工具与inotify机制相结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静态等侍状态,这样一来,就避免了按固定周期备份进存在的延迟性、周期过密等问题。

扩展:
常见的开源软件下载网址:SourceForge.net,又称SF.net,是开源软件开发者进行开发管理的集中式场所。SourceForge 是全球最大开源软件开发平台和仓库,网站建立的宗旨,就是为开源软件提供一个存储、协作和发布的平台。SourceForge 上拥有大量非常优秀的开源软件,事实上,这些软件完全可以代替一些商业软件。

9.0.1 安装 inotify-tools

安装inotify-tools-3.14.tar.gz 后,将拥有inotifywait、inotifywatch辅助工具程序,从而来监控、汇总文件系统改动情况。

[root@work231 ~]# wget http://pkgs.fedoraproject.org/repo/pkgs/inotify-tools/inotify-tools-3.14.tar.gz/b43d95a0fa8c45f8bab3aec9672cf30c/inotify-tools-3.14.tar.gz
[root@work231 ~]# mkdir -p /webserver/inotify                #新建安装目录
[root@work231 ~]# tar zxf inotify-tools-3.14.tar.gz
[root@work231 ~]# cd inotify-tools-3.14
[root@work231 ~]# mkdir -p /webserver/inotify/scripts
[root@work231 inotify-tools-3.14]# ./configure --prefix=/webserver/inotify
[root@work231 inotify-tools-3.14]# make
[root@work231 inotify-tools-3.14]# make install
[root@work231 inotify-tools-3.14]# ldconfig
[root@work231 inotify-tools-3.14]# ln -s /webserver/inotify/bin/* /usr/local/bin/
[root@work231 inotify-tools-3.14]# ln -s /webserver/inotify/include/* /usr/local/include/
[root@work231 inotify-tools-3.14]# ln -s /webserver/inotify/lib/* /usr/local/lib/
#添加环境变量
[root@work231 inotify-tools-3.14]# echo "export PATH=/webserver/inotify/bin:\$PATH" >> /etc/profile.d/inotify.sh
#设置开机自动在后台运行脚本
[root@work231 inotify-tools-3.14]# echo "/webserver/inotify/inotify_rsync.sh" >> /etc/rc.local

9.0.1 查看是否支持inotify

查看是否支持inotify,从kernel 2.6.13开始正式并入内核。

[root@work231 ~]# ll /proc/sys/fs/inotify/

总用量 0
-rw-r--r-- 1 root root 0 5月 24 23:55 max_queued_events
-rw-r--r-- 1 root root 0 5月 24 23:55 max_user_instances
-rw-r--r-- 1 root root 0 5月 24 23:55 max_user_watches
注:
在linux内核中,默认的inotify机制提供了三个调控参数:
max_queued_events #表示监控事件队列
max_user_instances #表示最多监控实例数
max_user_watches #表示每个实例最多监控文件数

[root@work231 inotify-tools-3.14]# cat  /proc/sys/fs/inotify/max_queued_events
16384
[root@work231 inotify-tools-3.14]# cat  /proc/sys/fs/inotify/max_user_instances 
128
[root@work231 inotify-tools-3.14]# cat  /proc/sys/fs/inotify/max_user_watches 
8192

注:当要监控的目录、文件数量较多或者变化较频繁时,要加大这三个参数的值。
例如:可直接修改/etc/sysctl.conf配置文件,将管理队列设为32768,实例数设为1024,监控数设为9000000(建议大于监控目标的总文件数)

[root@work231 inotify-tools-3.14]# vim /etc/sysctl.conf #以文件最后,添加以下内容

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 90000000

[root@work231 inotify-tools-3.14]# sysctl -p        #使修改后的sysctl.conf文件生效

查看是否修改成功:

[root@work231 inotify-tools-3.14]# cat /proc/sys/fs/inotify/max_user_watches

测试:
使用inotifywait命令监控网站目录/var/www/html发生的变化。然后在另一个终端向/var/www/html目录下添加文件、移动文件,查看屏幕输出结果。

[root@work231 inotify-tools-3.14]# inotifywait -h

常用参数:
-e 用来指定要监控哪些事件。
这些事件包括: create创建,move移动,delete删除,modify修改文件内容,attrib属性更改。
-m 表示持续监控
-r 表示递归整个目录
-q 表示简化输出信息。
[root@work231 inotify-tools-3.14]# inotifywait -mrq -e create,move,delete,modify /var/www/html/
在重新开启一个work231终端登录,在/var/www/html目录进行相关的操作,然后,回到原来的终端查看监控变化情况。

[root@work231 inotify-tools-3.14]# echo fooher.com > /var/www/html/a.html
[root@work231 inotify-tools-3.14]# mkdir /var/www/html/test
[root@work231 inotify-tools-3.14]# cp /etc/passwd /var/www/html/test/
[root@work231 inotify-tools-3.14]# rm -rf /var/www/html/test/passwd

查看变化:

[root@work231 inotify-tools-3.14]# inotifywait -mrq -e create,move,delete,modify /var/www/html/
/var/www/html/ CREATE fooher.com.html
/var/www/html/ MODIFY fooher.com.html
/var/www/html/ CREATE,ISDIR test
/var/www/html/test/ CREATE passwd
/var/www/html/test/ MODIFY passwd
/var/www/html/test/ DELETE passwd

使用inotifywait输出的监控结果中,每行记录中依次包括目录、事件、文件。据此可以识别变动情况。
编写触发式同步脚本

9.0.2 同步时不需要输入密码:

当work231发生变化后,直接将发生变化的数据同步到work232、work233同步时不需要输入密码

[root@work231 ~]# ssh-keygen  #全部默认回车确定
[root@work231 ~]# ssh-copy-id putfooher@192.168.99.232
[root@work231 ~]# ssh-copy-id putfooher@192.168.99.233

然后分别在 work232、work233 执行文件权限

[root@work232 ~]# setfacl -R -m user:putfooher:rwx /data/backup
[root@work232 ~]# setfacl -R -m default:user:putfooher:rwx /data/backup

[root@work233 ~]# setfacl -R -m user:putfooher:rwx /data/backup 
[root@work233 ~]# setfacl -R -m default:user:putfooher:rwx /data/backup

9.0.3 编写触发式同步脚本

#思路:
只要检测到变动时间,执行rsync上传同步操作,while read D E F是哪个变量,前面输出的内容是三段,每一段对应的就是后面的 D E F

这是一个差异备份上传脚本,参考以下:

#!/bin/bash
#########################################################################
# Site name: 运维天涯
# Domain name address: http://www.fooher.com
# Created Time: Wed 22 May 2017 04:59:03 PM CST
#########################################################################

#要备份文件的源服务器同步目录 这个位置不能随意改成 /data 不然会把 data 目录所有数据清空
localdir=/var/www/html/*
#同步到备份服务器目录
remotedir=putfooher@192.168.99.233:/data/backup
inotifywait -mrq -e modify,delete,create,move,close_write,attrib --timefmt '%y年%m月%d日 %H:%M' --format '%T %w%f%e'  ${localdir}|while read D E F
        do
             rsync -avz --delete --progress ${localdir} ${remotedir}
        done &

说明:

在work231上配置rsync服务器,把网站根目录/var/www/html目录共享出去。保证客户端:work232 和work233实时同步。work232每天3点,差异备份work233上的数据。

要求:
(1) 为保证work231服务器安全性,在work232上不能使用work231上的系统帐号进行远程备份。
(2) 在work232上,每周日5点,对work231上的数据进行打包备份。命名方式为:work231-年-月-日.tar.gz。

把上面脚本保存为 autoback.sh 并添加计划任务 设置work231每天3点定时差异备份上传到work233服务器。

[root@work231 ~]# echo "0 3 * * * /root/autoback.sh &" >> /var/spool/cron/root

work232每天3点定时下载数据备份

[root@work232 ~]# echo "0 3 * * * /root/autoback.sh &" >> /var/spool/cron/root
#!/bin/bash
#########################################################################
# Site name: 运维天涯
# Domain name address: http://www.fooher.com
# Created Time: Wed 22 May 2017 04:59:03 PM CST
#########################################################################

#要备份文件的源服务器同步目录 这个位置不能随意改成 /data 不然会把 data 目录所有数据清空
localdir=/var/www/html/*
#同步到备份服务器目录
remotedir=/data/backup
#目标服务器rsync同步用户的密码在源服务器的存放路径
rsyncpassdir=/webserver/rsync/etc/rsync.passwd
#目标服务器rsync同步用户名
sync_name=userfoohercom
#目标服务器rsync同步目录模块名称
wwwroot=wwwfoohercom
#目标服务器ip
Server_IP=192.168.1.143

rsync -avz --port=873 --progress --delete ${sync_name}@${Server_IP}::${wwwroot} ${remotedir} --password-file=${rsyncpassdir}

每周日5点备份计划任务

[root@work23 ~]# echo "0 5 * * 7 /root/autoback.sh &" >> /var/spool/cron/root

autoback.sh 打包脚本

#!/bin/bash
tar zcfP /data/backup/work231-`date +%Y_%m_%d`.tar.gz /data/backup
exit

评论已关闭