运维管理 ·

Linux下使用 rsync+inotify 实现同步服务器数据自动备份

一、 什么是rsync

rsync 远程同步,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,是一款优秀的,快速的,多功能的本地或者远程数据同步工具,使用与unix/Linux/windows等多种平台。另外它还是免费的软件。

二、 Rsync简介

rsync是Linux、UNIX系统下的数据镜像备autoback.sh 打包脚本份工具,它的特性如下:
(1)可以镜像保存整个目录树和文件系统。
(2)可以很容易做到保持原来文件的权限、时间、软硬链接等等。
(3)无须特殊权限即可安装。
(4)优化的流程,文件传输效率高。
(5)可以使用rcp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
(6)支持匿名传输。

rsync优点:

支持增量备份,选择性的保持:符号链接、硬链接、文件属性、权限、及时间等。传输前执行压缩。适用于异地备份,镜像服务器等应用 。使用ssh做为传输端口。sftp、ssh、xshell

区别:

当文件数据很大时候:scp无法备份大量数据,特点:先统一信息,像windows复制。scp每次拷贝都是完整拷贝,无法增量拷贝。rsync 边复制,边比较,边统计。

服务端口:端口: 873  (此端口可更改) 工作模式: C/S

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客机的rsync同步操作的服务器称为备份源
首先认识同步数据的方式:
推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)
拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)

Linux下使用rsync实现同步服务器数据自动备份

三、 系统配置介绍

 3.0.1 纯环境镜像软件包列表

说明:在work231上配置rsync服务器,把网站根目录/var/www/html目录共享出去。保证客户端:work232 和work233实时同步。work232每天3点,差异备份work233上的数据。

要求:
(1) 为保证work231服务器安全性,在work232上不能使用work231上的系统帐号进行远程备份。
(2) 在work232上,每周日5点,对work231上的数据进行打包备份。命名方式为:work231-年-月-日.tar.gz。

 3.0.2 纯环境镜像软件包列表

HOSTNAME                              work231
源服务器 IP                              192.168.99.231
目标服务器1                             192.168.99.232
目标服务器2                              192.168.99.233
操作系统                               Centos 6.8
核心数量                               2
内存大小                              2G
CPU 处理器                             i3-4130

 3.0.3 纯环境镜像软件包列表

软件 版本 安装目录
rsync 3.12 /webserver/rsync
inotify-tools 3.14 /webserver/inotify
xinetd 2.3.14

四、 实验拓扑图

Linux下使用rsync实现同步服务器数据自动备份

五、 分别在两台在目标服务器安装Rsync服务端

 5.0.1 关闭SELINUX

[root@work231 /]# vim /etc/selinux/config    #编辑防火墙配置文件

A、把 SELINUX=enforcing 先输入7gg,跳到第7行

B、然后输入yyp 复制一行 SELINUX=enforcing,(养成习惯做好备份)并注释掉,如图

SELINUX=enforcing             #注释掉

SELINUX=disabled               #添加一行

Linux下使用rsync实现同步服务器数据自动备份
:wq! #保存,退出

 5.0.2 安装xinetd服务来管理rsync服务

xinetd管理rsync服务工作原理

5.0.3 安装Rsync服务端软件

5.0.4 编辑配置文件,设置rsync执行路径

disable = yes   改为: disable = no server          = /usr/bin/rsync  改为: server          = /webserver/rsync/bin/rsync
Linux下使用rsync实现同步服务器数据自动备份

5.0.5 rsync监听端口873添加到/etc/services服务里

Linux下使用rsync实现同步服务器数据自动备份

5.0.6 rsync命令的基本用法:

格式:rsync 【选项】 源文件 目标文件 scp 常见的选项: -a,--archive(存档) 归档保存模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数-rlptgoD -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~ filename。可以使用--suffix选项来指定不同的备份文件前缀。 -c, --checksum 打开校验开关,强制对文件传输进行校验 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件 -r,–recursive 对子目录以递归模式处理 -q, --quiet 精简输出模式 -l,--links 表示拷贝链接文件 -R, --relative 使用相对路径信息 -p , --perms 表示保持文件原有权限 -t , --times 表示保持文件原有时间 -g , --group 表示保持文件原有属用户组 -o , --owner 表示保持文件原有属主 -D , --devices 表示块设备文件信息 -t, --times 保持文件时间信息 -W, --whole-file 拷贝文件,不进行增量检测 -x, --one-file-system 不要跨越文件系统边界 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步 -z , --compress 表示压缩传输, 当资料在传送到目的端进行档案压缩. -H 表示硬连接文件 -A 保留ACL属性信息,需要配合--perms -n, --dry-run现实哪些文件将被传输 -P 显示传输进度 等同于 --partial -u, --update 仅仅进行更新,也就是跳过所有已经存在于目标位置,并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结 -L, --copy-links 想对待常规文件一样处理软链结 -o, --owner 保持文件属主信息 -H, --hard-links 保留硬链结 -v 显示同步过程的详细信息 --port=PORT 指定其他的rsync服务端口 873 -T --temp-dir=DIR 在DIR中创建临时文件 -I, --ignore-times 不跳过那些有同样的时间和长度的文件 --delete 删除那些目标位置有而原始位置没有的文件 --delete-excluded 同样删除接收端那些被该选项指定排除的文件 --delete-after 传输结束以后再删除 --ignore-errors 及时出现IO错误也进行删除 --max-delete=NUM 最多删除NUM个文件 --password-file=FILE 从FILE中得到密码 --bwlimit=KBPS 限制I/O带宽,Kbytes /second --filter “- 文件名”需要过滤的文件 --exclude=PATTERN 指定排除不需要传输的文件模式 --include=PATTERN 指定不排除而需要传输的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --address 绑定到特定的地址 --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件 --backup-dir 将备份文件(如~filename)存放在在目录下 --suffix=SUFFIX 定义备份文件前缀 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 --safe-links 忽略指向SRC路径目录树以外的链结 --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输 --force 强制删除目录,即使不为空 --numeric-ids 不将数字的用户和组ID匹配为用户名和组名 --timeout=TIME IP超时时间,单位为秒 --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0 --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 --progress 显示备份过程 --config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件 --blocking-io 对远程shell使用阻塞IO --stats 给出某些文件的传输状态 --log-format=formAT 指定日志文件格式 --password-file=FILE 从FILE中得到密码 常用的 –avz 或者 -avzP

六、实战使用rsync备份数据举例:

对work231网站根目录的/var/www/html目录备份到work232 和work233的/data/backup目录。创建用户

getfooher用于下载,读;创建用户putfooher 用于上传,写。
客户端 work231
服务器 work232
服务器 work233

6.0.1 添加用户

扩展:

setfacl命令可以用来细分linux下的文件权限
getfacl 查看文件的权限
setfacl和chmod有什么区别
chmod命令可以把文件权限分为u,g,o三个组,而setfacl可以对每一个文件或目录设置更精确的文件权限。 比较常用的用法如下:
setfacl –m u:apache:rwx file 设置apache用户对file文件的rwx权限
setfacl –m g:market:rwx file 设置market用户组对file文件的rwx权限
setfacl –x g:market file 删除market组对file文件的所有权限

6.0.2 对目录赋予ACL权限

putfooher 用户可以对目录拥有读写权限

设置默认情况下,putfooher 对目录/var/www/html下的所有文件拥有读写权限

查看putfooher的权限

getfacl: Removing leading '/' from absolute path names
# file: var/www/html/
# owner: root
# group: root
user::rwx
user:putfooher:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:putfooher:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

6.0.3 创建测试数据:

在 work231 上操作,把 rsync-3.1.2.tar.gz 解压到 /var/www/html 里,这个目录下的所有数据作为测试数据

在 work232 上操作

Linux下使用rsync实现同步服务器数据自动备份

注意: /var/www/html 和 /var/www/html/ 区别 

A、 /var/www/html 后面不加 / 那么 rsync 会把 html 这个目录和html 子目录及文件一起下载下来

B、 /var/www/html/ 后面加了/ 那么 rsync 只是把 html 目录里面的文件下载下来,而不会下载 html 这个目录,

错误 1、出现 rsync: send_files failed to open "/var/www/html/文件名": Permission denied (13) 

错误 2、出现 sent 306 bytes received 148230 bytes 27006.55 bytes/sectotal size is 255182 speedup is 1.72
           rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1505) [generator=3.0.6]

这是因为对这个文件没有读权限的原因,请重启执行 getfacl 文件名 这样的权限

解决:  [root@work231 /]# getfacl /var/www/html/文件名        [root@work231 /]# ll /var/www/html/文件名        -rw-------+ 1 root root 787 Apr 9 19:17 /var/www/html/文件名               [root@work231 /]# chmod 744 /var/www/html/文件名

七、使用ssh密钥实现无交互备份:

7.0.1 生成ssh密钥:

Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: #直接回库 Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: #直接回库 cd:3f:1f:08:92:36:e3:95:f3:d5:4d:52:32:70:46:ea root@work231 The key's randomart image is: #直接回库 +--[ RSA 2048]----+ | .o* .| | + + | | . . .| | + o +.| | S B E . o| | o = = o | | . = . | | o . | | . | +-----------------+

getfooher@192.168.99.231's password: Now try logging into the machine, with "ssh 'getfooher@192.168.99.231'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting.

7.0.2 测试,不输密码直接连接:

[getfooher@work231 ~]$ exit logout Connection to 192.168.99.231 closed.

7.0.3 测试,不输密码直接登录和备份:

编写备份脚本:

测试脚本:

定期增量备份:

01 3 * * * /data/rsync_ssh_bak.sh.sh &

八、非系统用户备份数据:

使用系统配置文件/etc/rsyncd.conf来备份数据,创建备份账户,最后把rsync以deamon方式运行。

8.0.1 创建 rsyncd.conf 配置文件:

配置文件分为两部分:全局参数,模块参数 全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数生效 模块参数:定义需要通过rsync输出的目录定义的参数

常见的参数:

常见的模块参数:主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

rsyncd.conf 文件不存在,需要自己创建

rsyncd.mod 文件不存在,客户端登陆之后弹出的消息,需要创建

  #++++++++++++++++++++++++++++++++++++++++++++++    Welcome to use the fooher.com rsync services!   #++++++++++++++++++++++++++++++++++++++++++++++

8.0.2 创建用户密码文件

用户密码文件里面内容为: userfoohercom:www.fooher.com

8.0.3 设置配置文件权限

rsyncd.secrets 权限必须是600,否则的话身份验证会失效

 8.0.3 设置 rsync 启动服务

rsyncd.secrets 权限必须是600,否则的话身份验证会失效

Linux下使用rsync实现同步服务器数据自动备份

873 端口添加到防火墙

 -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT

rsync语法:rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

下载模式:

上传模式:

Linux下使用 rsync+inotify 实现同步服务器数据自动备份

实现无交互备份数据脚本:

创建计划任务:

01 3 * * * /data/rsyncbak.sh &

九、配置rsync+inotify实时同步:

Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取、删除、移动等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应。 使用rsync工具与inotify机制相结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静态等侍状态,这样一来,就避免了按固定周期备份进存在的延迟性、周期过密等问题。 扩展: 常见的开源软件下载网址:SourceForge.net,又称SF.net,是开源软件开发者进行开发管理的集中式场所。SourceForge 是全球最大开源软件开发平台和仓库,网站建立的宗旨,就是为开源软件提供一个存储、协作和发布的平台。SourceForge 上拥有大量非常优秀的开源软件,事实上,这些软件完全可以代替一些商业软件。

9.0.1 安装 inotify-tools

安装inotify-tools-3.14.tar.gz 后,将拥有inotifywait、inotifywatch辅助工具程序,从而来监控、汇总文件系统改动情况。

9.0.1 查看是否支持inotify

查看是否支持inotify,从kernel 2.6.13开始正式并入内核。

总用量 0 -rw-r--r-- 1 root root 0 5月 24 23:55 max_queued_events -rw-r--r-- 1 root root 0 5月 24 23:55 max_user_instances -rw-r--r-- 1 root root 0 5月 24 23:55 max_user_watches 注: 在linux内核中,默认的inotify机制提供了三个调控参数: max_queued_events #表示监控事件队列 max_user_instances #表示最多监控实例数 max_user_watches #表示每个实例最多监控文件数

注:当要监控的目录、文件数量较多或者变化较频繁时,要加大这三个参数的值。
例如:可直接修改/etc/sysctl.conf配置文件,将管理队列设为32768,实例数设为1024,监控数设为9000000(建议大于监控目标的总文件数)

fs.inotify.max_queued_events = 32768 fs.inotify.max_user_instances = 1024 fs.inotify.max_user_watches = 90000000

查看是否修改成功:

测试: 使用inotifywait命令监控网站目录/var/www/html发生的变化。然后在另一个终端向/var/www/html目录下添加文件、移动文件,查看屏幕输出结果。

常用参数:
-e 用来指定要监控哪些事件。
这些事件包括: create创建,move移动,delete删除,modify修改文件内容,attrib属性更改。
-m 表示持续监控
-r 表示递归整个目录
-q 表示简化输出信息。
[root@work231 inotify-tools-3.14]# inotifywait -mrq -e create,move,delete,modify /var/www/html/
在重新开启一个work231终端登录,在/var/www/html目录进行相关的操作,然后,回到原来的终端查看监控变化情况。

查看变化:

使用inotifywait输出的监控结果中,每行记录中依次包括目录、事件、文件。据此可以识别变动情况。
编写触发式同步脚本

9.0.2 同步时不需要输入密码:

当work231发生变化后,直接将发生变化的数据同步到work232、work233同步时不需要输入密码

然后分别在 work232、work233 执行文件权限

9.0.3 编写触发式同步脚本

思路:

只要检测到变动时间,执行rsync上传同步操作,while read D E F是哪个变量,前面输出的内容是三段,每一段对应的就是后面的 D E F

这是一个差异备份上传脚本,参考以下:

说明:

在work231上配置rsync服务器,把网站根目录/var/www/html目录共享出去。保证客户端:work232 和work233实时同步。work232每天3点,差异备份work233上的数据。

要求:
(1) 为保证work231服务器安全性,在work232上不能使用work231上的系统帐号进行远程备份。
(2) 在work232上,每周日5点,对work231上的数据进行打包备份。命名方式为:work231-年-月-日.tar.gz。

把上面脚本保存为 autoback.sh 并添加计划任务 设置work231每天3点定时差异备份上传到work233服务器。

work232每天3点定时下载数据备份

每周日5点备份计划任务

autoback.sh 打包脚本

评论已关闭