一、数据实时同步介绍

1 什么是实时同步:如何实现实时同步

A. 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化

B. 发现目录中数据产生变化,就利用rsync服务推送到备份服务器上

2 实现实时同步的方法

inotify+rsync 方式实现数据同步

sersync 方式实现实时数据同步

实时同步原理介绍:

3 inotify+rsync 方式实现数据同步

3.1 Inotify简介

Inotify是一种强大的,细粒度的。异步的文件系统事件监控机制,linux内核从2.6.13起,加入了 Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而 inotify-tools 正是实施这样监控的软件。国人周洋在金山公司也开发了类似的实时同步软件sersync。

提示信息:

sersync软件实际上就是在 inotify 软件基础上进行开发的,功能要更加强大些 ,多了定时重传机制,过滤机制了提供接口做 CDN,支持多线程橾作。

Inotify实际是一种事件驱动机制,它为应用程序监控文件系统事件提供了实时响应事件的机制,而无须通过诸如cron等的轮询机制来获取事件。cron等机制不仅无法做到实时性,而且消耗大量系统资源。相比之下,inotify基于事件驱动,可以做到对事件处理的实时响应,也没有轮询造成的系统资源消耗,是非常自然的事件通知接口,也与自然世界事件机制相符合。

inotify的实现有几款软件:

inotify-tools,sersync,lrsyncd

3.2 inotify+rsync使用方式

inotify 对同步数据目录信息的监控

rsync 完成对数据信息的实时同步

利用脚本进行结合

4 部署inotify软件的前提

需要2.6.13以后内核版本才能支持inotify软件。2.6.13内核之后版本,在没有安装inotify软件之前,应该有这三个文件。
  1. [root@backup ~]# ll /proc/sys/fs/inotify/
  2. total 0
  3. -rw-r--r-- 1 root root 0 Oct 17 10:12 max_queued_events
  4. -rw-r--r-- 1 root root 0 Oct 17 10:12 max_user_instances
  5. -rw-r--r-- 1 root root 0 Oct 17 10:12 max_user_watches
复制代码

4.1 三个重要文件的说明
文件
默认值
作用说明
max_user_watches
8192
设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
max_user_instances
128
设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
max_queued_events
16384
设置inotify实例事件(event)队列可容纳的事件数量



4.2 【服务优化】可以将三个文件的数值调大,监听更大的范围

4.3 【官方说明】三个重要文件
  1. [root@nfs01 ~]# man proc
  2. /proc/sys/fs/inotify (since Linux 2.6.13)
  3.        This   directory   contains    files    max_queued_events,
  4.        max_user_instances, and max_user_watches, that can be used
  5.        to limit the amount of kernel memory consumed by the  inotify interface.
  6. for further details, see inotify(7).
复制代码

通过man手册的第7级别中查到 inotify的默认文件的详细说明。
  1. [root@nfs01 ~]# man 7 inotify
  2. /proc/sys/fs/inotify/max_queued_events
  3.        The  value  in this file is used when an application calls
  4.        inotify_init(2) to set an upper limit  on  the  number  of
  5.        events  that  can  be  queued to the corresponding inotify
  6.        instance.  Events in excess of this limit are dropped, but
  7.        an IN_Q_OVERFLOW event is always generated.
  8. /proc/sys/fs/inotify/max_user_instances
  9.        This  specifies  an  upper  limit on the number of inotify
  10.        instances that can be created per real user ID.
  11. /proc/sys/fs/inotify/max_user_watches
  12.        This specifies an upper limit on  the  number  of  watches
  13.        that can be created per real user ID.
复制代码

5 inotify软件介绍及参数说明

5.1 两种安装方式

1) yum install -y inotify-tools

2) 手工编译安装

注:YUM 安装需要有epel源
  1. http://mirrors.aliyun.com
复制代码

手工编译安装方式需要到github上进行下载软件包

inotify软件的参考资料链接:
  1. https://github.com/rvoicilas/inotify-tools/wiki
复制代码

5.2 inotify主要安装的两个软件

inotifywait: (主要)

在被监控的文件或目录上等待特定文件系统事件(open close delete等)发生,执行后处于阻塞状态,适合在shell脚本中使用

inotifywatch:

收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计。

说明:在实时实时同步的时候,主要是利用inotifywait对目录进行监控

5.3 inotifywait命令参数说明
参数
含义
-m, --monitor
(重要参数)
Keep listening for events forever.  Without this option, inotifywait will exit after one event is received.
始终保持事件监听。
-d, --daemon
111
-r, --recursive
(重要参数)
Watch all subdirectories of any directories passed as arguments.
递归监控目录数据信息变化
-o, --outfile <file>
Print events to <file> rather than stdout.
打印事件到文件中,相当于标准正确输出
-s, --syslog
Output errors to syslog(3) system log module rather than stderr.
发送错误到syslog相当于标准错误输出
-q, --quiet
(重要参数)
If specified once, the program will be less verbose.  Specifically, it will not state  when  it  has  completed establishing all inotify watches.
输出信息少(只打印事件信息)
--exclude <pattern>
Exclude all events on files matching the extended regular expression <pattern>.
排除文件或目录
--excludei <pattern>
Like --exclude but case insensitive.
排除文件或目录时,不区分大小写
--timefmt <fmt>
(重要参数)
Print using a specified printf-like format string; read the man page for more details.
指定时间输出格式
--format <fmt>
(重要参数)
Print using a specified printf-like formatstring; read the man page for more details.
打印使用指定的输出类似格式字符串;即实际监控输出内容
-e
(重要参数)
Listen for specific event(s).  If omitted, all events are listened for.
指定监听指定的事件,如果省略,表示所有事件都进行监听
以上的信息可以通过 inotifywait --help  获得

5.4 -e[参数] 可以指定的事件类型
事件名称
事件说明
access
file or directory contents were read
文件或目录内容被读取
modify
file or directory contents were writterv
文件或目录内容被写入
attrib
file or directory attributes changed
文件或目录属性改变
close_write
(重要参数)
file or directory closed, after being opened in writeable mode.
文件或目录关闭,在写入模式打开之后关闭的。
close_nowrite
file or directory closed, after being opened in read-only mode.
文件或目录关闭,在只读模式打开之后关闭的
close
file or directory closed, regardless of read/write mode
文件或目录关闭,不管读或是写模式
open
file or directory opened
文件或目录被打开
moved_to
file or directory moved to watched directory
文件或目录被移动到监控的目录中
moved_from
file or directory moved from watched directory
文件或目录被移动从监控的目录中
move
(重要参数)
file or directory moved to or from watched directory
文件或目录不管移动到或是移出监控目录都触发事件
create
(重要参数)
file or directory created within watched directory
文件或目录创建在监控目录中
delete
(重要参数)
file or directory deleted within watched directory
文件或目录被删除在监控目录中
delete_self
file or directory was deleted
文件或目录被删除,目录本身被删除
unmount
file system containing file or directory unmounted
以上的信息可以通过 inotifywait --help  获得

【实例】inotifywait监控中的事件测试:

① 创建事件
  1. [root@nfs01 data]# touch test2.txt
  2. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息:
  3. %e" -e create
  4. 17-10-17 11:19 /data/test2.txt 事件信息: CREATE
复制代码

② 删除事件
  1. [root@nfs01 data]# \rm -f test1.txt
  2. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息:
  3. %e" -e delete
  4. 17-10-17 11:28 /data/test1.txt 事件信息: DELETEE
复制代码

③ 修改事件
  1. [root@nfs01 data]# echo "132" > test.txt
  2. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息:
  3. %e" -e close_write
  4. 17-10-17 11:30 /data/test.txt 事件信息: CLOSE_WRITE,CLOSE
复制代码

④ 移动事件 moved_to
  1. [root@nfs01 data]# mv /etc/hosts .
  2. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息:
  3. %e" -e moved_to
  4. 17-10-17 11:33 /data/hosts 事件信息: MOVED_TO
复制代码

移动事件 moved_from
  1. [root@nfs01 data]# mv ./hosts  /tmp/
  2. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息:
  3. %e" -e moved_from
  4. 17-10-17 11:34 /data/hosts 事件信息: MOVED_FROM
复制代码

5.5 inotifywait 参数 --format 格式定义参数
命令参数
参数说明
%w(重要参数)
事件出现时,监控文件或目录的名称信息
%f(重要参数)
事件出现时,将显示监控目录下触发事件的文件或目录信息,否则为空
%e(重要参数)
显示发生的事件信息,不同的事件信息用逗号进行分隔
%Xe
显示发生的事件信息,不同的事件信息有x进行分隔,可以修改X为指定分隔符
%T(重要参数)
输出时间格式中定义的时间格式信息,通过 --timefmt option 语法格式指定时间信息
这个格式是通过strftime函数进行匹配时间格式信息的
以上的信息可以通过 inotifywait --help  获得

5.6 inotifywait 参数--timefmt 时间格式参数
命令参数
参数说明
%d(重要参数)
The day of the month as a decimal number(range 01 to 31)
每月的第几天,显示倍息为十进制数(范围是 01-31 )
%m(重要参数)
The month as a decimal number (range 01 to 12).
显示月份,显示信息为十进制(范围 01-12 )
%M
The minute as a decimal number (range 00 to 59).
显示分钟,显示信息为十进制(范围 00-59 )
%y(重要参数)
The year as a decimal number without a century (range 00 to 99).
年份信息,显示信息为十进制,并且没有世纪信息
%Y
The year as a decimal number including the century.
年份信息,显示信息为十进制,并且包含世纪信息
%H
The hour as a decimal number using a 24-hour clock (range 00 to 23).
小时信息,显示信息为十进制,使用 24小时制(范围 00-23 )
说明:以上信息可以通过 man strftime信息获取

修改输出的日期格式:
  1. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d/%m/%y %H:%M" --format "%T %w%f"
  2. 17/10/17 11:12 /data/test1.txt
复制代码

5.7 -e[参数] 重要监控事件参数汇总表:
重要事件
包含事件
备注说明
close
close_write  
close_nowrite
文件或目录关闭,不管读或是写模式
即包含写关闭与读关闭
close_write
create
包含文件创建事件,但不包含目录创建事件
move
moved_to  
moved_from
文件或目录不管移动到或是移动出监控目录都触发事件
即包含信息移入或移出监控目录事件
重要参数汇总:根据以上说明,在实际使用时,只要监控以下事件即可
create 创建、 delete 删除、 movedjto 移入、 close_write 修 改
inotifywait -mrq /data --format "%w%f"  -e create,delete,moved_to,close_write

6 对inotifywait命令的测试

对inotifywait命令测试的说明:

需要打开两个连接窗口:

1 窗口运行inotifywait

2 窗口对文件夹进行操作,可在一窗口中查看出inotifywait的监控记录

6.1 创建文件的逻辑
  1. [root@nfs01 ~]# inotifywait /data
  2. Setting up watches.
  3. Watches established.
  4. /data/ CREATE test1.txt
  5. /data/ OPEN test1.txt
  6. /data/ ATTRIB test1.txt
  7. /data/ CLOSE_WRITE,CLOSE test1.txt
  8. 创建文件,inotifywait显示创建文件的过程↑
  9. [root@nfs01 data]# touch test1.txt
复制代码

6.2 创建目录逻辑
  1. [root@nfs01 data]# mkdir testdir
  2. [root@nfs01 ~]#/data/ CREATE,ISDIR testdir
复制代码

6.3 监控子目录下的文件
  1. [root@nfs01 data]# touch  testdir/test01.txt
  2. [root@nfs01 ~]# inotifywait -mrq  /data
  3. /data/testdir/ OPEN test01.txt
  4. /data/testdir/ ATTRIB test01.txt
  5. /data/testdir/ CLOSE_WRITE,CLOSE test01.txt
复制代码

6.4 sed命令修改逻辑
  1. [root@nfs01 data]# sed 's#132#123#g' test.txt -i

  2. [root@nfs01 ~]# inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息:
  3. %e" -e moved_from
  4. /data/test.txt 事件信息: OPEN
  5. /data/sedDh5R8v 事件信息: CREATE
  6. /data/sedDh5R8v 事件信息: OPEN
  7. /data/test.txt 事件信息: ACCESS
  8. /data/sedDh5R8v 事件信息: MODIFY
  9. /data/sedDh5R8v 事件信息: ATTRIB
  10. /data/sedDh5R8v 事件信息: ATTRIB
  11. /data/test.txt 事件信息: CLOSE_NOWRITE,CLOSE
  12. /data/sedDh5R8v 事件信息: CLOSE_WRITE,CLOSE
  13. /data/sedDh5R8v 事件信息: MOVED_FROM
  14. /data/test.txt 事件信息: MOVED_TO
复制代码

sed命令替换逻辑 :

01. 创建临时文件

02. 将原文件内容放置到临时文件中,修改替换临时文件中的内容,原有文件不做改动

03. 重命名临时文件,覆盖原文件

6.5 inotifywait监控中 -e 的参数使用
  1. inotifywait -mrq /data --timefmt "%d/%m/%y %H:%M" --format "%T %w%f 事件信息: %e" -e create
复制代码

说明:表示只监听create事件
  1. inotifywait -mrq /data --timefmt "%d/%m/%y %H:%M" --format "%T %w%f 事件信息: %e"
复制代码

说明:不指定-e参数,表示监听所有事件

删除事件delete:
  1. # inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f 事件信息: %@e" -e delete
  2. 2017-10-17 11:28 /data/02.txt 事件信息: DELETE
  3. 2017-10-17 11:28 /data/03.txt 事件信息: DELETE
  4. 2017-10-17 11:28 /data/04.txt 事件信息: DELETE
复制代码

修改事件close_write:
  1. # inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f 事件信息: %@e" -e delete,close_write
  2. 2017-10-17 11:30 /data/oldgirl.txt 事件信息: CLOSE_WRITE@CLOSE
  3. 2017-10-17 11:30 /data/.oldgirl.txt.swx 事件信息: CLOSE_WRITE@CLOSE
  4. 2017-10-17 11:30 /data/.oldgirl.txt.swx 事件信息: DELETE
  5. 2017-10-17 11:30 /data/.oldgirl.txt.swp 事件信息: CLOSE_WRITE@CLOSE
  6. 2017-10-17 11:30 /data/.oldgirl.txt.swp 事件信息: DELETE
  7. 2017-10-17 11:30 /data/.oldgirl.txt.swp 事件信息: CLOSE_WRITE@CLOSE
  8. 2017-10-17 11:30 /data/.oldgirl.txt.swp 事件信息: DELETE
复制代码

移动事件moved_to:
  1. inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f 事件信息: %@e" -e delete,close_write,moved_to
  2. 2017-10-17 11:34 /data/hosts 事件信息: MOVED_TO
复制代码

7 实时同步命令参数示意图


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Powered by Discuz! X3.2  © 2001-2013 Comsenz Inc.