rsync+inotify は Linux システムのサーバー間でリアルタイムのファイル同期を実現します

以前「SSHトラストとSCP自動転送スクリプト」に関する技術文書を作成しましたが、このソリューションは社内でバックアップ方法として使用されていますが、実際の運用では、メインサーバーがバックアップサーバーであるメインサーバーに送信します。バックアップ ファイルはリアルタイムで継続的に生成されるため、メイン サーバーがバックアップ サーバーに転送したファイルの数がわかりません。また、ディスク容量が非常に大きいため、バックアップを実行する理由は次のとおりです。 1 つは、ファイルを保存するためです。もう 1 つは、メイン サーバーのディスク問題を解決することです。ただし、バックアップ サーバーが受信したファイルの数がわからないため、メイン サーバーのファイルは削除しません (削除する場合)。バックアップがなければ、これは政府のプロジェクトであり、サーバー内のすべてのファイルは重要です。間違ったファイルを削除すると、~~~~(>_以下は会社の運用と保守のために私が作成したバックアップ技術文書です。皆さんに役立つことを願っています。

まず、オンラインで見つけた rsync と inotify を紹介します。最初に宣言しておきますが、次の rsync と inotify の紹介は私が書いたものではありません。

1. rsync

従来の cp および tar バックアップ方法と比較して、rsync には高いセキュリティ、高速バックアップという利点があり、高いリアルタイム パフォーマンスを必要としないデータ バックアップのニーズを解決できます。ファイルサーバーのデータをリモートサーバーに定期的にバックアップしたり、ローカルディスク上でデータのミラーリングを定期的に実行したりするなど。
アプリケーション システムの規模が拡大し続けるにつれて、rsync はハイエンド ビジネス システムの多くの欠点を徐々に明らかにしています。まず、rsync はデータを同期するときに、すべてのデータをスキャンする必要があります。その後、ファイルが比較され、差分送信されます。ファイルの数が数百万、さらには数千万に達すると、すべてのファイルをスキャンするのは非常に時間がかかります。そして、変化しているのはそのごく一部であることが多く、これは非常に非効率な方法です。次に、rsync はデータをリアルタイムで監視および同期することができませんが、Linux デーモンを通じて同期をトリガーすることはできますが、2 つのトリガー アクションの間に時間差が生じる必要があり、これによりサーバーとクライアントのデータに不整合が発生する可能性があり、同期を完了できなくなります。アプリケーション障害時のデータ復旧。上記の理由に基づいて、rsync + inotify の組み合わせが登場しました。
2. inotify
Inotify は、2.6.13 以降、Linux カーネルに Inotify サポートが追加され、追加、削除、変更などを監視できます。ファイル システムの移動などのさまざまな軽微なイベントを、このカーネル インターフェイスを使用してサードパーティ ソフトウェアで監視できます。inotify-tools はそのようなサードパーティ ソフトウェアです。上の章では、rsync がトリガーによるファイル同期を実現できると述べましたが、crontab デーモンを通じてトリガーされた場合、同期されたデータは実際のデータとは異なり、inotify はファイル システム内のさまざまな変更をいつでも監視できます。ファイルに変更が加えられると、rsync 同期がトリガーされ、データのリアルタイム同期の問題が解決されます。

rsync と inotify のインストール、構成、テストを始めましょう。

以下は 2 つのサーバーの構造です。ホスト名、IP、ステータス、カーネル、ビット数、同期ディレクトリであり、両方のサーバーは redhat5.4 リリース バージョンです。

1. メインサーバー (サーバー側、ここでは nginx)

メインサーバーは rsync と inotify をインストールする必要があります。 メインサーバーはサーバーとして機能し、バックアップサーバークライアントにファイルを転送します

1. rsync をインストールします。

[root@nginx ~]# cd /usr/src/
[root@nginx src]# ll
total 16
drwxr-xr-x 2 root root 4096 Jan 26 2010 debug
drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels
[root@nginx src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz
[root@nginx src]# cd rsync-3.0.9
[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
[root@nginx rsync-3.0.9]# make
[root@nginx rsync-3.0.9]# make install

2. パスワード認証ファイルを作成します

[root@nginx rsync-3.0.9]# cd /usr/local/rsync/ 
[root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync.passwd

rsync-pwdのパスワードは自分で設定できますし、rsync.passwdの名前も自分で設定できます

[root@nginx rsync]# chmod 600 rsync.passwd

セキュリティのためか次のエラーを回避するには、パスワード ファイルに 600 の権限を与える必要があります

password file must not be other-accessible 
continuing without password file

3. inotify をインストールします

[root@nginx rsync]# cd /usr/src/
[root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz
[root@nginx src]# cd inotify-tools-3.14
[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@nginx inotify-tools-3.14]# make
[root@nginx inotify-tools-3.14]# make install

4. rsync コピー スクリプトを作成します

この機能は主にサーバー上のディレクトリ /tmp の内容をコピーします。変更された場合 (ファイルの追加、変更、削除のいずれであっても)、inotify を介して実行できます。 rsync を介してリアルタイムで監視され、クライアントの /tmp に同期されます。 以下はシェル スクリプトを介して実装されます。

#!/bin/bash
host=192.168.10.221
src=/tmp/    
des=web
user=webuser
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

注: 1 階からのプロンプトの後、rsync.log を tmp (バックアップ ディレクトリ) に置くか、常にコピーを送信する場合は、rsync ログを別のディレクトリ (非バックアップディレクトリ）。

Host はクライアントの IP、src はサーバー側でリアルタイムに監視されるディレクトリ、des はクライアントと一致する必要がある認証のモジュール名、user は認証されたユーザーです。パスワードファイル。
このスクリプトに rsync.sh という名前を付け、監視対象のディレクトリに置きます。たとえば、私のスクリプトを /tmp の下に置き、764 のアクセス許可を与えます

[root@nginx tmp]# chmod 764 rsync.sh

次に、このスクリプトを実行します

[root@nginx tmp]# sh /tmp/rsync.sh &

请记住，只有在备份服务器client端的rsync安装并启动rsync之后，在启动rsync.sh脚本，否则有时候会满屏出现：

rsync: failed to connect to 192.168.10.221: Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]

我们还可以把rsync.sh脚本加入到开机启动项里

[root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local 二、备份服务器（client，我这里为nginx-backup）

1、安装rsync（备份服务器只安装rsync）

[root@nginx-backup ~]# cd /usr/src/
[root@nginx-backup src]# ll
total 16
drwxr-xr-x 2 root root 4096 Jan 26 2010 debug
drwxr-xr-x 2 root root 4096 Jan 26 2010 kernels
[root@nginx-backup src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
[root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz
[root@nginx-backup src]# cd rsync-3.0.9
[root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
[root@nginx-backup rsync-3.0.9]# make
[root@nginx-backup rsync-3.0.9]# make install

2、建立用户与密码认证文件

[root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd

请记住，在server端建立的密码文件，只有密码，没有用户名；而在备份服务端client里建立的密码文件，用户名与密码都有。

[root@nginx-backup rsync]# chmod 600 rsync.passwd 需要给密码文件600权限

3、建立rsync配置文件

uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web]
path = /tmp/
comment = web file
ignore errors
read only = no
write only = no
hosts allow = 192.168.10.220
hosts deny = *
list = false
uid = root
gid = root
auth users = webuser
secrets file = /usr/local/rsync/rsync.passwd

其中web是server服务端里的认证模块名称，需要与主服务器里的一致，以上的配置我的自己服务器里的配置，以供参考。

把配置文件命名为rsync.conf，放到/usr/local/rsync/目录里

启动rsync
[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf

如果出现以下问题：

/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory，

可以采用下面方法解决

[root@nginx-backup rsync]# whereis libiconv.so.2 
libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so

找到所需模块所在的目录，然后把此目录添加到/etc/ld.so.conf里，并更新库文件

[root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf  
 [root@nginx-backup rsync]# ldconfig

我们可以把rsync脚本加入到开机启动项里

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local

现在rsync与inotify在server端安装完成，rsync在备份服务器client端也安装完成
下面是server端的tmp文件情况

下面是client端tmp的文件情况

接下来我们来做一下测试，在server里创建个test-rsync文件，看看client是否能收到

在看client端是否有test-rsync文件，同时client端的tmp目录文件是否与server端的文件完全一致

可以看到在client端，已经收到了test-rsync文件，而且client的tmp里的文件与server里tmp的文件完全相同、文件数目一致。

现在rsync与inotify的搭建与配置完成了，并实现了服务器直接数据的实时同步；大家可以根据自己的需要来进行相应的配置。

BTW：在rsync+inotify这种备份方法的时候，我公司遇到了一个问题，那就是主服务已经给备用服务同步完数据了，但主服务器磁盘看见满了，需要把已经备份的文件删除，但同时在备份服务器里保留主服务器里的文件，也就是说主服务器里删除文件的时候，备份服务器里不跟着删除文件，我查看了很多英文文档，测试了很多遍，最后找到了一个解决方法，那就是在主服务器里，把rsync.sh这个脚本里第9行的--delete参数给去掉，就可以解决这个问题。

更多rsync+inotify は Linux システムのサーバー間でリアルタイムのファイル同期を実現します相关文章请关注PHP中文网！