準備環境
node1:192.168.139.2
node2:192.168.139.4
node4:192.168.139.868.139.8653539.
node1 作為target端
node2 node4 node5 作為initiator端
並且將node2 node4 node5安裝cman+rgmanager後配置成一個三節點的RHCS高可用集群,因為gfs2為一個集群文件系統,必須藉助HA高可用集群將故障節點Fence掉,及借助Message Layer進行節點資訊傳遞。
因為要將發現並登錄的target做成集成檔案系統,所以必須在node2 node4 node5上安裝gfs2-utils
先將原來用luci/ricci創建的集群服務stoptop(我以前實驗做掉的一個叢集服務,與此實驗無關)
[root@node2 mnt]# clusvcadm -d Web_Service
Local machine disabling service:Web_Service...
Member Name ---- ------
node2.zxl.com 1 Online, Local, rgmanager
node4.zxl.com 2 Online, rgmanager
Service Name Owner (Last) State - ----- ------ -----
service:Web_Service (node2.zxl.com) dis_p root7/opinaofgqnodeo; mnt] # service cman stop
[root@node4 mnt]# service rgmanager stop
[root@node4 mnt]# service cman stop
[root@node4 mnt]# service cman stop
用css_tool指令建立一個叢集,叢集名稱mycluster
[root@node2 mnt]# ccs_tool create myclcontool /cgluc/Ftool create scl/tool 3/cl>g; /cluster.conf
Name ence_manual
-n 指定節點識別碼
-f 指定Fence設備名稱
新增三個節點,RHCS叢集至少要有三個節點[root@node2 mnt]# ccs_tool addnode -vf -n 11 -f meatware node2.zxl.com[root@node2 mnt]# ccs_tool addnode -v 1 -n 2 -f meatware node4.zxl.com
[root@node2 mnt]# ccs_tool.com
[root@node2 mnt]# ccs_tool addnode - 11 -1 meatware node5.zxl.com
查看集群節點
[root@node2 mnt]# ccs_tool lsnode
Cluster name: mycluster, config_version: 5node5.zxl.com 1 3 meatware
root
[ @node2 mnt]# service cman start[root@node2 mnt]# service rgmanager start[root@node4 mnt]# service cman start[root@node4 mnt] service rgmanager[root@node5 mnt]# service cman start
[root@node5 mnt]# service rgmanager start
[root@node2 mnt]# clustat
[root@node2 mnt]# clustat :Cluster Status for mycluster 201402020Member Status: Quorate
Member Name ID Status
------ ---- . 1 Online, Local
node4 .zxl.com 2 Online
node5.zxl.com 3 Online
[root@node2 mnt]
🎼 / sbin/fsck.gfs2/sbin/mkfs.gfs2 \格式化建立gfs2檔案系統的/sbin/mount.gfs2 \掛載gfs2檔案系統的/usr/sbin/gfs2_convertgfs2檔案系統的
/usr/sbin/gfs2_convert .gfs2指令的使用
-j 指定日誌區域個數,有幾個就能被幾個節點掛載,因為格式化為叢集檔案系統後,每個節點都要有日誌記錄
-J 指定日誌大小,預設128M
-p {lock_dlm|lock_nolock} 分散式鎖定管理|不用鎖定
-t
註:一個叢集可以有多個檔案系統,如一個叢集中共用了兩個磁碟,兩個磁碟可以是gfs2和ocfs2檔案系統,不同的檔案系統進行加鎖時,要用不同的鎖表進行唯一標示,所以每個鎖都要有鎖名稱
鎖表名稱的格式
cluster_name:鎖定表名
如:mycluster:lock_sda
-D 顯示詳細的Debug資訊
gfs7G,並格式化為ss2125.252檔案系統m node -T iqn.2016-12.com.zxl:store1.disk1 -p 192.168.139.2 -l
[root@node2 mnt]# mkfs.gfs2 -j 2 -p lock_dlm -node2 mnt]# mkfs.gfs2 -j 2 -p lock_dlm -t mycluster:/lock_sde1 /lock_ sde1
Are you sure you want to proceed? [y/n] y
Device: /dev/s 1 4096
Device Size 3.00 GB (787330 blocks)
Filesystem Size: )
Filesystem Size: (787328 blocks)
Journals: 2
Resource Groups: 13) ?完成,掛載測試
[root@node2 mnt]# mount -t gfs2 /dev/sde1 /mnt
[root@node2 mnt]# cd /mnt
[root@node2 mnt] mnt]# cd /mnt
[root@node2 mnt]# ll
[root@node2 mnt]# cp /etc/issue ./
[root@node2 mnt]# cp /etc/issue ./[root@node2 mnt]# lltotal 8-rw-r--r--. 1 root root 47 Dec-rw-r--r--. 1 root root 47 Dec 2121 06 issue
ok,換node4[root@node4 ~]# iscsiadm -m node -T iqn.2016-12.com.zxl:store1.disk1 -p 192.168.再格式化,直接掛載[root@node4 ~]# mount -t gfs2 /dev/sdc1 /mnt[root@node4 ~]# cd /mnt
[root@node4 mnt]# ll \看到node1複製的檔案
total 8
-rw-r--r--. 1 root root 47 Dec 21 19:06 issue
node4建立一個檔案a.txt,會立刻通知給其他節點,讓其看到,這就是叢集檔案系統gfs2的好處
[root@node4 mnt]# touch a.txt
[root@node2 mnt]# ll
total 16
-rw-r--r-- . 1 root root 0 Dec 21 19:10 a.txt
-rw-r--r--. 1 root root 47 Dec 21 19:06 issue
在增加一個node5 node5 ~]# iscsiadm -m node -T iqn.2016-12.com.zxl:store1.disk1 -p 192.168.139.2 -l掛載不上去,因為只創建了兩個集群日誌文件,有幾個集群日誌文件,有幾個日誌幾個節點就能掛載[root@node5 ~]# mount -t gfs2 /dev/sdc1 /mntToo many nodes mounting filesystem, no free journals加
(Yokkipf; # gfs2_jadd -j 1 /dev/sde1 \-j 1 增加一個日誌
Filesystem: /mnt
Old Journals Journal
[root@node2 mnt]# gfs2_tool journals /dev/sde1 \此指令可以查看有幾個日誌,每個預設大小128Mjournal2 - 128MBjournal1 - 128MBjournal0 - 128MB3 journal(s) foundm. dev/sdc1 /mnt \node5掛載成功[root@node5 ~]# cd /mnt [root@node5 mnt]# touch b.txt[root@node4 mnt] ll# 4個。
-rw-r--r--. 1 root root 0 Dec 21 19:10 a.txt-rw-r--r--. 1 root root 0 Dec 21 19:18 b.txt- rw-r--r--. 1 root root 47 Dec 21 19:06 issuegfs2叢集檔案系統一般支援的叢集數量不能超過16個,超過後,效能直線下降
gfs2叢集檔案系統一般支援的叢集數量不能超過16個,超過後,效能直線下降gf
更多RHCS之用css_tool指令建立HA叢集及建立gfs2叢集檔案系統相關文章請關注PHP中文網!