RAC上是vmware vspere的虚拟机上有两个OEL6.3的虚拟机，上面跑的库是11.2.0.4
RAC上是vmware vspere的虚拟机上有两个OEL6.3的虚拟机，，上面跑的库是11.2.0.4
发现节点2挂掉了
1.检查节点1的alert
[root@racnode1 racnode1]# pwd
/u01/apps/grid/gridhome/11.2.0/grid/log/racnode1
[root@racnode1 racnode1]# tail -1000 alertracnode1.log
2014-04-15 09:41:20.815:
[crsd(27311)]CRS-2765:Resource 'ora.net1.network' has failed on server 'racnode1'.
2014-04-15 09:41:42.760:
[cssd(26972)]CRS-1612:Network communication with node racnode2 (2) missing for 50% of timeout interval. Removal of this node from cluster in 15.000 seconds
2014-04-15 09:41:50.763:
[cssd(26972)]CRS-1611:Network communication with node racnode2 (2) missing for 75% of timeout interval. Removal of this node from cluster in 7.000 seconds
2014-04-15 09:41:54.764:
[cssd(26972)]CRS-1610:Network communication with node racnode2 (2) missing for 90% of timeout interval. Removal of this node from cluster in 3.000 seconds
2014-04-15 09:41:57.766:
[cssd(26972)]CRS-1607:Node racnode2 is being evicted in cluster incarnation 291818318; details at (:CSSNM00007:) in /u01/apps/grid/gridhome/11.2.0/grid/log/racnode1/cssd/ocssd.log.
2014-04-15 09:42:06.052:
[cssd(26972)]CRS-1625:Node racnode2, number 2, was manually shut down
2014-04-15 09:42:06.059:
[cssd(26972)]CRS-1601:CSSD Reconfiguration complete. Active nodes are racnode1 .
2014-04-15 09:42:06.950:
[crsd(27311)]CRS-5504:Node down event reported for node 'racnode2'.
2014-04-15 09:42:24.882:
[crsd(27311)]CRS-2773:Server 'racnode2' has been removed from pool 'Generic'.
2014-04-15 09:42:24.882:
[crsd(27311)]CRS-2773:Server 'racnode2' has been removed from pool 'ora.pera'.
[root@racnode1 racnode1]#
节点2被驱逐时间：2014-04-15 09:41:57
2.查看ocssd.log
# more /u01/apps/grid/gridhome/11.2.0/grid/log/racnode1/cssd/ocssd.log |grep "2014-04-15 09:41"
2014-04-15 09:41:23.620: [ CSSD][906479360]clssnmSendingThread: 向所有节点发送状态消息
2014-04-15 09:41:23.621: [ CSSD][906479360]clssnmSendingThread:向所有节点发送了 4 条状态消息
2014-04-15 09:41:28.758: [ CSSD][906479360]clssnmSendingThread: 向所有节点发送状态消息
2014-04-15 09:41:28.758: [ CSSD][906479360]clssnmSendingThread：向所有节点发送了 5 条状态消息
2014-04-15 09:41:33.145：[GIPCHGEN][919283456] gipchaInterfaceFail：标记接口失败 0x7fc01821d4c0 { host '', haName 'CSS_racnode-cluster '，本地（无），ip '172.168.1.11:52955'，子网 '172.168.1.0'，掩码 '255.255.255.0'，mac '00-50-56-a1-7b-e2'，ifname 'eth1'， numRef 1, numFail 0, idxBoot 0, flags 0x184d }
2014-04-15 09:41:33.760: [ CSSD][906479360]clssnmSendingThread: 向所有节点发送状态消息
2014-04-15 09: 41:33.760: [GIPCHGEN][920860416] gipchaInterfaceFail: 标记接口失败 0x7fc024040a20 { 主机 'racnode2', haName 'CSS_racnode-cluster', 本地 0x7fc01821d4c0, ip '172.168.1.12:60678', 子网 '172. 168.1.0'，掩码' 255.255.255.0'、mac ''、ifname ''、numRef 0、numFail 0、idxBoot 4、标志 0x6 }
2014-04-15 09:41:33.760: [ CSSD][906479360]clssnmSendingThread: 已发送 5 个状态发送至所有节点的消息
2014-04-15 09:41:33.760: [GIPCHGEN][920860416] gipchaInterfaceDisable: 禁用接口 0x7fc01821d4c0 { host '', haName 'CSS_racnode-cluster', local (nil), ip '172.168. 1.11：52955'，子网'172.168.1.0'，掩码'255.255.255.0'，mac'00-50-56-a1-7b-e2'，ifname'eth1'，numRef 0，numFail 1，idxBoot 0，标志0x19cd }
2014-04-15 09:41:33.760: [GIPCHGEN][920860416] gipchaInterfaceDisable: 禁用接口 0x7fc024040a20 { host 'racnode2', haName 'CSS_racnode-cluster', local 0x7fc01821d4c0, ip '172 .168.1.12:60678' 、子网“172.168.1.0”、掩码“255.255.255.0”、mac“”、ifname“”、numRef 0、numFail 0、idxBoot 4、标志 0x86 }
2014-04-15 09:41:33.761: [ GIPCHALO][920860416] gipchaLowerCleanInterfaces：执行禁用接口 0x7fc024040a20 { 主机 'racnode2'、haName 'CSS_racnode-cluster'、本地 0x7fc01821d4c0、ip '172.168.1.12:60678'、子网 '172.168' 的清理。 1.0'，掩码'255.255.255.0 '，mac''，ifname'，numref 0，numfail 0，idxboot 4，标志0xa6}
2014-04-15 09：41：33.885：[gipchdem] [gipchdem] [920860416] { 主机 ''，haName 'CSS_racnode-cluster'，本地（无），ip '172.168.1.11:52955'，子网 '172.168.1.0'，掩码 '255.255.255.0'，mac '00-50-56-a1- 7b-e2'，ifname 'eth1'，numRef 0，numFail 0，idxBoot 0，标志 0x19ed }
2014-04-15 09:41:34.145：[GIPCHDEM][919283456] gipchaDaemonInfRequest：发送本地接口请求，hctx 0x1e22410 [0000000000000010] { gipchaContext : 主机 'racnode1', name 'CSS_racnode-cluster', luid '8bbba732-00000000', numNode 1, numInf 0, usrFlags 0x0, flags 0x63 } 到 gipcd
2014-04-15 09 :41 ：37.993：[GIPCHALO][920860416] gipchaLowerProcessNode：5240毫秒内未找到节点的有效接口，节点0x7fc018226540 {主机'racnode2'，haName'CSS_racnode-cluster'，srcLuid 8bbba732-d4368a71，dstLuid 0fc9914c- ec29f220 numInf 0，contigSeq 1787047 、lastAck 1786995、lastValidAck 1787046、sendSeq [1786996 : 1787014]、createTime 1683284、sentRegister 1、localMonitor 1、标志 0x2408 }
2014-04-15 09:41:38.762: [ CSSD] [906479360]clssnmSendingThread：发送状态发送至所有节点的消息
2014-04-15 09:41:38.762: [ CSSD][906479360]clssnmSendingThread: 向所有节点发送 5 条状态消息
2014-04-15 09:41:40.146: [GIPCHDEM] [919283456] gipchaDaemonInfRequest：发送本地接口请求，hctx 0x1e22410 [0000000000000010] { gipchaContext：主机“racnode1”，名称“CSS_racnode-cluster”，luid“8bbba732-00000000”，numNode 1，numInf 0， s 0x0, 标志 0x63 } 到 gipcd
2014-04-15 09:41:42.760: [ CSSD][908056320]clssnmPollingThread: 节点 racnode2 (2) 处于 50% 心跳致命状态，在 15.000 秒内删除
2014-04-15 09:41:42.760 ： [ CSSD][908056320]clssnmPollingThread：节点 racnode2 (2) 即将重新配置，标志 2294796，misstime 15000
2014-04-15 09:41:42.760：[ CSSD][908056320]clssnmPollingThread：本地 diskTimeout 设置为27000 ms，远程磁盘超时设置为 27000，即将重新配置状态(1)
2014-04-15 09:41:42.764: [ CSSD][906479360]clssnmSendingThread：向所有节点发送状态消息
2014-04- 15 09:41:42.764: [ CSSD][906479360]clssnmSendingThread: 向所有节点发送 4 条状态消息
2014-04-15 09：41：43.764：[GIPCHALO] [920860416] gipchaLowerProcessNode：在 11010 毫秒内找不到节点的有效接口，节点 0x7fc018226540 { 主机 'racnode2'，haName 'CSS_racnode-cluster'，srcLuid 8bbba732-d4368a7 1、dstLuid 0fc9914c-ec29f220 numInf 0，contigSeq 1787047，lastAck 1786995，lastValidAck 1787046，sendSeq [1786996：1787025]，createTime 1683284，sentRegister 1，localMonitor 1，标志0x2408}
2014-04-15 09:41:43.822: [ CSSD ][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526103/1203750934
2014-04-15 09:41:43.906：[ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2， ，有磁盘HB，但没有网络HB、DHB 具有 rcfg 291818318、wrtcnt、1193997、LATS 1203751024、lastSeqNo 1175771、唯一性 1396323841、时间戳 1397526102/1203310914
2014-04-15 09:41:4 5.102: [ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3 ，时间戳 1397526105/1203752214
2014-04-15 09:41:45.772: [ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526105/1203752884
2 014-04-15 09:41:46.147: [GIPCHDEM][919283456] gipchaDaemonInfRequest：发送本地接口请求， hctx 0x1e22410 [0000000000000010] { gipchaContext ：主机“racnode1”，名称“CSS_racnode-cluster”，luid“8bbba732-00000000”，numNode 1，numInf 0、usrFlags 0x0、标志 0x63 } 到 gipcd
2014-04-15 09:41:46.181: [ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 有 rcfg 291818318、wrcnt、1193999、LATS 1203753294，lastSeqNo 1193997，唯一性 1396323841，时间戳 1397526104/1203313164
2014-04-15 09:41:46.782：[ CSSD][917706496]clssnmvDiskPing：使用状态 0x3，时间戳 1397526106/1203753894
2014-04- 15 09:41:47.120: [ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 有 rcfg 291818318，wrtcnt，1194001，LATS 1203754234，lastSeqNo 11939 99、唯一性1396323841、时间戳1397526106 /1203314834
2014-04-15 09:41:47.622: [ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526107/1203754734
2014-04-15 09:4 1:47.765：[CSSD] [906479360]clssnmSendingThread：向所有节点发送状态消息
2014-04-15 09:41:47.765：[ CSSD][906479360]clssnmSendingThread：向所有节点发送 5 条状态消息
2014-04-15 09： 41:48.004: [ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 有 rcfg 291818318，wrtcnt，1194002，LATS 1203755124，lastSeqNo 1194001，唯一性1396323841，时间戳1397526107/1203315684
2014-04-15 09:41:48.507: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526108/1203755624
2014-04-15 09:41:48.774: [ CSSD][914388736] clssnmvDHBValidateNcopy：节点2，racnode2，有磁盘HB，但没有网络HB，DHB有rcfg 291818318，wrtcnt，1194003，LATS 1203755894，lastSeqNo 1194002，唯一性1396323841，时间戳1397526108/1203 316514
2014-04-15 09:41 :49.213: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526109/1203756324
2014-04-15 09:41:49.766: [GIPCHALO][920860416] gipchaLowerProcessNode ：未找到 17010 节点的有效接口ms，节点0x7fc018226540 {主机'racnode2'，haName'CSS_racnode-cluster'，srcLuid 8bbba732-d4368a71，dstLuid 0fc9914c-ec29f220 numInf 0，contigSeq 1787047，lastAck 1786995，lastValidAck 1 787046，sendSeq [1786996：1787037]，createTime 1683284，sentRegister 1 , localMonitor 1, flags 0x2408 }
2014-04-15 09:41:49.893: [ CSSD][914388736]clssnmvDHBValidateNcopy: node 2, racnode2, has a disk HB, but no network HB, DHB has rcfg 291818318, wrtcnt 、1194004、LATS 1203757004、lastSeqNo 1194003、唯一性 1396323841、时间戳 1397526109/1203317334
2014-04-15 09:41:49.903: [ CSSD][917706496 ]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526109/1203757014
2014-04-15 09:41:50.528: [ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 有 rcfg 291818318，wrtcnt，1194005，LATS 1203757644， eqNo 1194004，唯一性1396323841，时间戳 1397526109/1203317964
2014-04-15 09:41:50.548：[ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526110/12037576 64
2014-04-15 09:41:50.763 : [ CSSD][908056320]clssnmPollingThread: 节点 racnode2 (2) 处于 75% 心跳致命状态，在 7.000 秒内删除
2014-04-15 09:41:50.875: [ CSSD][914388736]clssnmvDHBValidateNcopy: 节点 2, racnode2, 有磁盘 HB, 但没有网络 HB, DHB 有 rcfg 291818318, wrtcnt, 1194006, LATS 1203757994, eqNo 1194005，唯一性1396323841，时间戳 1397526110/1203318664
2014-04-15 09:41:51.113：[ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526111/12037582 24
2014-04-15 09:41:51.396 ：[ CSSD][914388736]clssnmvDHBValidateNcopy：节点2，racnode2，有磁盘HB，但没有网络HB，DHB有rcfg 291818318，wrtcnt，1194007，LATS 1203758514，lastSeqNo 1194006，唯一性139632384 1、时间戳 1397526110/1203319204
2014 -04-15 09:41:51.692: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526111/1203758804
2014-04-15 09:41:52.148: [GIPCHDEM][919283 456]gipchaDaemonInfRequest：已发送local interfaceRequest, hctx 0x1e22410 [0000000000000010] { gipchaContext : 主机 'racnode1', name 'CSS_racnode-cluster', luid '8bbba732-00000000', numNode 1, numInf 0, usrFlags 0x0, flags 0x63 } 到 gipcd
2014-04 -15 09:41:52.294: [ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 有 rcfg 291818318，wrtcnt，1194008，LATS 1203759404，lastSeqNo 11940 07、唯一性1396323841、时间戳1397526111/1203319754
2014-04-15 09:41:52.305：[ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526112/1203759424
2014 -04-15 09:41:52.767: [ CSSD ][906479360]clssnmSendingThread：向所有节点发送状态消息
2014-04-15 09:41:52.767: [ CSSD][906479360]clssnmSendingThread：向所有节点发送 5 条状态消息
2014-04-15 09 :41:52.772: [ CSSD][914388736]clssnmvDHBValidateNcopy: 节点 2, racnode2, 有磁盘 HB, 但没有网络 HB, DHB 有 rcfg 291818318, wrtcnt, 1194009, LATS 1203759884, lastSeqNo 1194008, 1396323841，时间戳1397526112/1203320364
2014-04-15 09:41:52.974: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526112/1203760084
2014-04-15 09:41:53.793: [ CSSD][914388736 ]clssnmvDHBValidateNcopy：节点2，racnode2，有磁盘HB，但没有网络HB，DHB有rcfg 291818318，wrtcnt，1194010，LATS 1203760904，lastSeqNo 1194009，唯一性1396323841，时间戳1397526112/120 3321034
2014-04-15 09: 41:53.934: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526113/1203761044
2014-04-15 09:41:54.401: [ CSSD][914388736]clssnm vDHBValidateNcopy：节点 2（racnode2）有一个磁盘 HB，但没有网络 HB，DHB 具有 rcfg 291818318、wrtcnt、1194012、LATS 1203761514、lastSeqNo 1194010、唯一性 1396323841、时间戳 1397526114/1203322404
2014-04-15 09:41:54.494: [ CSSD][917706496] clssnmvDiskPing：写入状态为 0x3，时间戳 1397526114/1203761604
2014-04-15 09:41:54.764：[ CSSD][908056320]clssnmPollingThread：节点 racnode2 (2) 处于 90% 心跳致命状态，在 3.00 中删除0 秒, Seedhbimpd 1
2014-04-15 09:41:55.044: [ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526115/1203762154
2014-04-15 09:41:55.134： [ CSSD][ 914388736]clssnmvDHBValidateNcopy：节点2，racnode2，有磁盘HB，但没有网络HB，DHB有rcfg 291818318，wrtcnt，1194013，LATS 1203762254，lastSeqNo 1194012，唯一性1396323841，时间戳13975 26114/1203322964
2014-04-15 09 :41:55.640: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526115/1203762754
2014-04-15 09:41:55.768: [GIPCHALO][920860416] gipchaLo werProcessNode：找不到节点的有效接口23010毫秒，节点0x7fc018226540 {主机'racnode2'，haName'CSS_racnode-cluster'，srcLuid 8bbba732-d4368a71，dstLuid 0fc9914c-ec29f220 numInf 0，contigSeq 1787047，lastAck 1786995 ，lastValidAck 1787046，sendSeq [1786996：1787048]，createTime 1683284， sentRegister 1，localMonitor 1，标志 0x2408 }
2014-04-15 09:41:56.498: [ CSSD][917706496]clssnmvDiskPing：写入状态为 0x3，时间戳 1397526116/1203763614
20 14-04-15 09: 41:57.145: [ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 有 rcfg 291818318，wrtcnt，1194015，LATS 1203764254，lastSeqNo 1194013，唯一性1396323841，时间戳1397526116/1203324554
2014-04-15 09:41:57.645: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526117/1203764764
2014-04-15 09:41:57.764: [ CSSD][908056320] clssnmPollingThread：开始删除节点 racnode2 (2)，标志 0x23040c，状态 3，wt4c 0
2014-04-15 09:41:57.764: [ CSSD][908056320]clssnmMarkNodeForRemoval: 节点 2，racnode2 标记为删除
2014-04-15 09:41:57.765: [ CSSD][908056320]clssnmDiscHelper ： racnode2，节点（2）连接失败，endp（0x3938），探针（0x7fc000000000），ninf->endp 0x3938
2014-04-15 09:41:57.765：[ CSSD] [908056320]clssnmDiscHelper：节点2清理， endp (0x3938)，初始化状态 5，当前状态 5
2014-04-15 09:41:57.765: [GIPCXCPT][908056320] gipcInternalDissociate: obj 0x7fc024056a70 [0000000000003938] { gipcEndpoint : localAddr 'gipcha://racnode1: nm2_racnode-cluster/da4b-8718-50e0-b51'，remoteAddr'gipcha://racnode2:7b5c-4672-87e8-565'，numPend 1，numReady 0，numDone 0，numDead 0，numTransfer 0，objFlags 0x0，pidPeer 0 , ReadyRef (nil), Ready 1, wobj 0x7fc02402dd90, sendp (nil)flags 0x138606, usrFlags 0x0 } 不与任何容器关联, ret gipcretFail (1)
2014-04-15 09:41:57.765: [GIPCXCPT] [908056320] gipcDissociateF [clssnmDiscHelper : clssnm.c : 3485]: EXCEPTION[ ret gipcretFail (1) ] 无法分离 obj 0x7fc024056a70 [0000000000003938] { gipcEndpoint : localAddr 'gipcha:// racnode1:nm2_racnode-集群/da4b-8718-50e0 -b51'，remoteAddr'gipcha://racnode2：7b5c-4672-87e8-565'，numPend 1，numReady 0，numDone 0，numDead 0，numTransfer 0，objFlags 0x0，pidPeer 0，readyRef（nil），ready 1， wobj 0x7fc02402dd90、sendp (nil)flags 0x138606、usrFlags 0x0 }、flags 0x0
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmDoSyncUpdate: 启动同步 29181831 8
2014-04-15 09 :41:57.765: [ CSSD][904902400]clssscCompareSwapEventValue: 更改了 NMReconfigInProgress val 1，从 -1 更改为 7
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmDoSyncUpdate: 本地磁盘时间出组为 27000 毫秒，远程磁盘超时设置为 27000
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmDoSyncUpdate：本地磁盘超时和远程磁盘超时的新值将在同步完成后生效.
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmDiscEndp: gipcDestroy 0x3938
2014-04-15 09:41:57.765: [ CSSD][904902400] clssnmDoSyncUpdate：开始集群重新配置化身 291818318
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmSetupAckWait: Ack 消息类型 (11)
2014-04-15 09:41:57.765: [ CSSD][90 4902400 ]clssnmSetupAckWait: node(1) is ALIVE
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmSendSync:syncSeqNo(291818318)，表示 EXADATA 围栏初始化完成
2014-04-15 09 :41:57.765: [ CSSD][904902400]已确认同步的节点列表: NULL
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmSendSync:syncSeqNo(291818318)
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmHandleSync：节点 racnode1，编号 1，具有 EXADATA 栅栏功能
2014-04-15 09:41:57.765：[ CSSD][904902400]clssnmWa确认信息: 确认消息类型(11)，ackCount(1)
2014-04-15 09:41:57.765: [ CSSD][903325440]clssscUpdateEventValue: NMReconfigInProgress val 1，更改 8
2014-04-15 09: 41:57.765: [ CSSD][903325440]clssnmHandleSync：本地磁盘超时设置为 27000 毫秒，远程磁盘超时设置为 27000
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmHandleSync：领导者 1 newleader 1
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmQueueClientEvent: 发送事件(2)，类型 2，incarn 291818317
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmQueueClientEvent：节点[1]状态= 3，出生= 291818316，唯一= 1396323475
2014-04-15 09:41:57.765：[ CSSD][903325440]clssnmQueueClientEvent：节点[2]状态= 5，出生= 291818317，唯一= 1396323841
2014-04-15 09:41:57.765：[ CSSD][903325440]clssnmHandleSync：确认同步：src[1] srcName[racnode1] seq[11]同步[291818第318章
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmSendAck: 节点 1、racnode1、syncSeqNo(291818318) 类型(11)
2014-04-15 09:41:57.765: [ CSSD][903325440]clssnmHandleAck：从节点 racnode1（编号 1）接收到 ack 类型 11，同步 291818318 的 seq 0，正在等待 0 个 ack
2014-04-15 09:41:57.765：[ CSSD][904902400]clssnm发送同步：Syncseqno（291818318），指示EXADATA围栏初始化完整
2014-04-15 09：41：57.765：[CSSD] [CSSD] [941274880] [941274880] CLSSSGMSTARTNMMON：CLSSGMSTARTNMMON：NODE 1活跃，出生291818183331616 2014-16-04-15 :57.765: [ CSSD][941274880]clssgmStartNMMon: 节点 2 处于活动状态，出生 291818317
2014-04-15 09:41:57.765: [ CSSD][941274880]NMEVENT_SUSPEND [00][00][00][ 06]
2014-04-15 09:41:57.765: [ CSSD][941274880]clssgmCompareSwapEventValue: 更改了 CmInfo State val 5，从 11 更改为 21
2014-04-15 09:41:57.765: [ CSSD][94127488 0] clssgmSuspendAllGrocks：问题暂停
2014-04-15 09:41:57.765: [ CSSD][904902400]已确认同步的节点列表：1
2014-04-15 09:41:57.765: [ CSSD ][904902400]clssnmWaitForAcks：完成，syncseq（291818318），消息类型（11）
2014-04-15 09:41:57.765：[ CSSD][941274880]clssgmQueueGrockEvent：groupName（IGPERAperaXDB）计数（2）主( 1) 事件(2)，incarn 2，mbrc 2，至成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.765: [ CSSD][904902400]clssnmSetMinMaxVersion:node1 产品/协议 (11.2 /1.4)
2014-04-15 09:41:57.766: [ CSSD][904902400]clssnmSetMinMaxVersion：所有节点共有的属性：1,2,3,4,5,6,7,8,9,10 ,11,12,13,14,15,16,17
2014-04-15 09:41:57.766: [ CSSD][904902400]clssnmSetMinMaxVersion: 最低产品/协议 (11.2/1.4)
2014- 04-15 09:41:57.766: [ CSSD][904902400]clssnmSetMinMaxVersion: 最大产品/协议 (11.2/1.4)
2014-04-15 09:41:57.766: [ CSSD][941274880]clssgmQueueGrockEvent:组名( IG ASMSYS$USERS) count(2) master(1) event(2)，incarn 2，mbrc 2，至成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.766: [ CSSD] [904902400]clssnmNeedConfReq：没有要更改的配置
2014-04-15 09:41:57.766：[ CSSD][904902400]clssnmDoSyncUpdate：终止节点 2、racnode2、misstime(30000) 状态(5)
2014- 04-15 09:41:57.766: [ CSSD][904902400]clssnmDoSyncUpdate: 等待 0 票确认
2014-04-15 09:41:57.766: [ CSSD][904902400]clssnmCheckDskInfo: 检查磁盘信息...
2014-04-15 09:41:57.766: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(IGPERASYS$USERS) count(2) master(1) event(2), incarn 2, mbrc 2,发送给成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.766: [ CSSD][904902400]clssnmCheckSplit：节点 2，racnode2，处于活动状态，DHB (1397526116, 1203324554) 超过磁盘超时最后一次 NHB 后 27000 (1397526085, 1203293884)
2014-04-15 09:41:57.766: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(crs_version) count(3) master(0) event(2), incarn 3，mbrc 3，致成员 0，事件 0x20，状态 0x0
2014-04-15 09:41:57.766：[ CSSD][904902400]clssnmCheckDskInfo：我的队列：1
2014-04-15 09： 41:57.766: [ CSSD][904902400]clssnmRemove: Start
2014-04-15 09:41:57.766: [ CSSD][904902400](:CSSNM00007:)clssnmrRemoveNode: Evicting node 2, racnode2, from the cluster in化身291818318，节点诞生化身291818317，死亡化身291818318，stateflags 0x234000唯一值1396323841
2014-04-15 09:41:57.766: [ CSSD][941274880]clss gmQueueGrockEvent：组名称（crs_version）计数（3）主控（0 ) 事件(2)，化身 3，mbrc 3，至成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(CRF-) count( 4) master(0) 事件(2)，incarn 4，mbrc 4，到成员 0，事件 0x38，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName( CRF-) count(4) master(0) event(2)，incarn 4，mbrc 4，至成员 1，事件 0x38，状态 0x0
2014-04-15 09:41:57.767: [ 默认][904902400 ]kgzf_gen_node_reid2:生成的reid cid=a2998261b3ccff8abf36841a04ffe27b,icin=291818316,nmn=2,lnid=291818317,gid=0,gin=0,gmn=0,umemid=0,opid=0,opsn=0,lvl=节点hdr= 0xfece0100
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(CLSN.ONSPROC.MASTER) count(2) master(1) event(2), incarn 2, mbrc 2,发送给成员 1，事件 0xa0，状态 0x0
2014-04-15 09:41:57.767：[ CSSD][904902400]clssnmrFenceSage：受保护的节点 racnode2，编号 2，带有 EXADATA，句柄 0
2014-04- 15 09:41:57.767: [ CSSD][904902400]clssnmSendShutdown: 请求节点 2，终止时间 1203764884
2014-04-15 09:41:57.767: [ CSSD][904902400]clssnmsendmsg:未连接到节点 2
2014-04-15 09:41:57.767: [ CSSD][904902400]clssnmSendShutdown: 发送到节点 2 失败
2014-04-15 09:41:57.767: [ CSSD][904902400]clssnmWaitOnE目标：开始
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DB ASM) count(2) master(0) event(2), incarn 2, mbrc 2, 至成员 0,事件 0x68，状态 0x0
2014-04-15 09:41:57.767：[ CSSD][904902400]clssnmWaitOnEvictions：节点 2，不死 1，EXADATA 栅栏句柄 0 杀死请求 id 0，最后一个 DHB（1397526116，1203324） 554, 1201720 ), seedhbimpd TRUE
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DG ASM) count(2) master(0) event(2), incarn 2, mbrc 2, 至成员 0, 事件 0x0,状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(IG ASMSYS$BACKGROUND) count(2) master(1) event(2), incarn 2, mbrc 2,发送给成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DBPERA) count(2) master(0) event(2)，incarn 2 ，mbrc 2，发送给成员 0，事件 0x68，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(VT ASM) count(2) master(1) event( 2)，incarn 6，mbrc 2，至成员 1，事件 0x60，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(IGPERASYS$BACKGROUND) count(2) master(1) 事件(2)，化身 2，mbrc 2，至成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DG_FRA) count(2) master(1) event(2)，incarn 5，mbrc 2，到成员 1，事件 0x4，状态 0x0
2014-04-15 09:41:57.767: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DG ASM0) count(2) master(0) event(2)、incarn 2、mbrc 2、成员 0、事件 0x0、状态 0x0
2014-04-15 09:41:57.768: [ CSSD] [941274880]clssgmQueueGrockEvent：groupName(GR GCR1) count(4) master(0) event(2)，incarn 26，mbrc 4，至成员 0，事件 0x280，状态 0x0
2014-04-15 09:41： 57.768：[ CSSD][941274880]clssgmQueueGrockEvent：groupName(GR GCR1) count(4) master(0) event(2)，incarn 26，mbrc 4，至成员 2，事件 0x280，状态 0x0
2014-04- 15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DG_CRS) count(2) master(0) event(2)，incarn 2，mbrc 2，至成员 0，事件 0x4，状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DGPERA-) count(2) master(0) event(2), incarn 2, mbrc 2, 至成员 0, 事件 0x0,状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DGPERA0) count(2) master(0) event(2)，incarn 2，mbrc 2，至成员 0 ，事件 0x0，状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent：groupName(DG_CRS1) count(2) master(1) event(2)，incarn 5，mbrc 2 ，发送给成员 1，事件 0x4，状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(DG_DATA) count(2) master(1) event(2)，incarn 5、mbrc 2、至成员 1、事件 0x4、状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(CLSN.RLB.pera.MASTER) count(2) master(1) 事件(2)，化身 2，mbrc 2，至成员 1，事件 0xa0，状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(CLSFRAME) count(2) master(1) event(2)，incarn 2，mbrc 2，到成员 1，事件 0x8，状态 0x0
2014-04-15 09:41:57.768: [ CSSD][941274880]clssgmQueueGrockEvent： groupName(EVMDMAIN) count(2) master(1) event(2)，incarn 2，mbrc 2，至成员 1，事件 0x8，状态 0x0
2014-04-15 09:41:57.768: [ CSSD][ 941274880]clssgmQueueGrockEvent：groupName(CRSDAIN) count(2) master(1) event(2)，incarn 2，mbrc 2，至成员 1，事件 0x8，状态 0x0
2014-04-15 09:41:57.768： [ CSSD][941274880]clssgmQueueGrockEvent：groupName(EVMDMAIN2) count(2) master(1) event(2)，incarn 2，mbrc 2，至成员 1，事件 0x8，状态 0x0
2014-04-15 09： 41:57.769：[ CSSD][941274880]clssgmQueueGrockEvent：groupName(IGPERAALL) count(2) master(1) event(2)、incarn 2、mbrc 2、至成员 1、事件 0x0、状态 0x0
2014-04 -15 09:41:57.769: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(CTSSGROUP) count(2) master(1) event(2)，incarn 2，mbrc 2，至成员 1，事件 0x8，状态 0x0
2014-04-15 09:41:57.769: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(CLSN.AQPROC.pera.MASTER) count(2) master(2) event(2), incarn 2, mbrc 2, 到成员 1，事件 0xa0，状态 0x0
2014-04-15 09:41:57.769：[ CSSD][941274880]clssgmQueueGrockEvent：groupName(IGPERApera) count(2) master(1) event(2)，incarn 2， mbrc 2，至成员 1，事件 0x0，状态 0x0
2014-04-15 09:41:57.769: [ CSSD][941274880]clssgmQueueGrockEvent: groupName(ocr_racnode-cluster) count(2) master(1) event( 2)，incarn 2，mbrc 2，至成员 1，事件 0x78，状态 0x0
2014-04-15 09:41:57.769: [ CSSD][941274880]clssgmSuspendAllGrocks：完成
2014-04-15 09 :41:57.769: [ CSSD][941274880]clssgmCompareSwapEventValue：更改了 CmInfo State val 2，从 5 更改为 22
2014-04-15 09:41:57.769: [ CSSD][941274880]clssgmUpdateEventValue: ConnectedNodes val 291818317，更改 7
2014-04-15 09:41:57.769: [ CSSD][941274880]cl ssgmCleanupNodeContexts()：清理UP Nodes，RCFG（291818317）
2014-04-15 09：41：57.769：[CSSD] [941274880] Clssgmcleanupnodecontexts（） :57.769: [GIPCHAUP][920860416] gipchaUpperDisconnect: 启动disconnect umsg 0x7fc024054c60 { msg 0x7fc0240565c8, ret gipcretRequestPending (15), flags 0x2 }, msg 0x7fc0240565c8 { type gipchaMsg TypeDisconnect (5), srcCid 00000000-000038ed, dstCid 00000000-0000059b }, endp 0x7fc0240553a0 [00000000000038ed] { gipchaEndpoint：端口“nm2_racnode-cluster/da4b-8718-50e0-b51b”，对等点“racnode2：7b5c-4672-87e8-565a”，srcCid 00000000-000038ed， dstCid 00000000-0000059b，numSend 29，maxSend 100 , groupListType 2, hagroup 0x2021010, usrFlags 0x4000, flags 0x21c }
2014-04-15 09:41:57.769: [ CSSD][941274880]clssgmStartNMMon: 已完成节点清理
2014-04- 15 09:41： 57.769：[ CSSD][909633280]clssgmUpdateEventValue：HoldRequest val 1，更改 5
2014-04-15 09:41:57.775：[ CSSD][906479360]clssnmSendingThread：向所有节点发送状态消息
2014-0 4 -15 09：41：57.775：[CSSD] [906479360] clssnmsendingThread：发送5个状态的sgsgs
2014-04-15 09：41：41：41：57.867：[CSSD] [CSSD] [CSSD] [CSSD] ，EXADATA 栅栏句柄 0 终止请求 id 0，最后一个 DHB（1397526116、1203324554、1201720）、seedhbimpd TRUE
2014-04-15 09:41:57.934：[ CSSD][914388736]clssnmvDHBValidateNcopy：节点 2，racnode2，有磁盘 HB，但没有网络 HB，DHB 具有 rcfg 291818318、wrtcnt、1194016、LATS 1203765044、lastSeqNo 1194015、唯一性 1396323841、时间戳 1397526117/1203325474
2014-04-15 09:41:57.934: [ CSSD][914388736 ]clssnmvDiskEvict：杀死块写入，文件 /dev/asm-diskb 标志 0x00010004，杀死块唯一 1396323841，标记 1203764884/1203764884
2014-04-15 09:41:57.934: [ CSSD][90490 [2400]clssnmWaitOnEvictions：节点 2 ，不死 1，EXADATA 栅栏句柄 0 杀死请求 id 0，最后一个 DHB（1397526117、1203325474、1201721）、seedhbimpd TRUE
2014-04-15 09:41:58.035：[ CSSD][904902400]clssnmWa itOnEvictions：节点 2， undead 1，EXADATA 栅栏句柄 0 杀死请求 id 0，最后一个 DHB（1397526117、1203325474、1201721），seedhbimpd TRUE
2014-04-15 09:41:58.135：[ CSSD][904902400]clssnmWaitOn驱逐：节点 2，不死族1、EXADATA 栅栏句柄 0 杀死请求 id 0，最后一个 DHB (1397526117、1203325474、1201721)，seedhbimpd TRUE
2014-04-15 09:41:58.149：[GIPCHDEM][919283456] gipchaDaemonInfRequest：发送本地接口请求，hctx 0x1e22410 [0000000000000010] { gipchaContext : 主机 'racnode1', 名称 'CSS_racnode-cluster', luid '8bbba732-00000000', numNode 1, numInf 0, usrFlags 0x0, 标志 0x63 } 到 gipcd
201 09年15月4日： 41:58.205: [ CSSD][917706496]clssnmvDiskPing: 写入状态为 0x3，时间戳 1397526118/1203765314
2014-04-15 09:41:58.235: [ CSSD][904902400]clssnm WaitOnEvictions：节点 2，不死生物 1，EXADATA栅栏句柄 0 杀死请求 id 0，最后一个 DHB (1397526117、1203325474、1201721)，seedhbimpd TRUE
2014-04-15 09:41:58.335: [ CSSD][904902400]clssnmWaitOnEvictions：节点 2，亡灵 1、EXADATA 栅栏处理 0 终止请求 id 0，最后一个 DHB (1397526117、1203325474、1201721)，seedhbimpd TRUE
2014-04-15 09:41:58.435: [ CSSD][904902400]clssnmWaitOnEvictions: 节点 2, un dead 1、EXADATA 栅栏手柄0 终止请求 id 0，最后一个 DHB（1397526117、1203325474、1201721），seedhbimpd TRUE
2014-04-15 09:41:58.535：[ CSSD][904902400]clssnmWaitOnEvictions：节点 2， ad 1，EXADATA 栅栏句柄 0终止请求 id 0，最后一个 DHB（1397526117、1203325474、1201721），seedhbimpd TRUE
2014-04-15 09:41:58.551：[ CSSD][916129536]clssnmvDiskKillCheck：未驱逐，文件 /dev/as m-diskb 标志0x00000000，Kill Block独特0，我的独特1396323475
2014-04-15 09：41：58.636：[CSSD] [CSSD] [904902400] CLSSNMWAITONEVICTIONS：clssnmwaitOnevictions：Nodead 1，nutead 1，undead 1，exada fether there 0，exadata fethers there 0 1397526117、1203325474、1201721)、seedhbimpd TRUE
