1事件經(jīng)過(guò)

某日某廠#5燃機(jī)停運(yùn)。4時(shí)30分T3000系統(tǒng)OM界面出現(xiàn)“errorsubscribing plant display connection timed out :connect”報(bào)警，公用系統(tǒng)畫面出現(xiàn)“U”報(bào)警，ASD無(wú)異常報(bào)警,同時(shí)#5機(jī)組公用系統(tǒng)及#5機(jī)組部分界面無(wú)法操作。

4時(shí)50分#5機(jī)組公用系統(tǒng)所有界面以及總覽目錄中公用系統(tǒng)設(shè)備目錄消失，現(xiàn)場(chǎng)檢查發(fā)現(xiàn)公用系統(tǒng)上層網(wǎng)SCALANCE網(wǎng)絡(luò)交換機(jī)T01、T02均存在故障報(bào)警。5時(shí)50分熱工人員將T01網(wǎng)絡(luò)交換機(jī)進(jìn)行斷電重啟，T01重啟結(jié)束后T01、T02故障報(bào)警信號(hào)消失，公用系統(tǒng)設(shè)備在界面中恢復(fù)正常。

圖1 網(wǎng)絡(luò)交換機(jī)狀態(tài)顯示

圖2 #5機(jī)組公用系統(tǒng)上層網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)

2原因調(diào)查

2.1 設(shè)備檢查

(1)公用網(wǎng)絡(luò)交換機(jī)T01重啟后，T01、T02無(wú)故障報(bào)警信號(hào)，F(xiàn)燈未亮。

(2)檢查公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)T01發(fā)現(xiàn)當(dāng)光纖數(shù)據(jù)端口P13處于通信狀態(tài)，P14處于備用狀態(tài)時(shí)，P14燈標(biāo)狀態(tài)閃爍異常，存在故障。

(3)檢查公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)T01、T02之間的連接光纖通信無(wú)異常。

(4)檢查T01、T02之間的連接通信光纖發(fā)現(xiàn)光纖存在彎折痕跡。

使用測(cè)試光纖工具測(cè)試光纖性能，從測(cè)試結(jié)果可以判斷彎折后的光纖通信能力有較大幅度下降，但還是在允許范圍內(nèi)。

圖3(正常光纖測(cè)試)

圖4(彎折光纖測(cè)試)

(5)檢查赫斯曼路由器MARCH 4000，無(wú)異常。

(6)停#5機(jī)組公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)T01電源，網(wǎng)絡(luò)通信正常。

(7)恢復(fù)#5機(jī)組公用系統(tǒng)T01電源，停T02電源，網(wǎng)絡(luò)通信正常。

(8)保持#5機(jī)組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設(shè)置公用系統(tǒng)服務(wù)器CoServer01為主控，#5機(jī)組公用系統(tǒng)及機(jī)組部分界面無(wú)法操作的情況出現(xiàn)。

(9)保持#5機(jī)組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設(shè)置公用系統(tǒng)服務(wù)器CoServer02為主控，網(wǎng)絡(luò)通信正常。

(10)保持#5機(jī)組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，拔除T01上連接赫斯曼路由器的通信網(wǎng)線，網(wǎng)絡(luò)通信正常。

(11)保持#5機(jī)組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，恢復(fù)T01上連接赫斯曼路由器的通信網(wǎng)線，拔除T02上連接赫斯曼路由器的通信網(wǎng)線，網(wǎng)絡(luò)通信正常。

2.1日志檢查

(1)檢查#5機(jī)組公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)T01、T02日志，發(fā)現(xiàn)出現(xiàn)網(wǎng)絡(luò)通信故障的時(shí)候，T01和T02之間的兩路通信均中斷。

(2)檢查#5機(jī)組公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)T01、T02日志，發(fā)現(xiàn)出現(xiàn)網(wǎng)絡(luò)通信故障的時(shí)候，用于T01和T02之間通信的光纖數(shù)據(jù)端口P13已被禁用，報(bào)警信息“Link Check:Broken link on port 13 indicated by 100% packet loss.Portdisabled”。

(3)檢查#5機(jī)組公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)T01、T02日志，發(fā)現(xiàn)出現(xiàn)網(wǎng)絡(luò)通信故障的時(shí)候，用于T01和T02之間通信的光纖數(shù)據(jù)端口P14已被禁用，報(bào)警信息“Link Check:Broken link on port 14 indicated by 100% packet loss.Portdisabled”。

3原因分析

由于#5機(jī)組公用系統(tǒng)T01存在故障，導(dǎo)致T01和T02之間通信的光纖數(shù)據(jù)端口P13、P14的丟包率較高，最終由于高丟包率導(dǎo)致P13、P14端口均被屏蔽，T01和T02之間通信中斷。

T01、T02之間的連接通信光纖發(fā)現(xiàn)光纖有彎折痕跡，通信能力下降存在安全隱患。

根據(jù)測(cè)試結(jié)果，當(dāng)赫斯曼路由器選擇T02作為主控通信路徑時(shí)，如果發(fā)生環(huán)網(wǎng)全部中斷，那么只有與T02連接的CoServer02服務(wù)器處在主控模式時(shí)才能保證通信正常。如果路由器選擇T01作為主控通信路徑時(shí)，發(fā)生環(huán)網(wǎng)全部中斷，那么只有與T01連接的CoServer01服務(wù)器處在主控模式時(shí)才能保證通信正常。發(fā)生#5機(jī)組公用系統(tǒng)通信故障期間，路由器選擇T02作為主控通信路徑，但當(dāng)時(shí)CoServer01服務(wù)器處在主控模式，因此路由器無(wú)法讀取到公用系統(tǒng)服務(wù)器的數(shù)據(jù)，導(dǎo)致畫面壞點(diǎn)。

操作員站通過(guò)網(wǎng)絡(luò)同時(shí)讀取單元機(jī)組和公用系統(tǒng)的操作界面數(shù)據(jù)，當(dāng)無(wú)法讀取到公用系統(tǒng)的數(shù)據(jù)時(shí)候，會(huì)耗費(fèi)較多的網(wǎng)絡(luò)資源用于讀取公用系統(tǒng)的數(shù)據(jù)，導(dǎo)致操作員站的操作界面響應(yīng)變慢。

4防范措施

(1)更換#5機(jī)組公用系統(tǒng)T01網(wǎng)絡(luò)交換機(jī);

(2)更換#5機(jī)組公用系統(tǒng)T01、T02之間的連接通信光纖;

(3)#5機(jī)組公用系統(tǒng)上層網(wǎng)絡(luò)目前是T02作為主控通信路徑，已經(jīng)將CoServer02作為主控服務(wù)器;

(4)為確保單元機(jī)組的系統(tǒng)畫面不受影響，需要確保機(jī)組DCS的容錯(cuò)服務(wù)器主控服務(wù)器也處在主控通信路徑，目前#5機(jī)組單元機(jī)組系統(tǒng)上層網(wǎng)絡(luò)是T01作為主控通信路徑，已經(jīng)將容錯(cuò)服務(wù)器A側(cè)作為主控服務(wù)器。

附：#5機(jī)組公用系統(tǒng)上層網(wǎng)絡(luò)故障應(yīng)急預(yù)案

一、 #5機(jī)組公用系統(tǒng)上層網(wǎng)絡(luò)出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中斷故障的應(yīng)急處置步驟

1)通過(guò)公用系統(tǒng)服務(wù)器檢查公用系統(tǒng)上層網(wǎng)T01、T02網(wǎng)絡(luò)交換機(jī)的事件日志內(nèi)容。

2)通過(guò)公用系統(tǒng)服務(wù)器檢查CoServer01、CoServer02是否正常。

3)檢查Coserver服務(wù)器的網(wǎng)線是否緊固。

4)停#5公用系統(tǒng)T3000上層網(wǎng)交換機(jī)T01電源。

5)第四步?jīng)]有效果的情況下恢復(fù)#5公用系統(tǒng)T3000上層網(wǎng)交換機(jī)T01電源，停T02電源。

6)第五步?jīng)]有效果的情況下將CoServer01上層網(wǎng)絡(luò)接入T02，將CoServer02上層網(wǎng)絡(luò)接入T01，給T02送電，然后重復(fù)第四步和第五步內(nèi)容。

7) 第六步?jīng)]有效果的情況下，恢復(fù)CoServer服務(wù)器上層網(wǎng)絡(luò)接入位置，停T01電源，更換T02網(wǎng)絡(luò)交換機(jī)。

二、#5機(jī)組單元機(jī)組上層網(wǎng)絡(luò)出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中斷故障的應(yīng)急處置步驟

1)通過(guò)單元機(jī)組服務(wù)器檢查單元機(jī)組上層網(wǎng)T01、T02網(wǎng)絡(luò)交換機(jī)的事件日志內(nèi)容。

2)通過(guò)單元機(jī)組服務(wù)器檢查冗錯(cuò)服務(wù)器A、冗錯(cuò)服務(wù)器B是否正常。

3)檢查冗錯(cuò)服務(wù)器的網(wǎng)線是否緊固。

4)停#5單元機(jī)組T3000上層網(wǎng)交換機(jī)T02電源。

5)第四步?jīng)]有效果的情況下恢復(fù)#5單元機(jī)組T3000上層網(wǎng)交換機(jī)T02電源，停T01電源。

6)第五步?jīng)]有效果的情況下將冗錯(cuò)服務(wù)器A側(cè)上層網(wǎng)絡(luò)接入T02，將冗錯(cuò)服務(wù)器B側(cè)上層網(wǎng)絡(luò)接入T01，給T01送點(diǎn)，然后重復(fù)第四步和第五步內(nèi)容

7)第六步?jīng)]有效果的情況下，恢復(fù)冗錯(cuò)服務(wù)器上層網(wǎng)絡(luò)接入位置，停T02電源，更換T01網(wǎng)絡(luò)交換機(jī)。