云南電網公司舉辦營銷管理信息系統容災應急演練

2013-12-02 14:25:23 云南電網公司　點擊量：評論 (0)

隨著云南電網業務的快速發展，各業務運作更加依賴于信息系統的穩定運行，其結果是一旦發生大的災害，云南電網公司的IT系統及其所支持的業務系統將毀于一旦。為避免發生重大災難發生時信息系統癱瘓、用戶資料

隨著云南電網業務的快速發展，各業務運作更加依賴于信息系統的穩定運行，其結果是一旦發生大的災害，云南電網公司的IT系統及其所支持的業務系統將毀于一旦。為避免發生重大災難發生時信息系統癱瘓、用戶資料、運營數據的丟失，云南電網公司于2009年8月建成重要信息容災備份系統，2011年11月成功開展容災切換演練，2013年，容災應急演練再度列為云南電網公司度信息系統運維的重要工作計劃。

　　11月22日，由信息部組織，信息中心承辦的云南電網公司營銷管理信息系統容災應急演練正式舉行，來自云南電網公司信息部、市場部、信息中心，昆明供電局，云南云電同方科技有限公司，技術支撐廠商、能訊、遠信公司等近80人參加。真實模擬了云南電網公司營銷管理信息系統在云電科技園生產環境數據庫、存儲設備不可用，短時間內無法恢復生產環境，而電力大廈20樓容災環境運行正常的情況下，公司應急指揮中心討論決定以及時恢復營銷業務為目標，啟動營銷管理信息系統（云南電網公司營銷3.0系統）容災切換應急預案，成功造就云南電網公司信息系統應急演練的3個“最”。

　　影響范圍最廣

　　云南電網公司營銷管理信息系統是云南電網公司營銷業務一體化大集中系統，供云南電網公司本部、各地、市、縣供電單位使用。該系統容災于2009年建設完成，整個容災環境分為生產服務器區和災備服務器區，分別位于云電科技園數據中心機房和電力大樓20樓機房，通過EMC存儲級數據復制進行實時數據同步，保證生產環境和容災環境數據的一致性。演練能夠驗證該核心業務系統在發生重大災難時容災環境的可靠性以及故障上報制度、應急預案、應急容災組織結構的合理性，為關鍵業務系統提供風險預防機制和災難恢復措施，在確保數據安全的基礎上提高業務連續運行能力，降低企業運營風險，將業務損失降低到可接受的程度，提升管理和服務質量，增強企業競爭力。

　　演練涉及到云南電網公司17個地/市級供電單位，113個縣級供電單位的營銷系統及營銷業務關聯模塊的正常使用。營銷系統有3.244萬用戶，再加上由于多個與營銷有關的業務系統需要通過業務功能接口、直連數據庫、數據庫鏈接等方式調用、訪問和抽取該系統的業務數據，因此演練共影響到云南電網公司95598呼叫中心、網上營業廳、營銷綜合分析、營銷監控、銀電互聯、南網數據中心等10個系統的正常使用。是云南電網信息專業影響范圍最廣的一次應急演練。

　　考慮到演練期間更改數據庫連接、重啟數據庫等步驟導致數據丟失等問題，演練組提前通知了供電單位演練期間停止對各有關系統的使用。云南電網公司信息部副主任黃文載說道：“營銷管理信息系統是一個重要的信息系統，影響面非常廣，涉及到千家萬戶的客戶用電信息等資料，這些資料一旦丟失會對社會造成很大的影響，因此這次我們協調了方方面面，通過短信、網頁、電話通知等形式對演練進行了公告。”提前將95598呼叫中心語音服務和電話接聽轉至備用平臺，手工記錄工單，演練完成后再將工單信息以手工錄入系統，將演練停機對95598呼叫中心的業務影響降至最低；更改了營銷綜合分析、營銷監控、南網數據中心系統數據抽取時間；通知銀行和優付通等調用銀電互聯接口，調整對賬時間窗口，避開演練對功能調用的影響；更改營配集成接口和電能量接口的數據庫連接指向，有效降低影響。

　　準備最充分

　　與“不打招呼”的應急演練不同的是，信息系統由于涉及的人員、操作、流程、設備較多，存在一定的風險，需要完備的演練準備。

　　“演練的前期準備是按照項目管理的模式來開展，各組安排都比較到位，定崗、定員、定責，把組織架構建立起來。進行了WBS分解，整個工作從會務策劃到實施過程，誰來負責，有哪些活動都清清楚楚地定下來，準備非常周全，這是值得以后發揚的一點。”信息中心安全生產部主任周靖談到。演練前精心編制了云南電網公司《營銷管理信息系統應急演練整體方案》、《營銷管理信息系統應急演練技術指導手冊》、《營銷管理信息系統應急演練PPT》，經過公司信息部、市場部、信息中心以及系統運維單位云電同方公司反復校核與審查，使得方案更加周密。

　　按照從低到高的順序，演練將風險系數分為5個級別，開展了風險點預估和風險點管控，最大限度地消除和規避風險。在演練管理層面，多次討論應急演練方案及流程，細化并優化各流程環節，避免流程不合理導致演練時間大于預期、演練關鍵人員不在場導致溝通和操作的延誤等問題。在技術層面，編制操作手冊，避免輸入錯誤命令，檢查保證網絡通信質量、服務器運行情況、網絡通信質量，提前添加數據庫配置，檢查測試中間件組件服務器與災備數據庫網絡連通性，做好應用程序備份，提出一系列規避方法和應急處置方法。演練還采用了自上而下的聯絡方式，任務信息傳遞方式從上到下由演練指揮組下達至演練實施組、后勤保障組、技術保障組、信息通信組各組組長，由各組組長再下達至具體的實施和保障人員；任務執行反饋和異常情況信息反饋從下至上，由實施和保障人員上報至各組組長，各組組長上報至演練指揮組，確保演練的順利進行。

　　持續時間最長

　　從演練準備、演練實施、到演練結束總結，整個演練過程持續近7個小時，影響業務時間近4小時。

　　11月22日晚上20：00，演練隊伍分別在信息中心應急指揮中心、值班室、監控室、云南電網公司電力大樓20樓、昆明供電局95598呼叫中心陸續就位。“下面開始介紹演練議程和工作方案……”21時30分，演練負責人張建文再次對演練內容進行了確認。隨著演練總指揮黃文載一聲令下，演練正式開始。

　　“22時02分容災應急演練正式開始，本次演練預計持續4小時，影響營銷系統所有用戶，營銷系統接口模塊部分功能（95598系統電子工單錄入及相關查詢、網上營業廳呼叫中心模塊、綜合分析等系統的數據抽取、銀電互聯銀行對賬等）。目前操作人員正在進行系統切換前主機、網絡、數據完整性、應用運行情況的最后檢查，預計20分鐘后完成。”這是第1條演練過程實時報送短信，演練對每項操作時間都作了明確記錄，用于和計劃進行對比，尋找差異，制定整改措施。

　　22時13分，系統切換條件檢查完畢，滿足切換條件，切換工作正式開始。工作人員將業務運行環境從生產環境切換至容災環境，待驗證容災系統的可用性后，再將業務回切至生產環境。切換和回切過程對生產環境數據庫集群、操作系統雙機的啟停、災備環境數據庫主機操作系統卷組激活、災備環境數據庫啟停、中間件數據庫連接指向更改等進行了系列操作，11月23日2時11分，營銷管理信息系統容災演練圓滿完成。

　　云南電網公司信息部副主任黃文載在結束時談到：“今天的營銷管理信息系統容災應急演練非常成功，既驗證了我們的容災系統的勝任能力，又檢驗了我們的管理和技術能力。”“這是我參加過做得最好的一次演練，我認為取得的效果和前期大家的準備有關，特別是技術方案很嚴謹。我到現場看到，一個營銷系統的故障恢復牽涉到一、二十個技術人員的工作，我個人感覺到一種震撼。”信息中心總工程師趙凌在總結會上有感而發：“同時我也感到了壓力，隨著信息中心定位的轉變，信息系統運維工作將轉移到信息中心，信息中心的擔子將會更重。”

　　應急預案、業務連續性計劃、信息系統災難恢復計劃的制定與維護是一個長期、綜合的系統工作，下一步，信息中心還將對各個系統的計劃、預案進行不定期的維護、優化，并定期進行演練，保證災難發生時信息系統的真實、可用，保障云南電網公司各業務的安全、可靠的運作，維護云南電網公司良好的社會形象。（