隨著數(shù)字化轉(zhuǎn)型的快速推進(jìn)，廣發(fā)銀行深入落實(shí)創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略，打造高效智能的行業(yè)云運(yùn)維體系。本文介紹了廣發(fā)銀行如何通過技術(shù)創(chuàng)新與管理優(yōu)化，構(gòu)建高效、智能的行業(yè)云運(yùn)維體系，并展示廣發(fā)銀行行業(yè)云在運(yùn)維業(yè)務(wù)一體化、技術(shù)架構(gòu)平臺化方面的建設(shè)成果，包括對象數(shù)字化、狀態(tài)數(shù)字化、服務(wù)行為數(shù)字化、操作行為自動化以及運(yùn)營數(shù)字化等多項(xiàng)前沿實(shí)踐。

黨的二十大報告提出，要加快發(fā)展數(shù)字經(jīng)濟(jì)，促進(jìn)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)深度融合。中國人民銀行《金融科技發(fā)展規(guī)劃（2022—2025年）》提出要健全金融科技治理體系，完善數(shù)字基礎(chǔ)設(shè)施，促進(jìn)金融與科技更進(jìn)一步的深度融合、持續(xù)發(fā)展。廣發(fā)銀行深入落實(shí)創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略，以“轉(zhuǎn)型數(shù)字企業(yè)、構(gòu)建數(shù)字生態(tài)、融入數(shù)字世界”為方向，打造“廣發(fā)銀行行業(yè)云”，賦能各類行業(yè)客戶融入新發(fā)展格局。

廣發(fā)銀行行業(yè)云是承載廣發(fā)行業(yè)賦能數(shù)字產(chǎn)品和生態(tài)合作應(yīng)用的專有云平臺，已入駐數(shù)企通、數(shù)字工會、數(shù)字破產(chǎn)、數(shù)字幼兒園等多個數(shù)字產(chǎn)品，向行業(yè)客戶提供精準(zhǔn)的金融服務(wù)、專業(yè)的行業(yè)服務(wù)、便捷的技術(shù)和數(shù)據(jù)服務(wù)。隨著行業(yè)創(chuàng)新業(yè)務(wù)的高速發(fā)展，對IT運(yùn)維提出了新的挑戰(zhàn)。

• 外部環(huán)境方面：

隨著IT技術(shù)變革及數(shù)字化轉(zhuǎn)型快速推進(jìn)，應(yīng)用系統(tǒng)數(shù)量和規(guī)模大幅增長，傳統(tǒng)以項(xiàng)目或IT技術(shù)棧為劃分邏輯的IT運(yùn)維方式，既無法適應(yīng)業(yè)務(wù)快速發(fā)展要求，線性增長的運(yùn)維成本在復(fù)雜云化環(huán)境和應(yīng)用交互場景中也難以為繼，IT運(yùn)維逐步向?qū)I(yè)化、規(guī)范化、集約化管理發(fā)展。

金融業(yè)尤其是銀行業(yè)作為風(fēng)險厭惡型企業(yè)，業(yè)務(wù)時效性、穩(wěn)定性要求極高。同時作為國家數(shù)字化戰(zhàn)略的排頭兵行業(yè)，近年政策頻出，監(jiān)管對于數(shù)字業(yè)務(wù)高度關(guān)注。同時，IT技術(shù)架構(gòu)的發(fā)展與變化也是日新月異，開發(fā)運(yùn)維一體化、敏捷交付、統(tǒng)一運(yùn)維、智能運(yùn)維等技術(shù)的成熟，對行業(yè)云運(yùn)維未來發(fā)展也指明了方向。

• 內(nèi)部戰(zhàn)略方面：

為認(rèn)真落實(shí)廣發(fā)銀行金融和行業(yè)云雙云驅(qū)動戰(zhàn)略部署安排，努力提升行業(yè)云一體化運(yùn)維管理水平，構(gòu)建“統(tǒng)一運(yùn)維監(jiān)控+集中配置管理+服務(wù)流程線上化+作業(yè)自動化+監(jiān)控大屏統(tǒng)一展示”的廣發(fā)銀行行業(yè)云統(tǒng)一運(yùn)維監(jiān)控管理平臺，建設(shè)基于通用運(yùn)維服務(wù)能力及通用運(yùn)維服務(wù)場景的基礎(chǔ)技術(shù)支撐平臺，行業(yè)云將依托平臺能力，快捷、方便的搭建各類運(yùn)維場景，快速提升行業(yè)云整體運(yùn)維能力。

• 技術(shù)需求方面：

自動化運(yùn)維、一體化運(yùn)維、平臺+場景運(yùn)維、數(shù)據(jù)化運(yùn)維、運(yùn)維智能化等技術(shù)的發(fā)展與成熟，能給運(yùn)維質(zhì)量和水平帶來飛躍的提升，適應(yīng)金融信息化發(fā)展要求，迫切需要運(yùn)維服務(wù)支撐系統(tǒng)向自動化、智能化方向邁進(jìn)和發(fā)展。

01.運(yùn)維業(yè)務(wù)一體化、技術(shù)架構(gòu)平臺化

行業(yè)云運(yùn)維以我行整體運(yùn)維規(guī)劃建設(shè)方向?yàn)橹笇?dǎo)，對IT對象數(shù)據(jù)建模、對象狀態(tài)、對象操作、管理流程圍繞運(yùn)維業(yè)務(wù)本身的需求及行業(yè)云當(dāng)前的現(xiàn)狀。通過建設(shè)一體化運(yùn)維技術(shù)平臺，實(shí)現(xiàn)對行業(yè)云應(yīng)用、行業(yè)云數(shù)據(jù)、云運(yùn)行狀態(tài)的一體化管控。一方面，建設(shè)智能告警中心、監(jiān)控中心，進(jìn)一步強(qiáng)化故障發(fā)現(xiàn)、處理能力，提升系統(tǒng)穩(wěn)定性。另一方面，圍繞IT服務(wù)中心、運(yùn)維自動化中心，加強(qiáng)IT服務(wù)流程化、自動化，屏蔽變更風(fēng)險收斂運(yùn)維人員操作權(quán)限的同時提升效率，快速響應(yīng)業(yè)務(wù)需求，提升運(yùn)維服務(wù)體驗(yàn)。

運(yùn)維平臺的整體技術(shù)架構(gòu)上以PaaS平臺為一體化運(yùn)維平臺底座，集中管理異構(gòu)IT對象，抽象運(yùn)維工作場景中通用的用戶管理、權(quán)限管理、配置管理、作業(yè)執(zhí)行、API管理、低代碼開發(fā)等通用能力并入整體的平臺能力層，并通過統(tǒng)一的Agent代理建立與資源管控層的通信通道。針對具體的運(yùn)維監(jiān)、管、控場景依托平臺運(yùn)行環(huán)境托管及開發(fā)環(huán)境管理能力，最大化復(fù)用中層PaaS能力縮短開發(fā)成本，告別煙囪式建設(shè)，兼顧業(yè)務(wù)穩(wěn)定性的需求。

02.建設(shè)成果：技術(shù)平臺化驅(qū)動運(yùn)維數(shù)字化

參考行業(yè)運(yùn)維數(shù)字化發(fā)展路徑，行業(yè)云運(yùn)維監(jiān)控平臺圍繞對象數(shù)字化、行為數(shù)字化、運(yùn)營數(shù)字化三個主要階段構(gòu)建運(yùn)維平臺發(fā)展和能力完善路線。

1）對象數(shù)字化能力：以應(yīng)用為核心的CMDB構(gòu)建IT數(shù)字鏡像

作為IT運(yùn)維的數(shù)據(jù)基石，一套準(zhǔn)確、穩(wěn)定、能力強(qiáng)大的配置管理庫對企業(yè)運(yùn)維管理起著至關(guān)重要的作用。但過往的CMDB多以IT資源對象為核心，對當(dāng)前微服務(wù)、分布式應(yīng)用的支撐能力不足。通過運(yùn)維平臺的配置采集、模型管理、數(shù)據(jù)接口集成、應(yīng)用拓?fù)淇梢暬瘶?gòu)建等能力。

運(yùn)維團(tuán)隊(duì)以應(yīng)用為核心，消費(fèi)場景為目的重構(gòu)配置管理體系。在此過程中重新設(shè)計開發(fā)了10大類，“160+”模型，“20+”消費(fèi)場景。結(jié)合配置管理平臺的配置審計、屬性核查，可視化報表等功能，做好后期數(shù)據(jù)的運(yùn)營和校驗(yàn)。一方面，實(shí)現(xiàn)了配置數(shù)據(jù)的客觀可信可消費(fèi)；另一方面，配置平臺作為平臺的數(shù)據(jù)底座為運(yùn)維自動化、狀態(tài)監(jiān)控、流程管理等提供基礎(chǔ)數(shù)據(jù)支撐，真正實(shí)現(xiàn)了企業(yè)的IT數(shù)字鏡像。

2）狀態(tài)數(shù)字化能力：閉環(huán)告警生命周期管理

利用平臺探針的插件集成能力，數(shù)據(jù)采集上將異構(gòu)監(jiān)控工具的采集探針以插件的形式集成在平臺Agent上。一方面，減小性能開銷；另一方面，只需登錄一套平臺即可查看所有插件運(yùn)行狀態(tài)，降低管理成本。

監(jiān)控數(shù)據(jù)呈現(xiàn)上，通過開放API，將各類監(jiān)控工具以API對接的方式統(tǒng)一將監(jiān)控數(shù)據(jù)推送到監(jiān)控平臺，進(jìn)行監(jiān)控數(shù)據(jù)的集中查看、統(tǒng)一告警。

同時，由于平臺采用統(tǒng)一的CMDB，數(shù)據(jù)來源和對象統(tǒng)一可結(jié)合CMDB中的實(shí)例對象和進(jìn)程信息實(shí)現(xiàn)對象和進(jìn)程監(jiān)控的兼顧。平臺提供的采集器擴(kuò)展，也為異構(gòu)化對象監(jiān)控的兼容提供了更好的解決方案。

告警管理上通過集中告警中心閉環(huán)告警生命周期，覆蓋告警的發(fā)現(xiàn)、產(chǎn)生、響應(yīng)、定位、處理、復(fù)盤，改進(jìn)全生命周期。

• 事前：整合異構(gòu)告警源，平臺收斂了云平臺、Zabbix、安全產(chǎn)品等行業(yè)云原有的告警源，聚合到告警中心，從而規(guī)范告警事件產(chǎn)生，實(shí)現(xiàn)異構(gòu)告警事件的“統(tǒng)一”以及告警信息的“集中”。
• 事中：告警產(chǎn)生后告警中心通過全量告警信息格式統(tǒng)一、事件清洗、去重、過濾等技術(shù)手段實(shí)現(xiàn)告警從“量變”到“質(zhì)變”的過程，屏蔽重復(fù)告警、誤報等產(chǎn)生的干擾，將清洗后的告警信息輔以CMDB中獲取到的對象信息，精準(zhǔn)推送給運(yùn)維人員。結(jié)合告警中心與IT服務(wù)中心的打通，將確定的告警自動生成事件單在IT服務(wù)管理中心中進(jìn)行集中的事件管理。
• 事后：在事后處理層面，除聯(lián)動IT服務(wù)管理中心進(jìn)行事件工單的生成和流轉(zhuǎn)之外，告警中心集成了運(yùn)維平臺的自動化運(yùn)維模塊，通過對已知故障、常見故障自動化處理方案預(yù)置，實(shí)現(xiàn)故障的自愈操作。

3）服務(wù)行為數(shù)字化：抽象運(yùn)維服務(wù)，提升“消費(fèi)”體驗(yàn)

行業(yè)云在過往的運(yùn)維建設(shè)中設(shè)計落地了大量的運(yùn)維管理流程和管理規(guī)范，涉及云運(yùn)營、基礎(chǔ)架構(gòu)、應(yīng)用管理多個運(yùn)維業(yè)務(wù)域。但由于缺少專業(yè)化的運(yùn)維流程及IT服務(wù)過程管理工具，存在流程執(zhí)行難、協(xié)同效率低等問題。

一體化運(yùn)維平臺落地后也一同建設(shè)了IT服務(wù)管理中心，通過流程引擎、服務(wù)目錄、SLA管理、自動化操作融合等能力，一方面，將運(yùn)維管理過程由“線下”遷移到“線上”。另一方面，結(jié)合SLA管理、聯(lián)動自動化操作執(zhí)行，在保證合規(guī)性的同時提升了流程運(yùn)轉(zhuǎn)效率。

在服務(wù)體驗(yàn)層面，設(shè)計并構(gòu)建了行業(yè)云IT服務(wù)門戶，業(yè)務(wù)、研發(fā)人員只需提交服務(wù)申請，流程工單在各個相關(guān)團(tuán)隊(duì)內(nèi)完成審批、操作、執(zhí)行的線上化流轉(zhuǎn)，一站式服務(wù)。流轉(zhuǎn)過程中預(yù)設(shè)了服務(wù)級別協(xié)議引擎，可對流程時效性進(jìn)行數(shù)據(jù)化分析，可視化呈現(xiàn)流轉(zhuǎn)效率。

4）操作行為自動化：集中管理運(yùn)維操作，有效管控操作風(fēng)險

建設(shè)自動化運(yùn)維中心，集中管控分散在運(yùn)維人員手中的各類腳本、自動化運(yùn)維工具，形成自動化腳本的統(tǒng)一管理，統(tǒng)一下發(fā)、集中授權(quán)；搭建可視化自動化編排平臺，降低運(yùn)維自動化對于運(yùn)維人員的要求，同時通過平臺本身具備的周期任務(wù)、自動化任務(wù)管理等能力，規(guī)范腳本管理和場景。結(jié)合IT配置管理中心的資產(chǎn)數(shù)據(jù)，打通數(shù)據(jù)鏈路。提升自動化作業(yè)目標(biāo)的選擇，提升自動化作業(yè)執(zhí)行準(zhǔn)確性，降低運(yùn)維操作導(dǎo)致生產(chǎn)風(fēng)險的可能性。

過往使用開源自動化工具存在管理流程與操作流程的割裂、關(guān)聯(lián)性差的問題。運(yùn)維平臺建設(shè)后依托平臺自身的APIgateway將自動化操作作為整體運(yùn)維流程的一個節(jié)點(diǎn)在IT服務(wù)中心串聯(lián)，打通了管理流與操作執(zhí)行流，實(shí)現(xiàn)了運(yùn)維操作有依據(jù)、任務(wù)結(jié)果有憑據(jù)的業(yè)務(wù)閉環(huán)。

5）運(yùn)營數(shù)字化：應(yīng)用資產(chǎn)可視化，一屏覽全局

通過可視化數(shù)字化運(yùn)營中心，構(gòu)建運(yùn)維數(shù)據(jù)運(yùn)營看板，通過可視化看板設(shè)計器，實(shí)現(xiàn)自定義接入應(yīng)用系統(tǒng)的配置數(shù)據(jù)、監(jiān)控告警數(shù)據(jù)，流程數(shù)據(jù)等運(yùn)維關(guān)鍵指標(biāo)。管理員可自定義設(shè)計看板樣式，關(guān)聯(lián)后臺數(shù)據(jù)以餅形圖、柱狀圖、折線圖、直方圖等多樣化方式進(jìn)行可視化呈現(xiàn)和動態(tài)數(shù)據(jù)展示。實(shí)現(xiàn)一張屏動態(tài)呈現(xiàn)行業(yè)云負(fù)載情況、重要告警、應(yīng)用拓?fù)涞汝P(guān)鍵信息，運(yùn)維人員只需查看數(shù)據(jù)、報表、拓?fù)渥兓涂芍庇^掌握應(yīng)用狀態(tài)、資產(chǎn)容量。

03.未來展望：積跬步，至千里

截至2024年10月，行業(yè)云一體化運(yùn)維平臺已完成全部上云應(yīng)用的監(jiān)控覆蓋，云資源的集中管控和自動化操作執(zhí)行。初步實(shí)現(xiàn)了流程可管、操作可控、狀態(tài)可視的項(xiàng)目目標(biāo)。

未來，將繼續(xù)發(fā)揮平臺價值深化建設(shè)，一方面，整合運(yùn)維數(shù)據(jù)，輔以在線及離線計算技術(shù)通過數(shù)據(jù)建模、數(shù)據(jù)開發(fā)、模型訓(xùn)練，拓展智能化運(yùn)維業(yè)務(wù)場景，由自動化向智能化邁進(jìn)。另一方面，深化運(yùn)維業(yè)務(wù)場景建設(shè)，圍繞行業(yè)云運(yùn)維特有場景，發(fā)揮平臺運(yùn)維開發(fā)能力，構(gòu)建智能決策、根因定位、告警知識推薦等應(yīng)用。