為應(yīng)對新的國際競爭環(huán)境與新的國內(nèi)監(jiān)管形勢，行業(yè)數(shù)字化轉(zhuǎn)型方興未艾。云計算、大數(shù)據(jù)、AI等技術(shù)手段已逐步從后臺應(yīng)用走向前端業(yè)務(wù)，滲透至投研、營銷、風(fēng)控、運營的各個環(huán)節(jié)。在數(shù)字化轉(zhuǎn)型的浪潮下，支撐業(yè)務(wù)運行的應(yīng)用系統(tǒng)和基礎(chǔ)設(shè)施變得愈發(fā)復(fù)雜，維護成本及風(fēng)險也越來越高，給運維管理帶來很大的挑戰(zhàn)。如何建設(shè)更加安全、高效、智能的運維管理體系，已成為行業(yè)IT建設(shè)的重點議題。

鵬華基金把數(shù)字化轉(zhuǎn)型納入到公司發(fā)展戰(zhàn)略，踐行“系統(tǒng)+流程+數(shù)據(jù)”三位一體的方式，將系統(tǒng)建設(shè)與業(yè)務(wù)流程緊密結(jié)合。在此過程中，由于涉及新系統(tǒng)的建設(shè)及存量系統(tǒng)的升級改造，團隊需要管理的運維對象及場景都在發(fā)生變化。受限于“煙囪式”的運維工具體系，運維管理面臨“工具孤立效率低”“管理規(guī)范難落地”“組織提升遇瓶頸”三大難題。

01. 運維一體化平臺建設(shè)

為了解決運維團隊在數(shù)字化轉(zhuǎn)型過程中遇到的各類難題，鵬華基金以工具建設(shè)為抓手，依托理念先進的運維PaaS平臺，以點帶面，對運維管理體系進行全面優(yōu)化升級，主要涉及工具支撐體系、流程管理體系、指標(biāo)度量體系及人員組織體系的優(yōu)化建設(shè)。

1）工具支撐體系：建設(shè)自主可控、聯(lián)動一體的運維平臺

將運維支撐工具的建設(shè)思路由“煙囪式”變?yōu)椤捌脚_化”，基于PaaS底座，建設(shè)以“管控一體、平臺一體、聯(lián)動一體”理念為核心的運維工具體系。

• 管控一體：所有上層場景，如監(jiān)控采集、自動化執(zhí)行等場景，基于單一Agent實現(xiàn)，避免多Agent對服務(wù)器性能造成的性能損耗。
• 平臺一體：通過PaaS架構(gòu)實現(xiàn)能力的治理和沉淀，包含作業(yè)、自動化編排引擎、工單流程引擎、容器管理等底層能力，使運維系統(tǒng)避免煙囪模式和重復(fù)投資建設(shè)，實現(xiàn)可持續(xù)建設(shè)。并通過平臺的運維開發(fā)能力助力團隊實現(xiàn)運維自主可控和能力升級。
• 聯(lián)動一體：以運維基礎(chǔ)平臺為底座，CMDB配置管理庫為基礎(chǔ)，通過IT管控流程建設(shè)、監(jiān)控告警建設(shè)、運維自動化工具、運營可視化的建設(shè)，構(gòu)建聯(lián)動一體的運維工具體系，提升運營保障效率，打造差異化的競爭優(yōu)勢。

① 建設(shè)以消費為核心的CMDB

梳理整體配置信息，完成模型設(shè)計和定標(biāo)以及對云平臺、操作系統(tǒng)、數(shù)據(jù)庫、中間件的配置自動化發(fā)現(xiàn)及采集，支撐監(jiān)控、巡檢等消費場景，并實現(xiàn)配置變更自動化管理，集成自動化運維場景，實現(xiàn)從審批流到自動化執(zhí)行再到配置數(shù)據(jù)回寫的閉環(huán)，如資源申請場景。申請人提單-管理員審批后實現(xiàn)資源的自動化注冊至CMDB中。通過聯(lián)動流程管理平臺，實現(xiàn)配置數(shù)據(jù)錄入及變更的流程化、規(guī)范化、自動化，保障配置數(shù)據(jù)的統(tǒng)一和準(zhǔn)確性。

② 建設(shè)以事件和數(shù)據(jù)雙核驅(qū)動的一體化監(jiān)控體系

一體化監(jiān)控體系以數(shù)據(jù)和事件雙核驅(qū)動，旨在解決監(jiān)控及告警信息分散管理的問題。監(jiān)控中心按照硬件設(shè)施層、操作系統(tǒng)層、組件服務(wù)層應(yīng)用性能層等維度梳理監(jiān)控對象，所有監(jiān)控對象都源自于CMDB，并在接入來自Zabbix、Prometheus等監(jiān)控源的性能數(shù)據(jù)時，打上CMDB中的模型及實例標(biāo)簽，進而實現(xiàn)面向?qū)ο蟮谋O(jiān)控指標(biāo)統(tǒng)一管理體系，包含指標(biāo)內(nèi)容定義、指標(biāo)自定義啟停等。同時，監(jiān)控中心匯總的監(jiān)控數(shù)據(jù)也可作為運維大數(shù)據(jù)分析的數(shù)據(jù)源，消費于統(tǒng)一可視化展示、Web視圖展示、報表統(tǒng)計展示等場景。告警中心實現(xiàn)告警事件的統(tǒng)一匯總，并通過和CMDB、自動化、ITSM等運維工具的無縫聯(lián)動，在告警收斂、分派、轉(zhuǎn)工單、自愈等層面實現(xiàn)了提質(zhì)增效。

③ 建設(shè)敏捷IT服務(wù)管理工具

落地IT需求、變更、事件等管控流程以及IT內(nèi)部服務(wù)流程，與監(jiān)控、CMDB、運維自動化工具集成，實現(xiàn)管理流程和運維工具的聯(lián)動，并結(jié)合飛書移動端應(yīng)用落地，提升流程管理的敏捷性，顯著提升部門流程處理效率及關(guān)單率。

④ 建設(shè)自主可控的自動化運維工具

結(jié)合實際運維場景需求，基于運維平臺所提供的前后端開發(fā)框架，通過對平臺服務(wù)的靈活調(diào)用和組裝，快速構(gòu)建支撐工具和運營系統(tǒng)。

⑤ 建設(shè)運營可視化

發(fā)布一系列大屏展示IT資產(chǎn)、流程、監(jiān)控、安全等工程和管理視角的數(shù)據(jù)，包括IT流程駕駛艙+CMDB資源大屏+監(jiān)控大屏+通過平臺大屏設(shè)計器，自主設(shè)計和對接數(shù)據(jù)源開發(fā)的信息安全大屏。

2）流程管理體系：服務(wù)目錄規(guī)劃

按服務(wù)類型的區(qū)分規(guī)劃服務(wù)目錄，將服務(wù)目錄劃分為IT內(nèi)部服務(wù)、IT管控服務(wù)以及內(nèi)置審批目錄三個大類。對于用戶而言，便于理解和選擇，可通過Web端、IM端快速提單；對于流程管理者而言，有助于針對服務(wù)的技術(shù)特點進行管理和優(yōu)化。

3）人員組織體系：運維開發(fā)轉(zhuǎn)型探索

運維開發(fā)轉(zhuǎn)型起源于互聯(lián)網(wǎng)行業(yè)，為應(yīng)對殘酷的競爭，互聯(lián)網(wǎng)公司需要從各個維度提升經(jīng)營效率、降低成本。開展運維開發(fā)轉(zhuǎn)型，實現(xiàn)工具自主掌控，便是降本增效的路徑之一。鵬華基金在引入運維PaaS體系之后，積極開展運維開發(fā)轉(zhuǎn)型的培訓(xùn)及學(xué)習(xí)活動，鼓勵團隊轉(zhuǎn)型升級。在這個過程中，具備一定工具開發(fā)能力，同時有更高成長追求的人率先由運維轉(zhuǎn)型為運維開發(fā)，自主研發(fā)自動化巡檢中心SaaS，改變原先離散型巡檢方式，有效支撐部門日常巡檢統(tǒng)一管理，整個工具構(gòu)建過程可以分為三大步驟。

第一步，梳理原子能力。巡檢場景可劃分為獲取巡檢對象、執(zhí)行巡檢命令等操作。其中，獲取巡檢對象需要用到CMDB原子能力，基于CMDB批量獲取巡檢對象，如主機、數(shù)據(jù)庫等；執(zhí)行巡檢命令需要用到作業(yè)執(zhí)行原子能力，基于Agent在受控機器上執(zhí)行作業(yè)命令，完成巡檢操作。第二步，編排原子能力。將上述原子能力按串行、并行、判斷、循環(huán)等邏輯判斷串聯(lián)起來，構(gòu)建運維自動化流程。第三步，SaaS能力封裝。基于PaaS平臺提供的前后端開發(fā)框架及免運維托管環(huán)境，將巡檢自動化流程封裝為SaaS工具，提升易用性。

有了自動化巡檢的成功案例，“工具文化”正逐步滲透到團隊的每一個角落，不斷加速運維組織轉(zhuǎn)型的進程。巡檢中心：利用平臺開發(fā)框架，自研巡檢中心，統(tǒng)一各業(yè)務(wù)巡檢任務(wù)，并實現(xiàn)飛書移動端開發(fā)，有效支撐部門日常巡檢統(tǒng)一管理

績效看板：自研績效門戶，結(jié)合工單數(shù)據(jù)，展示研發(fā)效能看板。運維管理通知中心：對接飛書群機器人，分時段通知IT管控流程相關(guān)節(jié)點。

4）指標(biāo)度量體系：持續(xù)運營、持續(xù)完善

CMDB的建設(shè)是一個逐步完善的過程。在建設(shè)過程中通過數(shù)據(jù)運營的方式可以很好地輔助配置經(jīng)理“監(jiān)控”CMDB的狀態(tài)，數(shù)據(jù)運營的手段包含：數(shù)據(jù)孤島、關(guān)聯(lián)完整性、屬性完整性及屬性規(guī)范性。

• 數(shù)據(jù)孤島：即此實例沒有跟任何實例關(guān)聯(lián)，沒有配置負責(zé)人維護這個實例數(shù)據(jù)，或者是現(xiàn)實中這個資源對象沒有人使用。
• 關(guān)聯(lián)完整性：部分對象可能有重要的關(guān)聯(lián)沒有維護，而這個關(guān)聯(lián)會影響到核心場景的消費，例如故障影響分析。
• 屬性完整性：本質(zhì)是針對配置管理員認為重要的需要填充的屬性進行檢查，例如：檢查資源對象的負責(zé)人屬性是否填充。
• 屬性規(guī)范性：CMDB建設(shè)過程往往是連續(xù)的持續(xù)優(yōu)化的，在建設(shè)初期對于模型屬性的規(guī)范往往沒有考慮清楚，為了收集數(shù)據(jù)初始化進CMDB，往往這個時間數(shù)據(jù)的質(zhì)量是比較差的，在建設(shè)的過程中，逐漸根據(jù)消費場景對屬性的規(guī)則有了更加清晰的定義后，我們需要通過定義某些規(guī)則，對當(dāng)前的CMDB數(shù)據(jù)進行規(guī)范性的檢查，本質(zhì)而言是一個后置的工作。

統(tǒng)計事件總數(shù)、SLA、滿意度調(diào)查等IT服務(wù)管理指標(biāo)，持續(xù)分析和改進IT服務(wù)質(zhì)量。通過ITSM工單沉淀價值數(shù)據(jù)，對需求、事件、變更的統(tǒng)計分析，建立效能指標(biāo)數(shù)據(jù)體系，有效幫助IT內(nèi)部管理。

監(jiān)控管理的指標(biāo)主要是監(jiān)控覆蓋率、告警分級、故障管理三個方面。

• 監(jiān)控覆蓋率主要是監(jiān)控對象采集覆蓋率、監(jiān)控指標(biāo)策略覆蓋率兩個指標(biāo)，主要衡量監(jiān)控的推廣使用情況。監(jiān)控對象采集覆蓋率一般通過監(jiān)控任務(wù)覆蓋的對象實例數(shù)和CMDB中該對象的實例總數(shù)進行對比得出；監(jiān)控指標(biāo)策略覆蓋率，一般是某個實例的指標(biāo)策略配置數(shù)和該實例的總采集指標(biāo)數(shù)進行對比得出。
• 告警分級一般分為三級，致命、警告、提醒。致命告警一般代表服務(wù)已經(jīng)異常，需要馬上進行處理；警告告警一般代表如果不進行及時處理，服務(wù)即將異常；提醒告警一般代表一些潛在問題，需要開始關(guān)注或提前采取行動，避免異常產(chǎn)生。
• 故障管理指故障處理過程的相關(guān)指標(biāo)，包含MTTI（平均故障發(fā)現(xiàn)時間）=發(fā)現(xiàn)時間-發(fā)生時間；MTTA（平均故障響應(yīng)時間）=響應(yīng)時間-發(fā)現(xiàn)時間；MTTR（平均故障恢復(fù)時間）=恢復(fù)時間-發(fā)生時間；MTBF（平均無故障時間）=運行時間-故障時間。而故障管理的根本目標(biāo)便是縮短MTTR，提升MTBF。

02. 收益及展望

為滿足業(yè)務(wù)數(shù)字化轉(zhuǎn)型訴求，鵬華基金基于“平臺一體、管控一體、聯(lián)動一體”的先進理念，組合多種技術(shù)手段和管理工具，實現(xiàn)了數(shù)據(jù)、資源、人員的統(tǒng)一管理和協(xié)調(diào)，解決了過往“煙囪式”工具建設(shè)帶來的難題，并通過PaaS平臺的運維開發(fā)能力，開啟了運維團隊SRE轉(zhuǎn)型之路。展望未來，面臨云原生轉(zhuǎn)型趨勢，可建設(shè)融合Trace、Metric、Log的全棧可觀測體系，解決復(fù)雜分布式架構(gòu)應(yīng)用的故障管理問題；面臨AI技術(shù)的沖擊，可嘗試在運維場景中利用深度學(xué)習(xí)、自然語言處理等技術(shù)，如監(jiān)控場景下的智能閾值、告警管理中的告警智能聚類等。