5月16日，藍鯨行業(yè)說直播專欄又迎來新一期的更新，第八期帶來金融基金行業(yè)的研運一體化落地實踐分享。

運維“監(jiān)·管·控”、研發(fā)“效能工具鏈”如何實現(xiàn)一體化建設？平臺能力如何實現(xiàn)自主擴展及數(shù)字化轉(zhuǎn)型？來看看鵬華基金是如何實現(xiàn)的。

以下是直播的主要內(nèi)容回顧，文末為各位熱心觀眾附上錄播視頻和講師PPT。

全文約 5800 字，預計閱讀時間 20 分鐘。

鵬華基金管理有限公司是一家總資產(chǎn)管理規(guī)模過萬億、累計服務客戶過億的公募基金管理公司，公司致力于打造業(yè)界一流的綜合資產(chǎn)管理平臺，金融科技在服務公司各業(yè)務領(lǐng)域數(shù)字化建設中起著至關(guān)重要的作用。

隨著業(yè)務和技術(shù)的復雜度不斷提升，技術(shù)團隊規(guī)模也在不斷發(fā)展，現(xiàn)有的研發(fā)和運維平臺在靈活性、拓展性和效能方面存在不足，因此我們規(guī)劃建設一體化平臺，支持金融科技團隊工作效能的提升。

01. 一體化技術(shù)平臺的思考

1）煙囪林立，人工為主

隨著業(yè)務的不斷發(fā)展，IT 研發(fā)和運維團隊規(guī)模不斷擴大，我們傳統(tǒng)的研發(fā)和運維平臺出現(xiàn)了一些瓶頸，無法滿足實際的工作需要。主要有：

• IT 服務流程方面較為分散，IT 運維工具之間沒有打通，形成了一些孤島
• 內(nèi)部存在多套監(jiān)控系統(tǒng)
• 自動化程度較低，不同的研發(fā)團隊使用了不同的研發(fā)管理平臺，缺少統(tǒng)一的研發(fā)體系規(guī)范和管控措施
• 研發(fā)工具分散，無法沉淀部門統(tǒng)一的研發(fā)過程數(shù)據(jù)，無法進行效能分析和持續(xù)改進

2）破局：踐行“系統(tǒng)+流程+數(shù)據(jù)”三位一體

因此，我們希望建設一套平臺化的架構(gòu)體系，面向研發(fā)、運維、運營的 CI/CD/CO 全流程管理的一體化平臺。

通過平臺能力支撐我們的項目需求、編碼、持續(xù)集成、測試、發(fā)布、監(jiān)控等各個工作環(huán)節(jié)。公司的各業(yè)務部門，各技術(shù)團隊的各角色，都能夠在統(tǒng)一的平臺上完成各自的工作，從而提高企業(yè)的研發(fā)效能和運維效率，提升技術(shù)團隊的價值交付。

3）破局：建立體系化的研運支撐能力

基于這樣體系化的一體化平臺，我們主要希望能夠達到以下三個目標。

第一，業(yè)務全流程貫通

流程化和自動化，平臺能夠快速構(gòu)建 IT 服務流程，能夠支持研發(fā)流水線和運維工作的自動化處理。

第二，數(shù)據(jù)資產(chǎn)沉淀

通過一體化管理平臺，管理我們技術(shù)團隊的工作過程。基于數(shù)據(jù)治理的視角，沉淀高質(zhì)量的過程數(shù)據(jù)，用于后續(xù)分析和發(fā)現(xiàn)問題，形成運營的駕駛艙。

第三，能力持續(xù)改進

各職能團隊能夠?qū)ζ脚_工具流程進行持續(xù)改進，持續(xù)推進 IT 數(shù)字化和業(yè)務數(shù)字化的工作。

4）一體化平臺建設需要考慮的問題

在規(guī)劃一體化平臺建設時，我們主要面臨和考慮了以下幾個問題。

第一，引入平臺及現(xiàn)成工具，不重復造輪子

通過引入相對成熟的、具備可持續(xù)優(yōu)化能力的一體化平臺，避免內(nèi)部重復的造輪子，減少推倒重來的情況，從而提升效率。

第二，平衡內(nèi)外部成本，定制開發(fā)和自主開發(fā)并行

在開發(fā)模式上面，對于一些標準化、通用的能力，我們通過模塊采購，選擇與嘉為藍鯨合作。

對于個性化的一些場景需求，基于藍鯨的 PaaS 能力，我們進行自主研發(fā)，有效的控制項目成本。

第三，關(guān)注技術(shù)人員能力提升

在項目的整個實施過程當中，我們要求內(nèi)部人員深度參與，提升運維開發(fā)能力和研發(fā)管理能力。

第四，人員與組織的價值提升

提升整個團隊的技術(shù)能力，最終達成技術(shù)團隊的數(shù)字化轉(zhuǎn)型，提升組織的價值交付能力。

5）運維平臺發(fā)展階段

我們一般認為在平臺工程方面，組織會經(jīng)歷以下幾個階段：人工、自動化、平臺化、數(shù)字化和智能化的發(fā)展。

我們在這個項目建設前是處于人工和部分自動化工具運維的狀態(tài)，項目完成后，通過一體化平臺支持運維研發(fā)管理工作，不僅形成了一體化的平臺，同時也沉淀了整個技術(shù)的過程數(shù)據(jù)，為后續(xù)我們在智能化的發(fā)展奠定了平臺和數(shù)據(jù)的基礎。

02. 運維“監(jiān)·管·控”一體化建設

1）監(jiān)、管、控 聯(lián)動一體

接下來我分享一下我們在基于運維視角的“監(jiān)·管·控”一體化建設內(nèi)容，這個是我們的整體的架構(gòu)圖。

通過一體化平臺的建設，實現(xiàn)了運維的“監(jiān)·管·控”、聯(lián)動一體化的目標。公司目前所有的 IT 資產(chǎn)，通過配置錄入和自動發(fā)現(xiàn)，統(tǒng)一進入 CMDB 數(shù)據(jù)庫。

架構(gòu)圖左邊，是基于藍鯨的 PaaS 平臺構(gòu)建了公司內(nèi)部的 ITSM 流程管理模塊，統(tǒng)一沉淀和管理公司的 IT 服務流程。

同時，為了提升流程的使用體驗和效率，我們將這個流程跟內(nèi)部的 AD 域、OA 系統(tǒng)、代辦流程進行了打通，并提供移動端的辦公能力，提升了整體的流程處理效率。

架構(gòu)圖右邊，是自動化運維和監(jiān)控告警一體化的建設。目前各個團隊的一些工具腳本，基本上都沉淀到了一體化運維的模塊當中進行統(tǒng)一的管理。

監(jiān)控中心會統(tǒng)一收集對接各個系統(tǒng)的實際數(shù)據(jù)，通過告警中心進行告警的豐富和收斂。打通短信、郵件和流程的通知，支持了我們整體可觀測的能力。所有的 IT 資產(chǎn)、ITSM 的流程數(shù)據(jù)，還有監(jiān)控告警的過程數(shù)據(jù)，都會通過我們的運維大屏進行可視化數(shù)據(jù)的展示，形成運營大屏和駕駛艙。

2）所有 IT 內(nèi)部服務在線自助化

在 IT 服務建設方面，我們實現(xiàn)了 IT 服務的流程化、規(guī)范化和自動化。根據(jù)我們內(nèi)部的 IT 管理規(guī)范，驅(qū)動了流程在藍鯨平臺的落地，支持了 IT 服務的在線化處理。

我們總結(jié)了 IT 服務的以下幾個特點：

① 服務構(gòu)建

首先，它能夠根據(jù)平臺的能力，快速的編排和構(gòu)建我們的 IT 服務流程。在服務過程的落地中，均通過一些配置化的方法降低開發(fā)成本，效率非常高。

② 服務供給

在形成了一整套的 IT 服務體系之后，用戶可以通過流程進行申請或者直接使用服務流程。同時，在整個流程的運營過程當中，用戶和相關(guān)的干系人也會針對流程提出一些問題和優(yōu)化建議。這個平臺能夠敏捷地支持流程的調(diào)整和改進。

③ 服務運營

我們也統(tǒng)計了一下，在上線后，目前在需求方面沉淀的工單有 1000 多個，事件 300 多個，變更 2000 多個。基本上部門內(nèi)部的流程均進行了高效的流轉(zhuǎn)和運營。

3）配置驅(qū)動自動化，打通流程形成工作閉環(huán)

通過 ITSM 流程協(xié)同 CMDB 數(shù)據(jù)庫進行數(shù)據(jù)錄入、審批執(zhí)行。CMDB 的建設過程中，我們有兩點做得不錯的地方：

第一，標準結(jié)構(gòu)化

我們在做 CMDB 的時候，與內(nèi)部的數(shù)據(jù)治理團隊協(xié)同定義了 CMDB 的模型和元數(shù)據(jù)標準。同時，對 ITSM 驅(qū)動 CMDB 落地當中涉及的節(jié)點相關(guān)數(shù)據(jù)進行了定標，保障整個流程驅(qū)動的 CMDB 沉淀的最終數(shù)據(jù)是高質(zhì)量的。

第二，不再等待信息

通過流程的驅(qū)動，整個自動化流程承載的配置信息、監(jiān)控告警信息、上下文信息等，都能夠在流程當中進行流轉(zhuǎn)，無需再次進行數(shù)據(jù)信息的溝通，提升了 ITSM 的處理效率。

4）建設統(tǒng)一告警體系，提升運維保障效能

下圖是我們監(jiān)控告警的流程架構(gòu)圖。我們把監(jiān)控和告警整合為一體化的平臺能力，提升了運維的保障效能，我們把內(nèi)部的主機、日志、網(wǎng)絡、數(shù)據(jù)庫等重要的資產(chǎn)信息通過監(jiān)控系統(tǒng)采集為統(tǒng)一的時序數(shù)據(jù)，然后通過標準化接口對接告警中心。

告警中心具備告警的收斂能力，同時也可以關(guān)聯(lián) CMDB 做信息的豐富，最終形成告警信息通知到相應的干系人。對于一些關(guān)鍵業(yè)務的告警，會形成工單進行沉淀和驅(qū)動跟進，對于相對來說風險較低的、可控的告警，會調(diào)用自動化運維能力去進行自動恢復。

所有的異構(gòu)環(huán)境接入，均是通過藍鯨插件的平臺開發(fā)能力進行的自研和拓展（如圖所示），可以拓展到我們內(nèi)部的異構(gòu)的基礎設施和一些環(huán)境。

我們自主開發(fā)拓展了一些云平臺、NAS、大數(shù)據(jù)平臺、數(shù)據(jù)庫、日志等等，都接入到了我們的監(jiān)控中心。

自主擴展告警源插件，接入藍鯨監(jiān)控平臺、SCP云平臺、NAS存儲、大數(shù)據(jù)TBDS平臺、OCP平臺、ELK日志等告警事件源

03. 研發(fā)“效能工具鏈”一體化建設

1）構(gòu)建端到端研發(fā)效能平臺

接下來我再繼續(xù)分享一下，基于研發(fā)平臺的效能工具鏈的一體化建設。

公司的研發(fā)團隊經(jīng)歷了從小到大的過程，從局部開發(fā)業(yè)務系統(tǒng)，發(fā)展為整體業(yè)務系統(tǒng)全面自研的過程。

在這個過程當中，我們存在一些問題。

各個研發(fā)產(chǎn)品組所使用的需求管理工具沒有進行統(tǒng)一的管理。有的使用一些在線的文檔，有的使用 Confluence、Excel、禪道等等。這就存在需求管理環(huán)節(jié)的系統(tǒng)割裂問題，沒有進行統(tǒng)一的管控，沒有沉淀統(tǒng)一的研發(fā)需求相關(guān)數(shù)據(jù)。

同時，在項目建設之前，也沒有一個企業(yè)級的制品管理工具，無法保障依賴包的安全和可信。在 CI、CD 方面也存在不統(tǒng)一的情況，內(nèi)部的一些第三方工具，例如測試、代碼安全掃描的工具等，跟我們的流水線沒有打通，在協(xié)同方面存在一些效率問題。

基于以上等等問題，我們在完成運維平臺的平臺化能力建設后，繼續(xù)推進了研發(fā)一體化平臺的建設。

在這里，我們的項目引入了藍鯨的 DevOps 平臺、測試管理、制品管理、CI、CD 度量等等過程管理工具來進行一體化的建設，與我們公司內(nèi)部研發(fā)過程需要用到的第三方的工具進行了打通。

2）研發(fā)效能工具鏈統(tǒng)一

下圖展示了我們的內(nèi)部工具、流水線和插件開發(fā)能力打通的情況。

關(guān)于流水線與數(shù)據(jù)庫，我們有一個數(shù)據(jù)庫的工具，與測試工具對接后能夠進行數(shù)據(jù)的交互和打通，包括安全代碼、掃描工具的互通。

在發(fā)布環(huán)節(jié)涉及到容器平臺流水線的打通，整個過程當中，信息的通知也跟內(nèi)部的移動端消息通知進行了互聯(lián)互通。

整體實現(xiàn)了流水線與內(nèi)部三方工具的互聯(lián)互通、效率提升、自動化執(zhí)行。

在此之前公司的運維流程平臺和工程平臺的建設是相對比較孤立和割裂的。我們基于藍鯨一體化的平臺能力，實現(xiàn)了 ITSM 的管理流程和 DevOps 工程域的互聯(lián)互通。這一點是我們本次項目比較有特色的實踐內(nèi)容。

在需求管理方面，通過 ITSM 審批后的業(yè)務需求會自動推送到 DevOps 平臺，形成史詩級業(yè)務需求。產(chǎn)品經(jīng)理使用 DevOps 平臺就可以看到需求池中的待辦需求，通過用戶故事進行需求拆分，開發(fā)團隊就會根據(jù)用戶故事去進行開發(fā)任務的維護。這是業(yè)務需求在管理域和工程域的實施情況。

通過 CD 平臺的流水線能夠自動化管理開發(fā)過程。在工程域當中形成的用戶故事的開發(fā)狀態(tài)、開發(fā)效能指標等數(shù)據(jù)，會自動同步到我們上層 ITSM 需求流程的管理域中，這樣業(yè)務的干系人就能夠通過管理域數(shù)據(jù)視角看到工程域的進展狀態(tài)，了解工程域的關(guān)鍵指標數(shù)據(jù)。

相應的需求經(jīng)過開發(fā)和測試完成后進行發(fā)布，也同時將 CI、CD 的流水線跟上層的變更流程進行互聯(lián)。在變更流程審批通過后，就會自動觸發(fā)流水線的執(zhí)行發(fā)布。

以上這些需求變更在工程域和管理域上的數(shù)據(jù)互聯(lián)互通，使業(yè)務的需求人員和相關(guān)的業(yè)務干系人能夠了解到工程域的信息，同時也提升了工程域的狀態(tài)和效率。

3）開源治理：唯一可信源，控制風險

分享一下開源治理的實踐，通過平臺我們實現(xiàn)了開源治理的目標。開發(fā)團隊引入開源組件進行流程的管控，建立公司層面的唯一可信的制品庫，控制開發(fā)風險。如果需要引入不在我們統(tǒng)一制品庫的開源組件，需通過標準化的流程進行申請和審批。審批通過后由安全人員對相應的開源組件進行安全掃描和處理，建立白名單機制，引入到統(tǒng)一的制品庫當中。

4）實現(xiàn)多維度的研發(fā)效能數(shù)據(jù)度量

下圖是沉淀在各個開發(fā)環(huán)節(jié)的過程數(shù)據(jù)，覆蓋需求管理、測試管理、缺陷管理、代碼管理、發(fā)布管理等整個端到端的各模塊。

利用藍鯨的 CI 模塊可以很方便的為不同的團隊提供關(guān)鍵數(shù)據(jù)的度量指標，發(fā)現(xiàn)和分析團隊中的一些問題，從而進行持續(xù)的改進。

目前公司所有的產(chǎn)品組和開發(fā)組都已經(jīng)使用了統(tǒng)一的藍鯨 CD 平臺，因此所有的數(shù)據(jù)都能方便地展示給各個項目組。

04. 平臺能力自主擴展，數(shù)字化轉(zhuǎn)型

1）從腳本到運維開發(fā)

運維團隊整體通過平臺化的建設，在運維開發(fā)方面進行了一些探索和轉(zhuǎn)型，實現(xiàn)了團隊的能力進階。

• 基于藍鯨的作業(yè)平臺，我們實現(xiàn)了對所有腳本的統(tǒng)一管理。
• 基于藍鯨的標準運維，我們實現(xiàn)了對軟件的安裝、配置、發(fā)布、自動化運維場景的推進和落地。
• 基于藍鯨強大的 PaaS 的開發(fā)框架，運維團隊可以比較低成本的去開發(fā)運維相關(guān)的系統(tǒng)，去探索 SRE的轉(zhuǎn)型。

2）支撐部門日常巡檢統(tǒng)一管理

在運維場景自主拓展方面，運維團隊利用了藍鯨的 PaaS 開發(fā)框架，開發(fā)了一套部門的日常巡檢管理的應用系統(tǒng)，能夠?qū)Ω鱾€團隊的日常關(guān)鍵任務進行管理。同時，在每一項的巡檢項目背后對接了藍鯨的作業(yè)平臺，能夠?qū)崿F(xiàn)部分運維項的自動化巡檢。

3）自主探索運維轉(zhuǎn)型

基于藍鯨平臺沉淀的各個研發(fā)和流程的過程數(shù)據(jù)，我們對部門的團隊和個人績效考核指標進行了一些效能平臺的開發(fā)和落地。

下圖右邊的內(nèi)容展示了運維流程的各個待辦通知與整體的消息中心打通，提供提醒和通知功能。

4）流水線插件集成

在研發(fā)場景自主拓展方面，藍鯨 DevOps 平臺具有非常強大的插件開發(fā)能力。基于流水線插件的開發(fā)方式，能夠很方便的實現(xiàn)我們整個平臺工具的互聯(lián)互通，進一步提升研發(fā)效能。

5）展望：讓 CMDB 從后臺走向前臺

如圖是我們構(gòu)建的一個比較完整的 CMDB 數(shù)據(jù)庫。基于 CMDB 可以去探索更深一步的應用，例如數(shù)據(jù)消費的一些場景、識別各團隊 IT 資產(chǎn)的使用情況等，從而去優(yōu)化各團隊的用量管理、資源使用，以及摸清各團隊的使用情況和優(yōu)化建議，給各團隊提供全場景的運維數(shù)據(jù)。

05. 問答環(huán)節(jié)

CMDB 是怎么保證數(shù)據(jù)準確性的？

答：一是通過自動化手段，通過采集插件以及外部數(shù)據(jù)對接等方式，將能用自動化插件獲取的數(shù)據(jù)進行采集；二是對 CMDB 進行數(shù)據(jù)定標，通過各運維服務流程進行 CMDB 數(shù)據(jù)的錄入，支持流程中可直接引用 CMDB 數(shù)據(jù)，流程審批后可直接寫入 CMDB 中；三是在一體化運維平臺的各個場景中，都對 CMDB 數(shù)據(jù)進行了消費，如監(jiān)控下發(fā)、告警通知、資源交付等等，把數(shù)據(jù)用起來，活起來，讓數(shù)據(jù)有價值。

目前運維工具大概六七個，都是單獨的入口，建議怎么實現(xiàn)一體化呢？

答：可以先實現(xiàn)入口的統(tǒng)一，藍鯨平臺可以接入外鏈應用，也可以支持外部登錄的集成，可以先將各個運維工具“放到”藍鯨桌面上，實現(xiàn)運維統(tǒng)一的工作臺。后續(xù)進行替代與能力整合，能力相同的，可以考慮替代，將場景遷移到藍鯨上，如自動運維的腳本等，一些專業(yè)運維工具，可考慮能力融合，把運維工具能力集成到 API 網(wǎng)關(guān)、標準運維原子中。實現(xiàn)能力與數(shù)據(jù)的互通互聯(lián)。

請問這個告警中心是單獨開發(fā)實現(xiàn)的嗎？跟藍鯨監(jiān)控平臺本身的告警通知有什么關(guān)系？

答：告警中心是獨立的 SaaS 應用，將藍鯨監(jiān)控平臺的告警接入到了告警中心，現(xiàn)在存量有不少各種用途監(jiān)控系統(tǒng)，如藍鯨監(jiān)控用于操作系統(tǒng)與基礎軟件監(jiān)控，zabbix 主要是網(wǎng)絡與硬件監(jiān)控，OEM 監(jiān)控數(shù)據(jù)庫等等，需要將不同監(jiān)控系統(tǒng)產(chǎn)生的告警集中進行管理，統(tǒng)一對這些告警事件進行治理與轉(zhuǎn) ITSM 事件單據(jù)。

目前監(jiān)控、告警、ITSM 都有，可以集成進藍鯨嗎？

答：可以的，藍鯨平臺的開放性與擴展性非常好，可以將已有的運維系統(tǒng)能力進行整合，比如已有的監(jiān)控，告警、ITSM 可以調(diào)用藍鯨 CMDB 的 API 接口消費配置數(shù)據(jù)，告警也可以調(diào)用自動化能力的 API 實現(xiàn)自愈場景。藍鯨平臺 API 網(wǎng)關(guān)，標準運維原子，監(jiān)控采集插件等等都具備較好的擴展性。