01. 背景

1）運(yùn)維轉(zhuǎn)型背景

藍(lán)鯨平臺(tái)從誕生之初，就一直在不遺余力地推動(dòng)運(yùn)維轉(zhuǎn)型，讓運(yùn)維團(tuán)隊(duì)可以通過(guò)一體化PaaS平臺(tái)，快速編寫腳本，編排流程，開發(fā)運(yùn)維工具，從被動(dòng)地提供運(yùn)維支撐服務(wù)，轉(zhuǎn)型為主動(dòng)地提供SRE增值服務(wù)。為了讓運(yùn)維人員更快成長(zhǎng)為“六邊形運(yùn)維”（參考《在線跟騰訊工程師學(xué)習(xí)SaaS開發(fā)》，泛指運(yùn)維界的六邊形戰(zhàn)士，特指掌握了運(yùn)維開發(fā)技能的運(yùn)維人群），降低運(yùn)維開發(fā) SaaS 的難度，藍(lán)鯨不僅提供了藍(lán)鯨開發(fā)框架，通過(guò)集成身份驗(yàn)證、API調(diào)用、模板渲染、UI組件庫(kù)等功能，大幅降低了運(yùn)維開發(fā)SaaS的難度，而且配套了詳細(xì)的【開發(fā)指南文檔】和視頻課程。

然而，在實(shí)際操作中，我們觀察到運(yùn)維人員的主要工作往往涉及與各種IT對(duì)象和環(huán)境進(jìn)行交互。因此，盡管他們學(xué)習(xí)使用Python這類腳本型語(yǔ)言來(lái)進(jìn)行后臺(tái)開發(fā)相對(duì)較為順暢，但當(dāng)他們?cè)噲D設(shè)計(jì)并開發(fā)一個(gè)用戶體驗(yàn)尚可的前端頁(yè)面時(shí)，卻面臨較高的入門難度。他們往往面臨兩種選擇：要么開發(fā)的頁(yè)面功能相對(duì)簡(jiǎn)單、設(shè)計(jì)樸素，要么需要投入大量的時(shí)間和精力進(jìn)行頁(yè)面布局和交互設(shè)計(jì)的打磨。

為了解決這個(gè)難題，我們進(jìn)一步提供了運(yùn)維開發(fā)平臺(tái)，使用低代碼技術(shù)，通過(guò)拖拽組件組裝頁(yè)面，讓開發(fā)工作可視化靈活組裝、所見(jiàn)即所得，并且針對(duì)復(fù)雜交互場(chǎng)景有很好的適應(yīng)性，可以靈活地通過(guò)函數(shù)編碼實(shí)現(xiàn)。

2）大模型對(duì)運(yùn)維開發(fā)帶來(lái)的挑戰(zhàn)和機(jī)遇

最近幾年，大模型的爆發(fā)式發(fā)展為開發(fā)和運(yùn)維行業(yè)帶來(lái)新的變革，2021 年 7 月 1 日，由 GitHub 和 OpenAI 共同開發(fā)的人工智能編碼助手——Copilot正式發(fā)布，如同連環(huán)炸彈的連續(xù)迸發(fā)，持續(xù)為開發(fā)者和整個(gè)軟件行業(yè)帶來(lái)震撼與驚喜。就在上個(gè)月，國(guó)內(nèi)首個(gè)AI程序員入職了阿里云，這個(gè)叫“通義靈碼”的程序員具有扎實(shí)的編程基礎(chǔ)，能熟練使用200多種編程語(yǔ)言，具備生成詞級(jí)/行級(jí)/塊級(jí)/函數(shù)級(jí)/類級(jí)等代碼內(nèi)容的能力，還能自動(dòng)生成測(cè)試用例、代碼優(yōu)化、生成注釋等。而且，通義靈碼的工作節(jié)奏比996還要極致：7x24小時(shí)隨叫隨到......看起來(lái)，大模型的應(yīng)用似乎要終結(jié)開發(fā)框架、低代碼這類腳手架開發(fā)工具。難道，運(yùn)維不再需要開發(fā)轉(zhuǎn)型了？甚至“零運(yùn)維”在AI的幫助下提前實(shí)現(xiàn)了？

不過(guò)在最近一段時(shí)間，我們團(tuán)隊(duì)研究對(duì)比了多款國(guó)內(nèi)外大模型，并且在知識(shí)查詢、開發(fā)問(wèn)答、代碼補(bǔ)全、單元測(cè)試生成以及SaaS應(yīng)用構(gòu)建等多個(gè)維度進(jìn)行了能力測(cè)試和驗(yàn)證，事實(shí)表明，大模型現(xiàn)階段還不能完全替代開發(fā)者，在一些專業(yè)的運(yùn)維開發(fā)領(lǐng)域，能夠成為運(yùn)維人員的“開發(fā)副手”，加快運(yùn)維組織的轉(zhuǎn)型。

02. 大模型的優(yōu)勢(shì)分析

首先，我們分析，大模型的主要能力體現(xiàn)在以下幾個(gè)方面：

1）語(yǔ)言理解

大模型通過(guò)訓(xùn)練可以理解和解釋自然語(yǔ)言文本，能夠回答問(wèn)題、提供解釋、理解指令和上下文含義等。

2）知識(shí)總結(jié)

大模型可以提取文本知識(shí)的關(guān)鍵信息，生成摘要，使得用戶能夠快速了解長(zhǎng)篇文章或報(bào)告的主要內(nèi)容。

3）語(yǔ)言創(chuàng)作

大模型能夠根據(jù)輸入的上下文信息生成連貫、流暢的文本，例如撰寫文章、生成對(duì)話、創(chuàng)作詩(shī)歌或故事等。

4）問(wèn)答系統(tǒng)

大模型可用于構(gòu)建問(wèn)答系統(tǒng)，與用戶進(jìn)行自然語(yǔ)言交流，回答用戶提出的問(wèn)題，如在線客服、智能助手等。

5）文本生成

大模型可以根據(jù)上下文生成各種類型的文本，如代碼注釋、代碼補(bǔ)全、單元測(cè)試等。

這些能力使得大模型在許多實(shí)際應(yīng)用中具有廣泛的應(yīng)用價(jià)值，如搜索引擎、推薦系統(tǒng)、知識(shí)庫(kù)、智能客服等。隨著技術(shù)的發(fā)展和模型的不斷優(yōu)化，大模型的性能和應(yīng)用范圍還將進(jìn)一步擴(kuò)大。

而我們推動(dòng)運(yùn)維開發(fā)轉(zhuǎn)型的主要手段包含一體化運(yùn)維平臺(tái)、基于PaaS架構(gòu)的開發(fā)框架、基于低代碼技術(shù)的運(yùn)維開發(fā)平臺(tái)，這些工具分別提供了開箱即用的產(chǎn)品功能、可以快速組裝的腳手架、所見(jiàn)即所得的圖形化界面等多層次的能力，規(guī)避運(yùn)維人員不熟悉開發(fā)語(yǔ)言和軟件工程的短板，加速能力躍遷。

對(duì)比大模型的主流應(yīng)用形態(tài)——AI對(duì)話交互和傳統(tǒng)的運(yùn)維產(chǎn)品和工具——GUI交互，兩者各有優(yōu)勢(shì)。大模型更適合通過(guò)對(duì)話解決信息查詢、上下文檢索等問(wèn)題，并且適合移動(dòng)或小屏幕設(shè)備，在個(gè)性化、長(zhǎng)尾需求場(chǎng)景里也能較好適配。而傳統(tǒng)的GUI交互，在數(shù)據(jù)處理、高精度任務(wù)、快速導(dǎo)航上還保持著優(yōu)勢(shì)地位，并且提供了直觀的操作體驗(yàn)。

03. 大模型在運(yùn)維開發(fā)上的應(yīng)用

從大模型的原理上看，模型經(jīng)過(guò)海量的數(shù)據(jù)訓(xùn)練

，在開發(fā)領(lǐng)域，很多大模型學(xué)習(xí)了幾十億行代碼，龐大的數(shù)據(jù)基礎(chǔ)使得這些模型在代碼的規(guī)范性、準(zhǔn)確性方面展現(xiàn)出了卓越的效果。同時(shí)，自然語(yǔ)言理解的突出優(yōu)勢(shì)，讓大模型在運(yùn)維和開發(fā)專業(yè)知識(shí)掌握上是非常全面的，并且可以通過(guò)RAG等技術(shù)實(shí)現(xiàn)私域知識(shí)的檢索，在運(yùn)維工具開發(fā)輔助上可以發(fā)揮多種作用，提高開發(fā)效率和質(zhì)量。以下是我們?cè)谶\(yùn)維開發(fā)領(lǐng)域的主要應(yīng)用場(chǎng)景：

1）代碼生成

在SaaS開發(fā)中，開發(fā)者經(jīng)常會(huì)遇到需要查詢資料或者閱讀其他人編寫的代碼的情況，如果使用瀏覽器的搜索引擎或者一些開源大模型，必然會(huì)經(jīng)常性地切換窗口打開瀏覽器，這個(gè)過(guò)程會(huì)給開發(fā)人員帶來(lái)不少干擾。所以，在代碼輔助編寫場(chǎng)景，我們通過(guò) BKGPT 插件對(duì)接大模型和IDE，讓開發(fā)者可以在編程工具里閉環(huán)信息檢索的過(guò)程，大大提升了開發(fā)問(wèn)題查詢效率。

其次，我們提供了BKCodeAI 插件，可以實(shí)現(xiàn)根據(jù)注釋中的需求描述，進(jìn)行代碼生成和補(bǔ)全，當(dāng)前已經(jīng)支持函數(shù)級(jí)代碼生成。BKCodeAI 安裝并配置成功后，IDE 編輯器中，當(dāng)前光標(biāo)所處位置的上方有注釋或者代碼內(nèi)容時(shí)，此時(shí)鍵盤回車、空格、tab 等按鍵時(shí)便會(huì)觸發(fā) BKCodeAI進(jìn)行代碼生成或補(bǔ)全。

較為常見(jiàn)的場(chǎng)景如下：

• 打開新文件，在第一行寫注釋，此時(shí)回車到下一行后便會(huì)觸發(fā)；
• 打開老文件，修改文件中的某一行（非第一行）代碼，此時(shí)在光標(biāo)所處的回車、空格、tab 便會(huì)觸發(fā)；
• 觸發(fā)時(shí)，IDE右下角 BKCodeAI 標(biāo)識(shí)處會(huì)出現(xiàn) loading 標(biāo)識(shí)，loading 結(jié)束后，便會(huì)展示代碼生成結(jié)果（代碼置灰預(yù)填充狀態(tài)）；

• 按Tab鍵可以將生成代碼真正填充到編輯器內(nèi)。

2）代碼審查

另一方面，和其他的編程 Copilot 工具一樣，BKGPT 是一個(gè)助手而非人類程序員的替代品，開發(fā)者不能簡(jiǎn)單地采納Copilot的建議，還需要結(jié)合個(gè)人的編程經(jīng)驗(yàn)和專業(yè)知識(shí)最終完成SaaS的構(gòu)建。所以在當(dāng)前階段，單元測(cè)試、代碼審查這類軟件質(zhì)量措施需要堅(jiān)持執(zhí)行，不過(guò)在大模型的幫助下，不再需要開發(fā)者花費(fèi)太多精力處理這些事項(xiàng)，大模型可以自動(dòng)生成單元測(cè)試，并根據(jù)代碼的提交記錄自動(dòng)生成 Code Review 建議。

BKCodeAI 插件安裝成功后，當(dāng)在 git push 時(shí)，會(huì)自動(dòng)觸發(fā) AI CodeReview 任務(wù)，CR 任務(wù)將異步執(zhí)行，不會(huì)阻塞 push 操作，CR 任務(wù)執(zhí)行完成后會(huì)在 IDE 彈窗提醒 CR 詳情鏈接。

打開 CR 詳情鏈接，可以跳轉(zhuǎn)到AI開發(fā)助手產(chǎn)品的 CR 歷史頁(yè)面，查看到大模型為本地提交的代碼自動(dòng)生成的審查結(jié)果。

3）專業(yè)知識(shí)問(wèn)答

大模型天然在自然語(yǔ)言理解和知識(shí)總結(jié)有巨大的優(yōu)勢(shì)，而嘉為藍(lán)鯨又有上千家各行各業(yè)的企業(yè)運(yùn)維解決方案實(shí)施經(jīng)驗(yàn)，積累了海量的運(yùn)維開發(fā)領(lǐng)域?qū)I(yè)知識(shí)。技術(shù)架構(gòu)上，通過(guò) RAG + Embedding 技術(shù)，可以海量的運(yùn)維知識(shí)（截至2023年12月，嘉為知識(shí)庫(kù)存量文檔394035篇，月均消費(fèi)7萬(wàn)+次）向量化存儲(chǔ)，作為大模型的外掛知識(shí)庫(kù)，利用大模型強(qiáng)大的總結(jié)能力，可以總結(jié)提煉出解決方案回復(fù)給開發(fā)者。并且，針對(duì)API調(diào)用以及企業(yè)內(nèi)的系統(tǒng)，可以通過(guò)Function call技術(shù)實(shí)時(shí)獲取更多的知識(shí)如API調(diào)用測(cè)試結(jié)果，輔助開發(fā)者更準(zhǔn)確的驗(yàn)證接口參數(shù)。

通過(guò)打通企業(yè)微信機(jī)器人，可以讓開發(fā)者很方便地查詢開發(fā)知識(shí)，該問(wèn)答機(jī)器人除了回答常規(guī)的開源知識(shí)外，也能很好地提取公司內(nèi)的私域知識(shí)，然后總結(jié)后回復(fù)給提問(wèn)者。

“正確的問(wèn)題往往比答案重要，好的問(wèn)題就是一般的答案”這個(gè)結(jié)論在大模型領(lǐng)域體現(xiàn)得淋漓盡致，在智能問(wèn)答助手上線后，我們發(fā)現(xiàn)有部分開發(fā)者反饋回復(fù)不準(zhǔn)確，存在大模型“胡說(shuō)八道”的情況，深入追究，發(fā)現(xiàn)往往是開發(fā)者的提問(wèn)比較模糊或者提問(wèn)格式不符合規(guī)范。其實(shí)這個(gè)現(xiàn)象在大模型的各個(gè)行業(yè)應(yīng)用中都比較普遍，這也是為什么會(huì)有“提示詞工程”的重要原因之一。

為了解決提問(wèn)不規(guī)范的問(wèn)題，我們單獨(dú)開發(fā)了一個(gè)“AI開發(fā)助手”的SaaS，通過(guò)定義角色的方式預(yù)制 Propmt 提示詞，這樣可以讓熟悉“提示詞工程”的平臺(tái)開發(fā)工程師匯總運(yùn)維開發(fā)關(guān)注的常見(jiàn)問(wèn)題，比如定義“前端TS專家”，用于解決開發(fā)者不熟悉前端的痛點(diǎn)；定義“變量取名專家”，規(guī)范開發(fā)者的代碼變量命名。

通過(guò)“預(yù)設(shè)角色”功能，智能問(wèn)答場(chǎng)景進(jìn)一步降低了開發(fā)者的使用門檻，更進(jìn)一步，平臺(tái)開發(fā)工程師可以把產(chǎn)品的擴(kuò)展開發(fā)能力——插件開發(fā)提煉成模板，開放給普通用戶使用。這樣即使是不懂開發(fā)的用戶，在頁(yè)面選擇了“插件模板生成員”后，也能快速開發(fā)出一個(gè)插件出來(lái)。

經(jīng)過(guò)一段時(shí)間的運(yùn)行，我們也發(fā)現(xiàn)了一個(gè)非常實(shí)用的提示詞撰寫技巧——CO-STAR 框架。該框架由新加坡政府科技局 (GovTech) 舉辦的首屆 GPT-4 提示工程大賽冠軍 Sheila Teo 提出。

CO-STAR是結(jié)構(gòu)化的Prompt模板六大要素的首字母縮寫，即：

• (C) Context 上下文：為任務(wù)提供背景信息：通過(guò)為大語(yǔ)言模型（LLM）提供詳細(xì)的背景信息，可以幫助它精確理解討論的具體場(chǎng)景，確保提供的反饋具有相關(guān)性。
• (O) Objective 目標(biāo)：明確你要求大語(yǔ)言模型完成的任務(wù)：清晰地界定任務(wù)目標(biāo)，可以使大語(yǔ)言模型更專注地調(diào)整其回應(yīng)，以實(shí)現(xiàn)這一具體目標(biāo)。
• (S) Style 風(fēng)格：明確你期望的寫作風(fēng)格：可以指定一個(gè)特定的著名人物或某個(gè)行業(yè)專家的寫作風(fēng)格，如商業(yè)分析師或 CEO。這將指導(dǎo)大語(yǔ)言模型以一種符合你需求的方式和詞匯選擇進(jìn)行回應(yīng)。
• (T) Tone 語(yǔ)氣：設(shè)置回應(yīng)的情感調(diào)：設(shè)定適當(dāng)?shù)恼Z(yǔ)氣，確保大語(yǔ)言模型的回應(yīng)能夠與預(yù)期的情感或情緒背景相協(xié)調(diào)。可能的語(yǔ)氣包括正式、幽默、富有同情心等。
• (A) Audience 受眾：識(shí)別目標(biāo)受眾：針對(duì)特定受眾定制大語(yǔ)言模型的回應(yīng)，無(wú)論是領(lǐng)域內(nèi)的專家、初學(xué)者還是兒童，都能確保內(nèi)容在特定上下文中適當(dāng)且容易理解。
• (R) Response響應(yīng)：規(guī)定輸出的格式：確定輸出格式是為了確保大語(yǔ)言模型按照你的具體需求進(jìn)行輸出，便于執(zhí)行下游任務(wù)。常見(jiàn)的格式包括列表、JSON 格式的數(shù)據(jù)、專業(yè)報(bào)告等。對(duì)于大部分需要程序化處理大語(yǔ)言模型輸出的應(yīng)用來(lái)說(shuō)，JSON 格式是理想的選擇。

4）原子平臺(tái)產(chǎn)品集成

在運(yùn)維的日常工作中，腳本編寫是一個(gè)比較核心且重要的工作，藍(lán)鯨平臺(tái)已經(jīng)提供了一套運(yùn)維基礎(chǔ)操作的原子平臺(tái)——作業(yè)平臺(tái)，讓運(yùn)維的腳本管理工作頁(yè)面化，并且云化腳本版本管理模式，貼合現(xiàn)代化開放協(xié)同的理念，協(xié)作者借助平臺(tái)，可便捷地共享腳本資源。在大模型的能力加持下，作業(yè)平臺(tái)的腳本管理和問(wèn)題分析插上了AI的翅膀，尤其是在腳本報(bào)錯(cuò)分析、IT對(duì)象操作知識(shí)等方面，能力非常突出，極大地提升了運(yùn)維日常的腳本開發(fā)效率，降低了腳本出錯(cuò)的概率。

5）運(yùn)維開發(fā)平臺(tái)集成

最后，在低代碼開發(fā)領(lǐng)域，運(yùn)維開發(fā)平臺(tái)的優(yōu)勢(shì)在于圖形化開發(fā)方式、大量的預(yù)制組件、少量手工編碼、實(shí)現(xiàn)完整的應(yīng)用（包含頁(yè)面、流程、數(shù)據(jù)等），可以降低開發(fā)難度、開發(fā)成本，縮短開發(fā)周期，但是也存在產(chǎn)品學(xué)習(xí)成本高、配置和腳本復(fù)雜度高、需求轉(zhuǎn)化難度大等問(wèn)題。而這些短板恰好是大模型的優(yōu)勢(shì)——自然語(yǔ)言理解、基本推理、海量代碼的積累，所以，大模型可以比較完美地集成到藍(lán)鯨運(yùn)維開發(fā)平臺(tái)中，并且在以下功能上帶來(lái)了更高的效率和更好的體驗(yàn)：

① 自然語(yǔ)言自動(dòng)生成頁(yè)面
開發(fā)者接到需求后，沒(méi)有產(chǎn)品經(jīng)理，可以直接求助大模型幫忙生成頁(yè)面需要的組件，如表格、登錄框等。大模型查詢運(yùn)維開發(fā)平臺(tái)內(nèi)置的組件，并在頁(yè)面快速生成組件實(shí)例，整個(gè)過(guò)程比拖拉拽的交互更加高效。

② 修改頁(yè)面字段內(nèi)容和配置
開發(fā)者需要針對(duì)組件設(shè)計(jì)一些交互邏輯，如屬性、事件等，可以直接對(duì)事件進(jìn)行描述，如添加一個(gè)按鈕，并給按鈕的點(diǎn)擊事件進(jìn)行描述“跳轉(zhuǎn)到首頁(yè)”，大模型的收到提示詞后生成平臺(tái)規(guī)則要求的配置或代碼，效果如下：

③ 后臺(tái)代碼或SQL生成
運(yùn)維開發(fā)平臺(tái)的后臺(tái)代碼或SQL語(yǔ)句生成應(yīng)該與其它的 Copilot 的代碼生成方式更優(yōu)化，分成以下步驟：

• 用戶直接在前端頁(yè)面選擇數(shù)據(jù)源，輸入文本，描述需要生成的 SQL 的功能；
• 運(yùn)維開發(fā)平臺(tái)將數(shù)據(jù)庫(kù)表結(jié)構(gòu)和用戶輸入文本進(jìn)行格式化整合后，經(jīng)過(guò) Prompt 優(yōu)化后發(fā)送到大模型；
• 大模型返回SQL語(yǔ)句，用戶復(fù)制或插入到平臺(tái)中。

④ 需求文檔生成應(yīng)用
更復(fù)雜點(diǎn)的場(chǎng)景，運(yùn)維開發(fā)希望能根據(jù)業(yè)務(wù)需求，經(jīng)過(guò)少量人為交互，可以直接生成最終的頁(yè)面和應(yīng)用，這個(gè)步驟會(huì)更加復(fù)雜：

• 開發(fā)者輸入完整的需求，如“新建一個(gè)年會(huì)打卡抽獎(jiǎng)系統(tǒng)”；
• 大模型先根據(jù)描述拆解任務(wù)，調(diào)用運(yùn)維開發(fā)平臺(tái)能力，生成開發(fā)任務(wù)步驟和流程，包含設(shè)計(jì)數(shù)據(jù)庫(kù)模型、開發(fā)員工信息管理接口、開發(fā)打卡系統(tǒng)接口、開發(fā)抽獎(jiǎng)系統(tǒng)接口、實(shí)現(xiàn)用戶認(rèn)證和權(quán)限管理、設(shè)計(jì)API響應(yīng)格式，以及集成SaaS開發(fā)框架、執(zhí)行開發(fā)環(huán)境啟動(dòng)和測(cè)試預(yù)覽等部署工作；
• 每個(gè)開發(fā)任務(wù)步驟，大模型會(huì)自動(dòng)生成代碼函數(shù)片段，并自動(dòng)調(diào)用大模型的 Code Review 能力，生成代碼審查報(bào)告；
• 開發(fā)者根據(jù)每個(gè)步驟的代碼片段，結(jié)合 Code Review 結(jié)論，可以進(jìn)一步完善步驟提示詞；
• 經(jīng)過(guò)多輪步驟代碼自動(dòng)生成和代碼審查，以及少量人為接入，完成最終版本的代碼生成；
• 最后，結(jié)合藍(lán)鯨SaaS開發(fā)框架和自動(dòng)化部署能力，可以直接把每個(gè)步驟的函數(shù)代碼組裝成完整的應(yīng)用，發(fā)布到測(cè)試環(huán)境進(jìn)行驗(yàn)證。

04. 未來(lái)展望

“把AI和大模型的能力賦能給運(yùn)維團(tuán)隊(duì)，推動(dòng)運(yùn)維開發(fā)轉(zhuǎn)型，實(shí)現(xiàn)組織可持續(xù)、自生長(zhǎng)”始終是藍(lán)鯨品牌的發(fā)展理念，無(wú)論是已經(jīng)“越過(guò)頂峰、走出低谷”的PaaS平臺(tái)、云原生技術(shù)，還是處于“期望頂峰”的大模型技術(shù)，藍(lán)鯨始終堅(jiān)持腳踏實(shí)地地推動(dòng)技術(shù)的實(shí)際應(yīng)用，不斷降低運(yùn)維使用新技術(shù)的門檻。當(dāng)然，我們?cè)谥型拘菹⑿№瑫r(shí)，也不會(huì)忘記仰望星空，選擇摘取幾顆耀眼的“技術(shù)之星”，照亮我們的前行之路。