在信息技術(shù)日新月異的今天，企業(yè)IT環(huán)境日益復(fù)雜，海量且異構(gòu)的信息系統(tǒng)運(yùn)營帶來了前所未有的管理和優(yōu)化挑戰(zhàn)。隨著業(yè)務(wù)規(guī)模的不斷擴(kuò)大，日志數(shù)據(jù)的存儲成本急劇上升，同時(shí)數(shù)據(jù)隱私與安全性也成為社會各界關(guān)注的焦點(diǎn)。

為確保業(yè)務(wù)連續(xù)性與數(shù)據(jù)安全，企業(yè)亟需構(gòu)建一套完善的日志管理體系。通過集中采集與分析日志數(shù)據(jù)，企業(yè)不僅能高效識別問題、優(yōu)化系統(tǒng)性能，還能便捷地對敏感信息進(jìn)行脫敏處理，滿足日益嚴(yán)格的監(jiān)管要求。此外，集中歸檔功能有效降低了數(shù)據(jù)存儲成本，優(yōu)化了資源分配。更重要的是，集中化的日志管理體系為企業(yè)提供了實(shí)時(shí)統(tǒng)計(jì)關(guān)鍵業(yè)務(wù)指標(biāo)的能力，助力企業(yè)快速識別系統(tǒng)瓶頸和低效操作環(huán)節(jié)，為運(yùn)營決策提供及時(shí)、準(zhǔn)確的數(shù)據(jù)支持，從而在激烈的市場競爭中保持領(lǐng)先地位。

01. 業(yè)務(wù)場景

某市級城市商業(yè)銀行正面臨日志管理的嚴(yán)峻挑戰(zhàn)。其下轄的50套業(yè)務(wù)系統(tǒng)每日產(chǎn)生海量日志數(shù)據(jù)，這些數(shù)據(jù)亟待集中采集與高效管理。尤為關(guān)鍵的是，這些數(shù)據(jù)中包含大量敏感信息，因此在采集過程中必須實(shí)施嚴(yán)格的脫敏處理，確保每一步操作都符合最高級別的安全合規(guī)標(biāo)準(zhǔn)。

同時(shí)，銀行還需要保證脫敏后的日志數(shù)據(jù)仍具備有效的檢索和分析功能，以支持運(yùn)營團(tuán)隊(duì)的日常決策需求。然而，并非所有日志數(shù)據(jù)都需要日常監(jiān)控，部分?jǐn)?shù)據(jù)僅用于滿足審計(jì)要求，這導(dǎo)致了存儲成本的顯著增加。

此外，銀行還需實(shí)時(shí)監(jiān)控關(guān)鍵業(yè)務(wù)指標(biāo)，如成功交易筆數(shù)、失敗交易筆數(shù)等，并進(jìn)行可視化展示，以便及時(shí)發(fā)現(xiàn)潛在問題并采取措施，確保業(yè)務(wù)穩(wěn)定性和客戶滿意度。然而，現(xiàn)有的日志采集與監(jiān)控體系存在明顯不足，令技術(shù)人員在數(shù)據(jù)處理和分析階段痛疼不已，監(jiān)控手段的匱乏也影響了異常情況的及時(shí)發(fā)現(xiàn)。

為解決上述問題，該銀行引入嘉為藍(lán)鯨日志中心（以下簡稱“日志中心”），構(gòu)建一套全企業(yè)統(tǒng)一的日志管理平臺，以加強(qiáng)IT運(yùn)維管理和滿足安全合規(guī)要求，同時(shí)提升數(shù)據(jù)處理效率和監(jiān)控能力。

02. 痛點(diǎn)與需求

• 業(yè)務(wù)故障響應(yīng)效率低下，無法對日志關(guān)鍵信息進(jìn)行監(jiān)控告警，當(dāng)業(yè)務(wù)故障發(fā)生時(shí)，運(yùn)維團(tuán)隊(duì)需要逐臺登錄多臺服務(wù)器以查詢相關(guān)日志。這一過程不僅耗時(shí)較長，而且在搜索和定位特定信息時(shí)極為不便，導(dǎo)致問題的排查和解決效率大幅降低。
• 日志安全檢查流程繁瑣，以往的數(shù)據(jù)脫敏處理，運(yùn)維團(tuán)隊(duì)需要先下載日志文件，然后將其導(dǎo)入安全檢查軟件進(jìn)行敏感信息的識別。這一過程不僅步驟繁瑣，耗時(shí)長，且在檢查過程中，時(shí)間戳等本不應(yīng)被視為敏感信息的內(nèi)容也常常被誤判，不僅增加了工作負(fù)擔(dān)，還可能導(dǎo)致合規(guī)性問題，延緩了故障響應(yīng)和處理的速度。
• 審計(jì)要求造成了存儲成本浪費(fèi)，各業(yè)務(wù)系統(tǒng)中的所有日志數(shù)據(jù)并非在日常運(yùn)維中都需要進(jìn)行監(jiān)控和分析。實(shí)際上，這部分?jǐn)?shù)據(jù)的保存主要是為了滿足審計(jì)要求。如果將這些不常用的日志數(shù)據(jù)與常用日志數(shù)據(jù)共同存儲在高性能存儲設(shè)備中，將會導(dǎo)致顯著的成本浪費(fèi)。
• 交易失敗統(tǒng)計(jì)流程低效，統(tǒng)計(jì)本周或本月的交易失敗數(shù)量需要運(yùn)維團(tuán)隊(duì)逐一登錄服務(wù)器，篩查關(guān)鍵報(bào)文的失敗信息。這一過程不僅耗時(shí)且效率低下，無法實(shí)現(xiàn)直觀地查看和分析，導(dǎo)致團(tuán)隊(duì)在獲取重要業(yè)務(wù)數(shù)據(jù)時(shí)面臨困難，進(jìn)而影響整體業(yè)務(wù)的穩(wěn)定性和客戶體驗(yàn)。

03. 解決方案

1）建設(shè)統(tǒng)一日志管理中心，實(shí)現(xiàn)全面日志整合

建設(shè)一個(gè)統(tǒng)一日志管理系統(tǒng)，旨在高效整合和管理來自不同層級的海量日志數(shù)據(jù)。該系統(tǒng)將涵蓋物理層、系統(tǒng)層、應(yīng)用層的日志信息，包括各種應(yīng)用、服務(wù)組件、操作系統(tǒng)、容器、硬件設(shè)備等資產(chǎn)類型的日志。在此平臺上，用戶可以實(shí)現(xiàn)快速的日志檢索、數(shù)據(jù)脫敏、分析統(tǒng)計(jì)與監(jiān)控，從而提升日志數(shù)據(jù)的利用價(jià)值，提高運(yùn)維排錯(cuò)的效率，確保業(yè)務(wù)操作的順暢與穩(wěn)定。

2）建設(shè)脫敏規(guī)則，滿足各種安全合規(guī)

對敏感信息進(jìn)行脫敏處理，并且確保處理后的數(shù)據(jù)在保護(hù)隱私的同時(shí)，依然能保持完整和高效的檢索能力，同時(shí)所有日志導(dǎo)出都將嚴(yán)格遵循預(yù)定的脫敏標(biāo)準(zhǔn)，并且可以針對不同角色設(shè)置是否展示原文。

3）滿足審計(jì)要求，降低日志存儲成本

提供日志歸檔能力，對日常運(yùn)維中不需要的日志進(jìn)行歸檔處理，將日志遷移至成本較低的存儲介質(zhì)中。此外，若需要對這些已歸檔日志進(jìn)行運(yùn)維分析，支持歸檔回溯到高性能存儲介質(zhì)中支撐運(yùn)維工作，既滿足了審計(jì)要求，又降低了存儲成本。

4）數(shù)據(jù)可視化，統(tǒng)計(jì)業(yè)務(wù)關(guān)鍵指標(biāo)

基于儀表盤等可視化組件，統(tǒng)計(jì)展示成功筆數(shù)、失敗筆數(shù)等交易信息，并結(jié)合檢測算法，實(shí)現(xiàn)對關(guān)鍵指標(biāo)的實(shí)時(shí)監(jiān)控。

04. 建設(shè)成果

1）日志檢索：迅速發(fā)現(xiàn)和解決問題，提升運(yùn)維效率

基于日志中心的統(tǒng)一日志采集與管理方案，用戶不再需要線下手動(dòng)從服務(wù)器下載日志文件進(jìn)行排障，通過日志中心提供的高效便捷的日志檢索能力，可以直接在日志中心進(jìn)行關(guān)鍵字的快速查詢。此外，該平臺還支持跨業(yè)務(wù)的日志聯(lián)合檢索與分析，例如根據(jù)某一交易流水號串聯(lián)各個(gè)應(yīng)用的日志進(jìn)行問題排查，并結(jié)合上下文信息和實(shí)時(shí)日志功能，從而實(shí)現(xiàn)故障的快速定位。這不僅顯著提升了運(yùn)維效率，也幫助企業(yè)實(shí)現(xiàn)了降本增效的目標(biāo)。

2）數(shù)據(jù)脫敏：確保數(shù)據(jù)安全，滿足合規(guī)要求

基于日志中心提供的全面脫敏和選擇性脫敏策略，用戶不再需要手動(dòng)從服務(wù)器下載日志并導(dǎo)入安全檢查軟件來提取敏感信息。這一方案允許用戶直接在系統(tǒng)內(nèi)對敏感信息進(jìn)行脫敏處理，極大地簡化了操作流程，節(jié)省了時(shí)間和人力成本。

且經(jīng)過脫敏處理的數(shù)據(jù)仍然保留了完整的日志檢索功能，確保用戶能夠高效地進(jìn)行數(shù)據(jù)分析，快速定位問題。同時(shí)，日志導(dǎo)出過程也嚴(yán)格遵循脫敏規(guī)則，確保任何外部共享的數(shù)據(jù)都符合安全合規(guī)要求。不僅顯著提升了工作效率，還有效增強(qiáng)了數(shù)據(jù)的安全性，降低了潛在的泄露風(fēng)險(xiǎn)。通過日志中心，用戶可以在保障數(shù)據(jù)安全的前提下，靈活、高效地進(jìn)行日志管理與分析。

3）日志數(shù)據(jù)存儲：提升審計(jì)合規(guī)性與降低存儲成本

提供了HDFS、騰訊云COS和共享目錄三種低成本存儲介質(zhì)進(jìn)行日志的歸檔存儲，實(shí)現(xiàn)日志的有效歸檔功能。這使得需要長時(shí)間保留的日志能夠安全地轉(zhuǎn)移至成本更低的存儲設(shè)備，并且支持歸檔日志回溯到高性能存儲介質(zhì)中進(jìn)行日志分析，優(yōu)化了存儲資源的使用。不僅降低了存儲費(fèi)用，還確保了數(shù)據(jù)的安全性和可訪問性，滿足了審計(jì)合規(guī)性要求和業(yè)務(wù)需求。

4）監(jiān)控分析：業(yè)務(wù)指標(biāo)監(jiān)測與分析，保障業(yè)務(wù)穩(wěn)定性

基于日志的統(tǒng)一采集與管理，系統(tǒng)地統(tǒng)計(jì)成功筆數(shù)、失敗筆數(shù)等交易信息，并利用儀表盤等可視化組件展示關(guān)鍵指標(biāo)數(shù)據(jù)。通過深入分析這些數(shù)據(jù)，能夠有效識別系統(tǒng)瓶頸和低效操作，發(fā)現(xiàn)潛在的優(yōu)化空間。同時(shí)結(jié)合8種異常檢測算法，可以實(shí)現(xiàn)各種關(guān)鍵指標(biāo)的實(shí)時(shí)監(jiān)控，有效保障了各業(yè)務(wù)的穩(wěn)定性。

05. 建設(shè)收益

• 統(tǒng)一采集了約50個(gè)業(yè)務(wù)系統(tǒng)日志，涉及服務(wù)器約2000臺，實(shí)現(xiàn)日志全量管理；
• 對比之前客戶的脫敏流程，建設(shè)日志中心后其脫敏效率提升了約70%，并且滿足了各種安全合規(guī)的要求，有效保障了數(shù)據(jù)安全性；
• 對比之前客戶從服務(wù)器手動(dòng)獲取業(yè)務(wù)日志的運(yùn)維方式，建設(shè)日志中心后運(yùn)維排查效率提升約60%；
• 對比日志數(shù)據(jù)同級存儲，日志數(shù)據(jù)進(jìn)行歸檔分級存儲后，既滿足了安全審計(jì)要求，又降低了存儲成本約30%；
• 實(shí)時(shí)監(jiān)測和分析關(guān)鍵指標(biāo)，為后續(xù)的系統(tǒng)優(yōu)化和改進(jìn)提供數(shù)據(jù)支持，進(jìn)一步提高系統(tǒng)的可靠性和效率。

06. 適用場景

日志中心適用于有以下業(yè)務(wù)場景需求的企業(yè)：

• 存在海量的、異構(gòu)化的業(yè)務(wù)日志需要采集納管；
• 需要對敏感信息進(jìn)行脫敏處理，以滿足各種安全合規(guī)，且脫敏后不影響日志檢索分析；
• 對日志存儲有審計(jì)要求，且希望降低存儲成本；
• 需要對日志內(nèi)容的關(guān)鍵指標(biāo)進(jìn)行統(tǒng)計(jì)分析和監(jiān)控；
• 需要按業(yè)務(wù)系統(tǒng)進(jìn)行高性能、交互便捷的日志檢索支撐業(yè)務(wù)日志排查。