日志中心是面向企業(yè)IT研發(fā)和運(yùn)維，滿足分布式架構(gòu)下海量日志采集及存儲、檢索及分析的一款高性能日志產(chǎn)品，基于業(yè)界主流的全文檢索引擎，通過藍(lán)鯨專屬 Agent 提供多種場景化日志采集，提供快速檢索分析、輔助故障定位功能。

日志中心——雙價值鏈條驅(qū)動的企業(yè)級日志解決方案：

• 價值鏈1：根據(jù)日志數(shù)據(jù)的分散、海量、異構(gòu)的特點，打造日志數(shù)據(jù)流轉(zhuǎn)鏈，應(yīng)對集中管理的場景。
• 價值鏈2：基于可觀測三支柱數(shù)據(jù)理論，構(gòu)建可觀測全景數(shù)據(jù)鏈條，應(yīng)對日益復(fù)雜的觀測場景。

01. 日志采集

日志中心引入日志主題的概念，將多個采集項封裝成一個日志主題，屏蔽采集層的物理限制，以業(yè)務(wù)維度重新組織日志數(shù)據(jù)管理維度，從而實現(xiàn)跨應(yīng)用的聯(lián)合查詢。

支持通過Agent采集源日志和接入第三方ES來消費(fèi)日志數(shù)據(jù)。

1）基于Agent采集日志

日志中心支持通過Agent采集來自多種來源的日志文件，包括操作系統(tǒng)、應(yīng)用系統(tǒng)、容器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、中間件以及數(shù)據(jù)庫生成的日志。此外，系統(tǒng)還支持從第三方Kafka采集日志信息，確保用戶可以全面獲取所需的日志數(shù)據(jù)。

針對上述提到多來源的日志文件，具體而言，日志中心提供以下七種日志采集方式，以滿足不同場景和需求：

• 文本日志：直接采集存儲在文件系統(tǒng)中的文本格式日志，適用于大多數(shù)應(yīng)用和服務(wù)生成的日志文件。
• Syslog協(xié)議：通過標(biāo)準(zhǔn)的Syslog協(xié)議采集網(wǎng)絡(luò)設(shè)備和安全設(shè)備的日志，確保日志傳輸?shù)母咝院涂煽啃浴?/span>
• Windows事件日志：支持從Windows系統(tǒng)中采集事件日志，幫助用戶監(jiān)控和分析Windows環(huán)境下的系統(tǒng)和應(yīng)用活動。
• Kubernetes文件日志：直接采集Kubernetes集群中容器生成的日志文件，便于用戶對容器化應(yīng)用進(jìn)行監(jiān)控和故障排查。
• Kubernetes標(biāo)準(zhǔn)輸出：通過采集Kubernetes容器的標(biāo)準(zhǔn)輸出日志，用戶可以輕松獲取應(yīng)用運(yùn)行時的實時信息。
• Kubernetes Node日志：采集Kubernetes節(jié)點上的日志信息，幫助用戶全面了解集群的運(yùn)行狀態(tài)和性能。
• Kafka采集：支持從第三方Kafka集群中采集日志信息，使得用戶能夠靈活處理和分析通過Kafka流轉(zhuǎn)的日志數(shù)據(jù)。

選擇采集類型后，用戶需要進(jìn)行詳細(xì)的日志采集配置，包括設(shè)置采集目標(biāo)、指定文本路徑以及定義過濾規(guī)則等。為提升采集配置的效率，日志中心提供了一系列便捷的功能，幫助用戶快速而準(zhǔn)確地完成配置：

• 日志路徑預(yù)覽：支持逐級預(yù)覽物理環(huán)境中的日志路徑，確保用戶能夠準(zhǔn)確選擇目標(biāo)路徑，避免因路徑輸入錯誤而導(dǎo)致的日志采集問題，從而提高采集的準(zhǔn)確性。
• 日志預(yù)覽：用戶可以實時預(yù)覽物理環(huán)境中的日志內(nèi)容和格式，這一功能有助于用戶更好地理解日志結(jié)構(gòu)，確保采集配置的合理性和有效性。
• 日志過濾：通過配置過濾規(guī)則，用戶可以精確控制采集的日志數(shù)據(jù)。只有滿足特定過濾條件的日志才會被采集，這樣不僅滿足了用戶的采集需求，還有效降低了日志采集后傳輸帶寬的占用，提高了系統(tǒng)的整體效率。
• 基于采集配置模板：支持用戶基于現(xiàn)有的采集配置模板快速完成新的采集配置。此外，用戶還可以將當(dāng)前的采集配置保存為模板，以便在后續(xù)的接入任務(wù)中重復(fù)使用，進(jìn)一步簡化配置流程。

而對于用戶在采集配置階段保存的采集模板，可在模板管理中進(jìn)行管理，同時也可以在模板管理中直接新增采集模板。

2）接入第三方ES消費(fèi)日志

如果日志數(shù)據(jù)已經(jīng)通過其他工具采集并存儲在Elasticsearch中，日志中心同樣支持直接接入第三方ES存儲源，以便用戶能夠輕松消費(fèi)和分析這些日志數(shù)據(jù)。這一功能使得用戶無需重復(fù)采集，能夠高效利用現(xiàn)有的數(shù)據(jù)資源。

02. 數(shù)據(jù)處理

1）數(shù)據(jù)清洗

支持基于JSON、分隔符和正則表達(dá)式三種字段提取方式，實現(xiàn)日志數(shù)據(jù)結(jié)構(gòu)化，提升日志可讀性。

同時支持使用已有的字段提取模板，日志中心內(nèi)置了20+套清洗模板，并支持用戶自定義提取模板，不僅可以提升日志清洗的效率，還可以助力企業(yè)日志標(biāo)準(zhǔn)化建設(shè)，有利于減輕落地推廣的難度。

支持用戶在數(shù)據(jù)清洗步驟中，直接將字段提取規(guī)則保存為模板，之后可在模板管理中進(jìn)行管理，同時也可以在模板管理中直接新增字段提取模板。

2）數(shù)據(jù)存儲

① Elasticsearch溫?zé)岱謱哟鎯?/strong>

支持ES溫?zé)岱謱樱罩窘尤氩襟E中，根據(jù)數(shù)據(jù)的訪問頻率可以對數(shù)據(jù)進(jìn)行溫、熱分層，訪問頻率高數(shù)據(jù)為熱數(shù)據(jù)，訪問頻率低的數(shù)據(jù)為溫數(shù)據(jù)。溫?zé)醿蓪哟鎯δＪ剑?/span>節(jié)省至少30%存儲成本。

② 日志歸檔

除了通過Elasticsearch的溫?zé)岱謱蛹夹g(shù)降低存儲成本外，日志中心還提供了HDFS、騰訊云COS和共享目錄三種歸檔倉庫的創(chuàng)建選項。用戶可以基于這些歸檔倉庫創(chuàng)建歸檔任務(wù)，實現(xiàn)日志的有效歸檔功能。這使得需要長時間保留的日志能夠安全地轉(zhuǎn)移至成本更低的存儲設(shè)備，優(yōu)化了存儲資源的使用。這樣的歸檔策略不僅降低了存儲費(fèi)用，還確保了數(shù)據(jù)的安全性和可訪問性，滿足了合規(guī)性要求和業(yè)務(wù)需求。

創(chuàng)建完歸檔倉庫后，用戶可以基于該倉庫創(chuàng)建歸檔任務(wù)。當(dāng)Elasticsearch中存儲的日志數(shù)據(jù)達(dá)到設(shè)定的過期時間后，將自動觸發(fā)日志數(shù)據(jù)的歸檔過程。用戶還可以靈活配置日志數(shù)據(jù)在歸檔倉庫中的存放時長，以便于滿足不同的業(yè)務(wù)需求和合規(guī)要求。

對于已經(jīng)遷移到歸檔倉庫的日志數(shù)據(jù)，系統(tǒng)提供歸檔回溯功能，將日志數(shù)據(jù)重新載入到Elasticsearch中，此外，用戶可以靈活配置日志數(shù)據(jù)在Elasticsearch中的過期時間，以便有效管理存儲資源和數(shù)據(jù)生命周期。

③ 數(shù)據(jù)脫敏

日志中心支持對數(shù)據(jù)清洗后的字段進(jìn)行脫敏處理，涵蓋從全文脫敏和部分脫敏策略，以確保滿足各類安全合規(guī)要求，同時確保脫敏后的數(shù)據(jù)依然保持其檢索功能的完整性和高效性，不影響日志檢索分析工作的進(jìn)行。此外，針對不同角色，日志中心可以設(shè)置是否展示原文，例如后臺管理員可以不受脫敏影響。

• 全文脫敏：支持對提取后的日志字段進(jìn)行全面脫敏處理。在進(jìn)行全文脫敏后，相關(guān)日志數(shù)據(jù)在檢索時將全部以脫敏形式展示。

• 部分脫敏：部分脫敏功能支持對提取后的日志字段進(jìn)行靈活的部分脫敏處理。通過設(shè)定脫敏規(guī)則，用戶可以在日志檢索時保留字段的前后字符，而對其余數(shù)據(jù)進(jìn)行脫敏展示。

03. 日志檢索

日志中心支持通過Elasticsearch原生語法和正則表達(dá)式進(jìn)行日志查詢，提供近實時的搜索能力。用戶可以進(jìn)行全文檢索、跨業(yè)務(wù)檢索以及脫敏檢索，以滿足不同場景下的需求。此外，系統(tǒng)還提供一鍵轉(zhuǎn)化為監(jiān)控策略的功能，簡化了監(jiān)控配置的過程。結(jié)合實時日志和上下文能力，用戶能夠更高效地進(jìn)行故障排查和問題分析。

• QueryString語法和正則表達(dá)式匹配：支持通過QueryString語法和正則表達(dá)式匹配方式進(jìn)行靈活的日志查詢。用戶可以使用QueryString語法，簡單明了地構(gòu)造查詢條件，以便快速篩選所需的日志數(shù)據(jù)。同時，正則表達(dá)式匹配方式提供了更強(qiáng)大的查詢功能，允許用戶根據(jù)特定的模式高效地檢索日志信息。這種組合方式能夠滿足不同場景下的查詢需求，提高日志分析的效率。

• 關(guān)鍵字全文檢索：支持通過關(guān)鍵字進(jìn)行全文模糊匹配搜索日志，用戶可以輸入一個或多個關(guān)鍵字，系統(tǒng)將自動檢索包含這些關(guān)鍵字的相關(guān)日志記錄，通過模糊匹配，用戶即使不完全記得關(guān)鍵字的準(zhǔn)確拼寫或形式，也能有效找到相關(guān)內(nèi)容。這種搜索方式極大地提升了日志分析的便捷性，助力用戶迅速獲取所需信息。

• 組合條件檢索：支持通過與、或、非等組合條件查詢?nèi)罩?/span>，用戶可以按照需求場景靈活構(gòu)建復(fù)雜的查詢邏輯。

• 聯(lián)合檢索：提供聯(lián)合檢索功能，用戶可以關(guān)聯(lián)多個業(yè)務(wù)系統(tǒng)之間的日志進(jìn)行綜合排查。通過這一功能，用戶能夠跨系統(tǒng)地整合和分析日志數(shù)據(jù)，從而更全面地識別和解決問題。

• 日志聚類分析：支持日志聚類能力，能夠?qū)⑶f條日志數(shù)據(jù)聚合為十幾種格式類型，從而顯著提高信息密度。通過這一功能，運(yùn)維人員可以避免耗費(fèi)大量時間在重復(fù)數(shù)據(jù)上，快速聚焦于關(guān)鍵信息。

• 日志上下文查看：日志上下文功能，方便用戶查看當(dāng)前日志的上下文信息，深入了解事件發(fā)生的前后關(guān)系。此外，該功能還支持對上下文日志進(jìn)行關(guān)鍵字檢索，并提供高亮提示，幫助用戶快速識別與當(dāng)前日志相關(guān)的重要信息。

• 實時日志查看：支持實時日志查看，用戶可以隨時監(jiān)控當(dāng)前設(shè)備的實時日志，確保對系統(tǒng)狀態(tài)的即時了解。此外，該功能還允許用戶對實時日志進(jìn)行關(guān)鍵字檢索，并提供高亮提示，幫助用戶快速定位關(guān)鍵信息。

• 一鍵生成監(jiān)控策略：支持將當(dāng)前的檢索語句一鍵轉(zhuǎn)換為監(jiān)控策略，極大提升監(jiān)控覆蓋率。這一功能使得運(yùn)維人員能夠快速將有效的檢索表達(dá)式轉(zhuǎn)化為自動監(jiān)控規(guī)則，確保系統(tǒng)關(guān)鍵指標(biāo)和異常情況得到實時監(jiān)控。

04. 日志監(jiān)控

日志中心支持多種異常檢測方式，包括日志關(guān)鍵字檢測、日志指標(biāo)數(shù)據(jù)檢測、無數(shù)據(jù)異常檢測和智能指標(biāo)檢測。結(jié)合靜態(tài)閾值、同比策略（高級）、環(huán)比策略（高級）、同比策略（簡易）、環(huán)比策略（簡易）、同比振幅、環(huán)比振幅和同比區(qū)間等8種異常檢測算法，日志中心能夠實現(xiàn)多場景的日志監(jiān)控。這些強(qiáng)大的檢測能力確保了業(yè)務(wù)的穩(wěn)定性，幫助用戶及時識別和應(yīng)對潛在問題，從而有效維護(hù)系統(tǒng)的健康運(yùn)行。通過綜合運(yùn)用多種檢測算法，用戶能夠獲得更全面的監(jiān)控視角，提升故障預(yù)警的準(zhǔn)確性和響應(yīng)速度。

• 關(guān)鍵字檢測：關(guān)鍵字檢測功能支持用戶通過自定義檢索語句獲取符合條件的日志記錄，并結(jié)合8種異常檢測算法，實現(xiàn)對日志關(guān)鍵字的全面監(jiān)控。

• 日志指標(biāo)數(shù)據(jù)檢測：日志數(shù)據(jù)格式化清洗轉(zhuǎn)化為指標(biāo)時序數(shù)據(jù)后，可當(dāng)指標(biāo)數(shù)據(jù)進(jìn)行使用，并結(jié)合8種異常檢測算法，可實現(xiàn)日志指標(biāo)的監(jiān)控。

• 無數(shù)據(jù)異常檢測：無數(shù)據(jù)異常檢測功能支持用戶監(jiān)控自定義時間段內(nèi)的日志采集情況，當(dāng)在設(shè)定的時間范圍內(nèi)未采集到任何日志數(shù)據(jù)時，將自動觸發(fā)告警。

• 智能指標(biāo)檢測：智能指標(biāo)檢測功能提供了先進(jìn)的日志分析能力，使用戶能夠迅速而清晰地識別日志中的異常變化。系統(tǒng)會自動根據(jù)特定格式的日志數(shù)據(jù)進(jìn)行量統(tǒng)計，從而判斷是否存在異常情況，包括突增、突減、數(shù)值偏離或格式變化等。

05. 日志告警處理

支持觸發(fā)閾值后的告警處理策略配置，支持自動分派、自動關(guān)閉、自愈處理以及自動轉(zhuǎn)工單的處理方案，并且可以根據(jù)通知場景配置告警通知的頻率以及方式。

總的來說，日志中心以其全面的功能、高效的性能和智能的監(jiān)控能力，為企業(yè)提供了一套完整的日志統(tǒng)一管理解決方案。它不僅能夠幫助企業(yè)實現(xiàn)日志數(shù)據(jù)的集中管理和高效利用，還能夠提升運(yùn)維效率和系統(tǒng)穩(wěn)定性，是企業(yè)運(yùn)維排障中不可或缺的重要工具。