讓AI自己修服務(wù)器？先過了這場“火線測試”再說

智東西
作者 陳駿達(dá)
編輯 漠影

隨著大模型能力持續(xù)提升，智能體正從聊天、寫作等輔助場景走向軟件開發(fā)、網(wǎng)絡(luò)管理和基礎(chǔ)設(shè)施運(yùn)維等生產(chǎn)環(huán)節(jié)。尤其在AI基礎(chǔ)設(shè)施領(lǐng)域，面對(duì)龐大的GPU集群和復(fù)雜架構(gòu)，越來越多企業(yè)開始嘗試讓智能體承擔(dān)故障排查、告警分析和資源管理等工作，以提升運(yùn)維效率并降低人力成本。

然而，運(yùn)維場景對(duì)智能體構(gòu)成了空前挑戰(zhàn)。AI算力集群運(yùn)維橫跨GPU硬件、網(wǎng)絡(luò)通信、分布式存儲(chǔ)、容器編排、訓(xùn)練框架等多個(gè)技術(shù)棧，問題現(xiàn)象往往模糊、不完整甚至相互矛盾，智能體需要在開放環(huán)境中主動(dòng)探索、反復(fù)驗(yàn)證，自行界定問題并尋求解決路徑。

要提升智能體在此類復(fù)雜場景的綜合能力，一套與之匹配的評(píng)測基準(zhǔn)不可或缺。但當(dāng)前行業(yè)恰恰缺乏對(duì)這種多步推理、開放決策過程的系統(tǒng)化評(píng)估能力，導(dǎo)致運(yùn)維智能體研發(fā)長期“無標(biāo)可依”，進(jìn)展評(píng)估與方向校準(zhǔn)均缺乏牽引。

正是在這樣的背景下，中國信息通信研究院開源了全球首個(gè)面向AI Infra運(yùn)維場景的智能體評(píng)測基準(zhǔn)——AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)，國內(nèi)頭部AI原生基礎(chǔ)設(shè)施企業(yè)無問芯穹重點(diǎn)參與技術(shù)建設(shè)。

這套基準(zhǔn)源自百億條真實(shí)運(yùn)維數(shù)據(jù)，不再只關(guān)注“會(huì)不會(huì)回答問題”，而是聚焦智能體“能不能解決問題”，為運(yùn)維智能體能力評(píng)估提供了一套貼近真實(shí)生產(chǎn)環(huán)境的參考標(biāo)準(zhǔn)。

一、百億條運(yùn)維數(shù)據(jù)，煉出103道“考題”

任何評(píng)測體系的價(jià)值，最終都建立在數(shù)據(jù)質(zhì)量之上。對(duì)于運(yùn)維智能體而言尤其如此。因?yàn)檎鎸?shí)世界中的故障往往具有高度隨機(jī)性和復(fù)雜性，許多問題并不存在標(biāo)準(zhǔn)答案，甚至需要跨越多個(gè)技術(shù)棧進(jìn)行聯(lián)合分析。如果評(píng)測數(shù)據(jù)脫離真實(shí)生產(chǎn)環(huán)境，即使得到再高的測試分?jǐn)?shù)，也很難證明智能體具備實(shí)際應(yīng)用價(jià)值。

無問芯穹之所以能夠重點(diǎn)參與這一評(píng)測基準(zhǔn)的技術(shù)建設(shè)，與其在AI基礎(chǔ)設(shè)施領(lǐng)域的長期實(shí)踐密切相關(guān)。根據(jù)披露的信息，其早在2025年便已將運(yùn)維智能體應(yīng)用到實(shí)際訓(xùn)練推理業(yè)務(wù)中，并取得明顯成效。工單平均處理時(shí)長縮短50%，關(guān)鍵故障處理效率提升約6倍，運(yùn)維人效提升超過5倍，綜合運(yùn)維成本下降約30%。然而在實(shí)踐過程中，他們也發(fā)現(xiàn)行業(yè)缺少一套能夠客觀衡量運(yùn)維智能體能力的標(biāo)準(zhǔn)體系，這成為推動(dòng)AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)誕生的重要原因。

這一需求背后有著非常現(xiàn)實(shí)的行業(yè)背景。隨著AI基礎(chǔ)設(shè)施規(guī)模不斷擴(kuò)大，許多故障已經(jīng)超出了傳統(tǒng)監(jiān)控系統(tǒng)和規(guī)則引擎的處理能力。運(yùn)維工程師不僅需要理解硬件設(shè)備狀態(tài)，還需要掌握網(wǎng)絡(luò)通信、分布式系統(tǒng)、容器平臺(tái)以及訓(xùn)練框架等多層知識(shí)體系。智能體如果要進(jìn)入這樣的場景，需要擁有相同的能力集合，并且要能真正將知識(shí)運(yùn)用到實(shí)際問題解決中去。

為了構(gòu)建高質(zhì)量評(píng)測集，研究團(tuán)隊(duì)從無問芯穹成立以來積累的百億條真實(shí)運(yùn)維數(shù)據(jù)中進(jìn)行篩選。他們收集了2024年至2026年初全部用戶工單、即時(shí)通信記錄、運(yùn)維文檔以及線上集群監(jiān)控告警數(shù)據(jù)，并通過多輪數(shù)據(jù)清洗剔除低質(zhì)量內(nèi)容。整個(gè)過程不僅包含去重和嚴(yán)格脫敏，還排除了與特定業(yè)務(wù)強(qiáng)綁定、無法泛化的問題案例，確保最終保留下來的樣本既真實(shí)可信，又具備普適評(píng)測價(jià)值。

經(jīng)過嚴(yán)格篩選后，團(tuán)隊(duì)從10萬條有效數(shù)據(jù)中進(jìn)一步抽象整理，最終形成103個(gè)高保真評(píng)測用例。每一個(gè)案例都對(duì)應(yīng)真實(shí)發(fā)生過的生產(chǎn)故障，包含完整的問題現(xiàn)象、排查路徑以及最終根因，確保評(píng)測結(jié)果能夠真實(shí)反映智能體在生產(chǎn)環(huán)境中的實(shí)際表現(xiàn)。

值得注意的是，AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)覆蓋的問題范圍極其廣泛，按照技術(shù)棧層級(jí)將問題劃分為宿主機(jī)、高性能設(shè)備、容器平臺(tái)、訓(xùn)推腳本、安全與運(yùn)營商五大類，涵蓋44種問題現(xiàn)象和22個(gè)細(xì)分故障領(lǐng)域，基本覆蓋了真實(shí)運(yùn)維場景中可能遇到的所有情況。

此外，所有問題共分為3種難度級(jí)別，平均人工處理耗時(shí)為1.5小時(shí)，充分保障了問題的復(fù)雜性與挑戰(zhàn)性。

對(duì)于智能體而言，這意味著它不僅需要理解單點(diǎn)故障，還要具備跨系統(tǒng)關(guān)聯(lián)分析能力，而這恰恰是現(xiàn)實(shí)運(yùn)維工作中最具挑戰(zhàn)性的部分。

更有意義的是，該基準(zhǔn)首次將國產(chǎn)算力平臺(tái)納入評(píng)測體系。天數(shù)智芯、壁仞科技、沐曦、摩爾線程以及昇騰等國產(chǎn)芯片相關(guān)問題均被覆蓋其中。

隨著國產(chǎn)GPU集群規(guī)模快速增長，越來越多企業(yè)開始部署異構(gòu)算力環(huán)境，不同芯片架構(gòu)帶來的兼容性和運(yùn)維挑戰(zhàn)也隨之增加。將國產(chǎn)算力場景納入統(tǒng)一評(píng)測體系，不僅能夠提升基準(zhǔn)的現(xiàn)實(shí)價(jià)值，也為未來國產(chǎn)智算生態(tài)建設(shè)提供了重要參考。

二、不考筆試考實(shí)操：故障模擬注入，智能體自主排障

如果說高質(zhì)量數(shù)據(jù)決定了評(píng)測內(nèi)容，那么評(píng)測方式則決定了測試結(jié)果是否具有參考意義。

當(dāng)前大多數(shù)模型Benchmark本質(zhì)上仍屬于“筆試”模式。模型面對(duì)一道題目，通過知識(shí)記憶和推理給出答案即可獲得分?jǐn)?shù)。然而運(yùn)維工作并非如此。現(xiàn)實(shí)中的故障往往沒有明確線索，工程師需要不斷收集信息、驗(yàn)證假設(shè)并逐步縮小排查范圍，最終找到真正原因。因此，對(duì)一個(gè)真正優(yōu)秀的運(yùn)維智能體而言，考察重點(diǎn)不應(yīng)該是知道多少知識(shí)，而是能否把問題解決掉。

AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)最大的創(chuàng)新之一，正是在于將評(píng)測從知識(shí)問答轉(zhuǎn)變?yōu)檎鎸?shí)實(shí)操。測試開始后，系統(tǒng)不會(huì)直接告訴智能體故障原因，而只會(huì)提供有限的問題描述以及真實(shí)運(yùn)行環(huán)境。智能體需要自行調(diào)用工具、查看日志、執(zhí)行命令、分析狀態(tài)，并在不斷探索過程中完成問題定位和修復(fù)。這種開放式測試模式更加接近真實(shí)生產(chǎn)環(huán)境，也對(duì)智能體提出了更高要求。

例如在“訓(xùn)練任務(wù)卡死”場景中，評(píng)測系統(tǒng)會(huì)提前向環(huán)境中注入故障，同時(shí)提供一個(gè)包含訓(xùn)練腳本的開發(fā)容器。智能體只能獲得來自用戶的一段問題反饋，之后需要獨(dú)立完成問題復(fù)現(xiàn)、原因分析和故障修復(fù)的全過程。整個(gè)過程對(duì)知識(shí)儲(chǔ)備、決策能力、工具使用能力以及長鏈路推理能力進(jìn)行了全面的考察。

為了支撐這種實(shí)操評(píng)測，無問芯穹同時(shí)建設(shè)了配套工具AIops-Chaos。這是一套面向GPU集群的故障模擬工程，專門用于構(gòu)造真實(shí)而可控的異常環(huán)境。在傳統(tǒng)運(yùn)維測試中，直接制造硬件故障往往成本極高，而且存在設(shè)備損壞風(fēng)險(xiǎn)；而純軟件模擬又難以還原真實(shí)場景。AIops-Chaos則嘗試在兩者之間找到平衡。

通過軟件層面對(duì)GPU和RDMA等智算集群環(huán)境進(jìn)行精準(zhǔn)模擬，該系統(tǒng)能夠構(gòu)造掉卡、顯存異常、NVLink故障以及網(wǎng)絡(luò)分區(qū)等多種典型問題，同時(shí)結(jié)合真實(shí)業(yè)務(wù)負(fù)載形成高保真測試環(huán)境。相比物理故障注入方式，這種方案既避免了設(shè)備損壞風(fēng)險(xiǎn)，又能夠?qū)崿F(xiàn)快速重復(fù)測試，大幅降低驗(yàn)證成本。

與此同時(shí)，團(tuán)隊(duì)還推出了端到端評(píng)測工具鏈AIops-Eval。與現(xiàn)有評(píng)測框架相比，其最大的特點(diǎn)是能夠追蹤智能體整個(gè)決策過程。系統(tǒng)通過User、Agent、Env、Evaluator以及Tracing五大模塊，對(duì)智能體行為進(jìn)行全流程記錄和分析，從而實(shí)現(xiàn)細(xì)粒度評(píng)測。

這種評(píng)測方式的重要性在于，運(yùn)維智能體的價(jià)值既體現(xiàn)在最終能否解決問題，也體現(xiàn)在解決問題的路徑是否合理。如果智能體單純靠猜測來找到問題根因，其工程價(jià)值顯然遠(yuǎn)低于真正與環(huán)境交互得到根因的智能體。因此，對(duì)過程進(jìn)行評(píng)估成為衡量智能體實(shí)際能力的重要組成部分。

三、實(shí)測成績單出爐，三大失敗模式揭示智能體的“強(qiáng)項(xiàng)”與“死穴”

為了盡可能客觀衡量智能體能力，AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)設(shè)計(jì)了一套結(jié)果導(dǎo)向的多維評(píng)估體系。

其中最核心指標(biāo)是綜合得分。系統(tǒng)根據(jù)簡單、中等和困難三種難度的問題分別統(tǒng)計(jì)成功率，并按照不同權(quán)重計(jì)算總成績。這樣的設(shè)計(jì)避免了模型通過大量完成簡單任務(wù)獲得虛高分?jǐn)?shù)，而是鼓勵(lì)其真正解決復(fù)雜問題。此外，評(píng)測還同時(shí)記錄平均耗時(shí)、Token消耗以及工具調(diào)用次數(shù)，從準(zhǔn)確率、效率和成本多個(gè)維度進(jìn)行綜合評(píng)價(jià)。

值得注意的是，評(píng)測明確規(guī)定智能體必須與環(huán)境發(fā)生真實(shí)交互。如果模型沒有調(diào)用工具而直接猜測答案，即使結(jié)果正確也不會(huì)得分。這一規(guī)則有效避免了投機(jī)行為，使評(píng)測結(jié)果更加真實(shí)可信。

在測試中，研究團(tuán)隊(duì)選取了包括Claude Sonnet在內(nèi)的多個(gè)國內(nèi)外主流模型進(jìn)行驗(yàn)證，為了突出模型自身能力，測試環(huán)境僅開放Shell工具，同時(shí)禁止聯(lián)網(wǎng)搜索，所有問題都必須依靠自主分析完成。

測試結(jié)果顯示，雖然所有模型都展現(xiàn)出明顯高于人類運(yùn)維工程師的處理速度，但總體得分仍然不高，全部低于50分。這意味著即使當(dāng)前最先進(jìn)的大模型，在復(fù)雜運(yùn)維場景中依然遠(yuǎn)未達(dá)到成熟可用階段。

進(jìn)一步分析發(fā)現(xiàn)，隨著任務(wù)難度增加，各模型正確率迅速下降。在中等和困難問題上，大多數(shù)模型成功率不足50%。與此同時(shí)，工具調(diào)用時(shí)間占比持續(xù)增加，但最終正確率卻沒有同步提升。這表明模型雖然愿意收集更多信息，卻缺乏有效篩選和利用信息的能力，導(dǎo)致排查效率下降。

從技術(shù)棧維度來看，不同模型也呈現(xiàn)出明顯能力差異。整體而言，模型更擅長處理代碼邏輯和軟件層問題，而在GPU硬件、網(wǎng)絡(luò)設(shè)備等基礎(chǔ)設(shè)施故障上表現(xiàn)相對(duì)較弱。

面對(duì)硬件問題時(shí)，模型往往消耗更多Token進(jìn)行分析，卻依然難以準(zhǔn)確定位根因，反映出其技能與人類運(yùn)維工程師存在差異。

這些差異恰恰證明了評(píng)測體系本身具備良好區(qū)分度。AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)能夠清晰拉開不同模型之間的能力差距，說明其確實(shí)捕捉到了運(yùn)維場景中的關(guān)鍵能力指標(biāo)。

通過大量測試軌跡分析，研究團(tuán)隊(duì)總結(jié)出當(dāng)前運(yùn)維智能體最典型的三類失敗模式。

第一類是穩(wěn)定性不足，包括工具調(diào)用格式錯(cuò)誤、執(zhí)行流程異常終止以及違反規(guī)則等問題。

第二類是推理鏈質(zhì)量不足，表現(xiàn)為只解決表面現(xiàn)象而未找到真正根因，或者在缺乏證據(jù)情況下直接下結(jié)論。

第三類則是安全性問題，一些模型可能執(zhí)行危險(xiǎn)命令，甚至導(dǎo)致環(huán)境崩潰，需要人工介入恢復(fù)。

這些失敗模式對(duì)于行業(yè)具有重要參考意義，為大模型在基礎(chǔ)設(shè)施場景后續(xù)的能力優(yōu)化提供了明確依據(jù)。

結(jié)語：給運(yùn)維Agent建立一把統(tǒng)一標(biāo)尺

當(dāng)AI進(jìn)入大規(guī)模落地階段后，提升GPU利用率、縮短故障恢復(fù)時(shí)間以及降低運(yùn)維成本，正在成為更加迫切的課題。運(yùn)維智能體被寄予厚望，但其能力邊界究竟在哪里，同樣需要被客觀衡量。

AISHPerf-智算運(yùn)維智能體評(píng)測基準(zhǔn)的價(jià)值，正在于為行業(yè)提供了這樣一把統(tǒng)一標(biāo)尺。它不僅首次將真實(shí)生產(chǎn)環(huán)境引入智能體評(píng)測體系，也讓“智能體是否真正解決問題”成為核心評(píng)價(jià)標(biāo)準(zhǔn)。

隨著未來更多模型、Agent框架和國產(chǎn)算力生態(tài)加入這一體系，這套Benchmark有望逐步演變?yōu)锳I基礎(chǔ)設(shè)施領(lǐng)域的重要公共基線，為整個(gè)行業(yè)探索“AI for Infra”的未來提供持續(xù)參考。