【導(dǎo)讀】隨著 AI 從響應(yīng)提示詞邁向完成任務(wù)，基礎(chǔ)設(shè)施的優(yōu)化重點(diǎn)也從模型本身擴(kuò)展到整個(gè)工作流，涵蓋規(guī)劃、工具調(diào)用、結(jié)果驗(yàn)證與任務(wù)執(zhí)行。上午 8:42，一名開(kāi)發(fā)者打開(kāi)筆記本電腦，映入眼簾的是環(huán)境構(gòu)建失敗、測(cè)試報(bào)錯(cuò)，還有一條等待發(fā)布的代碼分支。過(guò)去，她可能需要花費(fèi)大量時(shí)間逐一排查日志、比對(duì)代碼提交記錄、追溯倉(cāng)庫(kù)歷史；而如今，她只需向 AI 編碼智能體下達(dá)一句簡(jiǎn)單指令：
'修復(fù)失敗的測(cè)試。找出 bug、提交補(bǔ)丁、重跑測(cè)試并匯總改動(dòng)內(nèi)容。”
敲幾下鍵盤(pán)，喝上一口茶的時(shí)間，智能體就返回了已通過(guò)測(cè)試的補(bǔ)丁，并附上簡(jiǎn)潔的說(shuō)明。對(duì)用戶而言，效果如同瞬時(shí)魔法：輸入需求，輸出結(jié)果。但在系統(tǒng)內(nèi)部，實(shí)現(xiàn)這一結(jié)果的過(guò)程一點(diǎn)也不簡(jiǎn)單。
僅一條提示詞就可以觸發(fā)請(qǐng)求解析、任務(wù)創(chuàng)建、策略檢查、代碼庫(kù)檢索、上下文拼接、Token（詞元）編碼、模型調(diào)用、工具驗(yàn)證、沙箱路由、文件編輯、測(cè)試運(yùn)行、遙測(cè)采集與最終結(jié)果核驗(yàn)。模型調(diào)用固然關(guān)鍵，但它只是工作負(fù)載的一環(huán)，真正體現(xiàn)工程能力的是對(duì)任務(wù)圖的協(xié)調(diào)與編排。
智能體 AI 會(huì)進(jìn)行規(guī)劃、檢索、執(zhí)行、校驗(yàn)、重試和反饋。隨著 AI 從孤立的提示-響應(yīng)交互模式轉(zhuǎn)向持續(xù)工作流模式，性能的衡量維度也從 Token 轉(zhuǎn)向完整的任務(wù)交付。
模型調(diào)用已不再等同于全部工作負(fù)載
長(zhǎng)期以來(lái)，AI 基礎(chǔ)設(shè)施主要以模型執(zhí)行為衡量標(biāo)準(zhǔn)：預(yù)填充 (prefill)、解碼 (decode)、每秒生成 Token 數(shù)、首 Token 延遲、吞吐量、批處理效率、內(nèi)存占用以及加速器利用率。這些指標(biāo)依然重要，但隨著智能體 AI 的興起，系統(tǒng)的關(guān)鍵路徑已不再局限于模型執(zhí)行本身。
傳統(tǒng)的推理請(qǐng)求有明確的邊界：從提示詞到結(jié)果輸出。而智能體工作流可能涉及任務(wù)規(guī)劃、上下文檢索、狀態(tài)管理、工具與 API 調(diào)用、沙箱運(yùn)行、結(jié)果驗(yàn)證、遙測(cè)采集以及重試。最終輸出可能是一個(gè)答案、一段代碼變更、一條數(shù)據(jù)庫(kù)查詢、一次工具調(diào)用，或是一個(gè)搜集更多信息的決策。
簡(jiǎn)而言之，智能體 AI 讓推理演變?yōu)橐粋€(gè)分布式系統(tǒng)問(wèn)題。GPU 對(duì)于高強(qiáng)度模型執(zhí)行仍然不可或缺，但圍繞 GPU 展開(kāi)的工作正日益成為系統(tǒng)性能的決定性因素：哪些任務(wù)在運(yùn)行、在哪里運(yùn)行、伴隨哪些上下文、允許使用哪些工具，結(jié)果是否滿足用戶需求。
這個(gè)周邊的技術(shù)棧為模型增加了多個(gè)層級(jí)，其中大量協(xié)調(diào)工作都由 CPU 承擔(dān)，包括編排、內(nèi)存與檢索、工具調(diào)用、運(yùn)行時(shí)與沙箱、策略系統(tǒng)以及可觀測(cè)性等。模型則提供智能、推理和生成能力，而外圍系統(tǒng)能將這些能力轉(zhuǎn)化為可執(zhí)行的行動(dòng)。
為什么傳統(tǒng)推理基準(zhǔn)已無(wú)法全面衡量系統(tǒng)性能
對(duì)于聊天機(jī)器人，Token 吞吐量可以體現(xiàn)出模型響應(yīng)速度與生成效率，以及系統(tǒng)能服務(wù)多少用戶。但對(duì)于智能體 AI，這個(gè)評(píng)判視角并不夠全面。
開(kāi)發(fā)者并不會(huì)以每秒多少原始 Token 來(lái)感知系統(tǒng)性能。她真正關(guān)注的是：bug 是否定位準(zhǔn)確、補(bǔ)丁修復(fù)是否正確、測(cè)試是否全部通過(guò)、權(quán)限是否合規(guī)、結(jié)果是否可信且可驗(yàn)證。對(duì)于企業(yè)、科研、安全、運(yùn)營(yíng)以及物理世界的各類智能體而言，同樣如此，用戶關(guān)心的是最終成果。
這意味著，智能體 AI 時(shí)代需要采用工作流級(jí)別的性能指標(biāo)，包括：?jiǎn)雾?xiàng)任務(wù)完成成本、工具調(diào)用延遲、檢索延遲、沙箱啟動(dòng)時(shí)間以及單節(jié)點(diǎn)智能體數(shù)量。核心評(píng)判標(biāo)準(zhǔn)從“模型生成得有多快？”轉(zhuǎn)變?yōu)椤跋到y(tǒng)完成任務(wù)的效率有多高？”
CPU 發(fā)揮決定性的作用
CPU 在智能體 AI 中的價(jià)值，體現(xiàn)在圍繞模型調(diào)用的各環(huán)節(jié)中。模型運(yùn)行前，系統(tǒng)解析請(qǐng)求、初始化運(yùn)行環(huán)境、加載策略、讀取工程文件、查詢檢索系統(tǒng)、排序上下文、統(tǒng)計(jì) Token 數(shù)量并準(zhǔn)備請(qǐng)求。模型調(diào)用期間，CPU 負(fù)責(zé)處理路由、Token 化、批處理、流式傳輸和 Schema 配置。調(diào)用完成后，CPU 驗(yàn)證輸出、路由工具調(diào)用、管理沙箱與子進(jìn)程、采集日志、歸類故障、更新?tīng)顟B(tài)并整合遙測(cè)數(shù)據(jù)。
在編碼智能體的例子中，一些最耗費(fèi) CPU 資源的工作往往發(fā)生在模型生成修復(fù)方案之后：運(yùn)行測(cè)試、調(diào)用編譯器、啟動(dòng)子進(jìn)程、歸類故障、自主選擇重試邏輯。這些操作會(huì)對(duì) CPU 核心、緩存、內(nèi)存、存儲(chǔ)和編排軟件形成壓力。
這正是智能體 AI 看似“瞬間完成任務(wù)”背后隱藏的關(guān)鍵計(jì)算工作。
頭節(jié)點(diǎn)正演變?yōu)檎麄€(gè)系統(tǒng)的控制中樞
隨著智能體系統(tǒng)規(guī)模化，頭節(jié)點(diǎn) (head node) 的角色變得具有戰(zhàn)略意義。AI 頭節(jié)點(diǎn)不只是加速器旁邊的一顆 CPU。它是核心控制中樞，負(fù)責(zé)讓異構(gòu) AI 系統(tǒng)以統(tǒng)一、可靠的方式協(xié)同運(yùn)作：路由請(qǐng)求、管理狀態(tài)、準(zhǔn)備上下文、協(xié)調(diào)加速器、調(diào)用管理 API 與工具、執(zhí)行策略、采集遙測(cè)，并保持工作流的可觀測(cè)性。
編排的本質(zhì)，在于決定執(zhí)行什么任務(wù)、在哪里執(zhí)行、攜帶哪些上下文、允許調(diào)用哪些工具，以及如何判斷任務(wù)已經(jīng)完成。而頭節(jié)點(diǎn)則是支撐這一能力的基礎(chǔ)設(shè)施控制中樞，負(fù)責(zé)在 CPU、GPU、加速器、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)、運(yùn)行時(shí)、數(shù)據(jù)庫(kù)、規(guī)則管理系統(tǒng)以及可觀測(cè)性工具之間協(xié)調(diào)資源，并將這些編排決策貫穿整個(gè)系統(tǒng)。
隨著 AI 基礎(chǔ)設(shè)施日益異構(gòu)化，模型、工具、內(nèi)存、加速器、API、沙箱、規(guī)則管理、追蹤和評(píng)估循環(huán)都必須保持同步協(xié)作。而頭節(jié)點(diǎn)正是這一協(xié)調(diào)能力得以統(tǒng)一執(zhí)行和運(yùn)轉(zhuǎn)的控制中樞。
Arm 的機(jī)遇：全鏈路智能體工作流優(yōu)化
對(duì) Arm 而言，智能體 AI 代表著一次平臺(tái)級(jí)機(jī)遇。其對(duì)基礎(chǔ)設(shè)施的要求，正對(duì)應(yīng)了云基礎(chǔ)設(shè)施建設(shè)者最關(guān)心的關(guān)鍵能力：性能、能效、擴(kuò)展性、軟件成熟度以及選擇自由度。行業(yè)評(píng)判標(biāo)準(zhǔn)不再局限于 Token 生成速度，而是平臺(tái)能否在延遲、功耗、成本、資源利用率、穩(wěn)定性、開(kāi)發(fā)迭代效率等現(xiàn)實(shí)約束下，高效完成更多工作流。
Arm 提供了一個(gè)為異構(gòu)基礎(chǔ)設(shè)施打造的計(jì)算平臺(tái)。在智能體時(shí)代，AI 系統(tǒng)由 CPU、GPU、加速器、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)、運(yùn)行時(shí)、API、工具、可觀測(cè)系統(tǒng)和規(guī)則控制協(xié)同組成。Arm 的核心價(jià)值，在于幫助整個(gè)系統(tǒng)實(shí)現(xiàn)更高效率、更強(qiáng)擴(kuò)展能力，并使系統(tǒng)級(jí)優(yōu)化更加容易。
這一價(jià)值始于 Arm 深厚的技術(shù)底座：基于靈活的 Arm Neoverse IP 與計(jì)算子系統(tǒng) (CSS) 打造的計(jì)算平臺(tái)、軟件支持體系以及合作伙伴生態(tài)，為 AI 基礎(chǔ)設(shè)施建設(shè)者提供了針對(duì)特定工作負(fù)載設(shè)計(jì)和部署基礎(chǔ)設(shè)施的多元路徑。智能體 AI 讓這種選擇靈活性變得更加重要，因?yàn)闆](méi)有任何單一計(jì)算配置能夠高效承載工作流的每一個(gè)環(huán)節(jié)。
這也是為什么 Arm 的價(jià)值應(yīng)當(dāng)從工作流層面來(lái)衡量。更優(yōu)秀的智能體基礎(chǔ)設(shè)施應(yīng)當(dāng)體現(xiàn)在這些成果上：更低的單項(xiàng)任務(wù)成本、更低的延遲、更高的資源利用率、更可預(yù)測(cè)的執(zhí)行效果。這些關(guān)鍵指標(biāo)能夠直接體現(xiàn) CPU 和頭節(jié)點(diǎn)的價(jià)值，并將其與業(yè)務(wù)成果緊密關(guān)聯(lián)起來(lái)。
Arm 將這一理念繼續(xù)延伸，推出面向智能體 AI 基礎(chǔ)設(shè)施的自研芯片 Arm AGI CPU，提供另一種部署 Arm 架構(gòu)算力的選擇。在這套方案中，CPU 協(xié)調(diào)圍繞模型展開(kāi)的工作：控制、內(nèi)存、檢索、工具、API、運(yùn)行時(shí)、沙箱以及可觀測(cè)性。
其目標(biāo)并不是削弱 GPU 或其他加速器的作用，而是讓整個(gè)異構(gòu)系統(tǒng)更好地協(xié)同運(yùn)作。智能體 AI 時(shí)代，真正占據(jù)優(yōu)勢(shì)的將是那些能夠優(yōu)化整個(gè)任務(wù)圖 (Task Graph)，而非僅僅優(yōu)化 Token 流的基礎(chǔ)設(shè)施。
下一代基準(zhǔn)：以任務(wù)完成為核心
回到前文那位等待修復(fù)結(jié)果的開(kāi)發(fā)者，她需要的不是 Token，而是問(wèn)題修復(fù) bug。這就是智能體 AI 帶來(lái)的基礎(chǔ)設(shè)施架構(gòu)轉(zhuǎn)變。在提示詞驅(qū)動(dòng)的傳統(tǒng)問(wèn)答時(shí)代，模型性能是顯而易見(jiàn)的重心。在智能體時(shí)代，系統(tǒng)必須優(yōu)化全鏈路閉環(huán)：模型智能、內(nèi)存、工具、狀態(tài)、規(guī)則管理、執(zhí)行、驗(yàn)證與可觀測(cè)性。
下一代 AI 基礎(chǔ)設(shè)施的評(píng)判標(biāo)準(zhǔn)，將是它能否快速、準(zhǔn)確、安全、可觀測(cè)且高效地完成任務(wù)。在此背景下，Arm AGI CPU 為 AI 基礎(chǔ)設(shè)施建設(shè)者提供了部署 Arm 架構(gòu)算力的新選擇，用于承載編排與任務(wù)執(zhí)行等關(guān)鍵工作負(fù)載，幫助將模型輸出轉(zhuǎn)化為真正有價(jià)值的行動(dòng)。
