【導(dǎo)讀】云端AI時(shí)代已然落幕，邊緣AI憑借低延時(shí)、高隱私、低成本的核心優(yōu)勢(shì)，成為人工智能落地實(shí)體設(shè)備、融入工業(yè)與生活場(chǎng)景的核心趨勢(shì)。當(dāng)下邊緣AI的發(fā)展瓶頸，早已不再是模型訓(xùn)練能力，而是設(shè)備實(shí)時(shí)推理的硬件適配問題。本文結(jié)合意法半導(dǎo)體資深技術(shù)專家深度訪談，拆解邊緣AI從云端走向終端的產(chǎn)業(yè)底層邏輯，詳解芯片內(nèi)存架構(gòu)從傳統(tǒng)馮·諾依曼架構(gòu)到存內(nèi)計(jì)算的迭代路徑，分享意法半導(dǎo)體在存內(nèi)計(jì)算領(lǐng)域的十年技術(shù)沉淀與量產(chǎn)落地成果，并剖析物理AI、嵌入式AI及機(jī)器人產(chǎn)業(yè)的共性技術(shù)難題，揭秘前沿硬件架構(gòu)從實(shí)驗(yàn)室技術(shù)走向商業(yè)化量產(chǎn)的完整落地路徑。
本文與 ST專家Giuseppe Desoli 探討了以內(nèi)存為中心的芯片設(shè)計(jì)、存內(nèi)計(jì)算，以及在人工智能真正融入微控制器、傳感器或機(jī)器人靈巧手之前，芯片硬件層面需要做出哪些方面的改變。
Giuseppe Desoli博士
意法半導(dǎo)體公司院士、首席創(chuàng)新官，系統(tǒng)研究與應(yīng)用事業(yè)部總經(jīng)理兼部門副總裁
AI曾經(jīng)是運(yùn)行在云端的。為什么它必須走向邊緣端？
Giuseppe Desoli博士：因?yàn)楫a(chǎn)業(yè)經(jīng)濟(jì)邏輯已經(jīng)發(fā)生改變。多年來，AI 最大的難點(diǎn)在于模型訓(xùn)練。雖然訓(xùn)練成本高昂，但是模型訓(xùn)練僅需要在數(shù)據(jù)中心訓(xùn)練一次，訓(xùn)練好后的模型是可以多次反復(fù)使用的。
當(dāng)下的形勢(shì)已然不同。我們正看到系統(tǒng)需要連續(xù)推理并且需要持續(xù)感知并反應(yīng)的物理實(shí)體系統(tǒng)。在這兩類場(chǎng)景下，主要的消耗不再是模型訓(xùn)練，而是推理決策，即 AI 實(shí)際做出決策的時(shí)刻，推理運(yùn)算發(fā)生在數(shù)據(jù)被創(chuàng)建的時(shí)候。
在看到這一點(diǎn)后，邊緣 AI 的現(xiàn)實(shí)價(jià)值就不言而喻。那些需要毫秒級(jí)響應(yīng)的設(shè)備根本無法等到數(shù)據(jù)往返于云端和本地。家庭內(nèi)部設(shè)備也不應(yīng)該需要把視頻數(shù)據(jù)向外傳輸?shù)皆贫恕２⑶遥绻麄鞲衅鲾?shù)量達(dá)到成百上億個(gè)，并讓每個(gè)傳感器都依賴遠(yuǎn)程計(jì)算，那么推理成本將高得令人難以承受。
因此，延時(shí)、隱私和成本三大因素全都指向同一個(gè)方向：人工智能必須發(fā)生在數(shù)據(jù)產(chǎn)生時(shí)，靠近執(zhí)行器，并貼近現(xiàn)實(shí)世界環(huán)境。
您將這一重要趨勢(shì)概括為“從存儲(chǔ)向計(jì)算轉(zhuǎn)移”。落實(shí)到工程實(shí)踐層面，這該如何理解？
Giuseppe Desoli博士：在神經(jīng)網(wǎng)絡(luò)當(dāng)中，數(shù)據(jù)搬運(yùn)所消耗的能耗，往往遠(yuǎn)高于運(yùn)算本身。因此，真正的設(shè)計(jì)考量，不只是計(jì)算單元的算力有多強(qiáng)，而是數(shù)據(jù)需要移動(dòng)多遠(yuǎn)的距離。
我們可以將這一轉(zhuǎn)變概括為四個(gè)階段。首先是經(jīng)典的馮·諾依曼架構(gòu)，處理器與存儲(chǔ)器分開獨(dú)立存在，數(shù)據(jù)在兩者之間來回傳輸。第二階段是近存儲(chǔ)計(jì)算：將內(nèi)存與處理單元集成到同一顆芯片上。該方案能夠減少數(shù)據(jù)搬運(yùn)，同時(shí)提升帶寬。第三階段是基于 SRAM 的存內(nèi)計(jì)算。在該架構(gòu)下，核心數(shù)學(xué)運(yùn)算直接在存儲(chǔ)陣列內(nèi)部完成。第四階段是非易失性存內(nèi)計(jì)算。在此架構(gòu)內(nèi)，同一個(gè)高密度存儲(chǔ)器陣列既用于存儲(chǔ)模型參數(shù)，又用于執(zhí)行計(jì)算，無需移動(dòng)模型中的權(quán)重?cái)?shù)據(jù)。
這才是真正的變革。內(nèi)存不僅是存放數(shù)據(jù)的容器，本身也是計(jì)算單元的一部分。該理念正是我們架構(gòu)選型的核心。存內(nèi)計(jì)算的測(cè)試芯片至關(guān)重要，僅靠仿真模擬是遠(yuǎn)遠(yuǎn)不夠的。一套架構(gòu)只有真正直面硅片現(xiàn)實(shí)層面的各類問題，才算真正落地；這些現(xiàn)實(shí)問題包括器件工藝偏差、特性漂移、制造良率，以及編譯器配套支持。
意法半導(dǎo)體如今在存內(nèi)計(jì)算研究項(xiàng)目的進(jìn)展如何？
Giuseppe Desoli博士：我們已經(jīng)完成存內(nèi)計(jì)算的流片驗(yàn)證，并且開展相關(guān)工作已經(jīng)很多年。在ISSCC 2023(第70屆IEEE國際固態(tài)電路會(huì)議) 上我們展示了一種基于18nm FD SOI的全數(shù)據(jù)存內(nèi)計(jì)算加速器方案。在 4 比特精度下，該樣片的能達(dá)到40 310?TOPS/W的計(jì)算效率。最重要的并不是這個(gè)性能數(shù)字，而是隱藏在數(shù)字背后的工程能力。
首先，該設(shè)計(jì)采用多瓦片架構(gòu)，這意味著其高能效并不局限于單個(gè)實(shí)驗(yàn)室模塊，而是擴(kuò)展到尺寸更大的、更具備實(shí)用價(jià)值的加速器。其次，這是數(shù)字架構(gòu)。它可以輸出準(zhǔn)確、可復(fù)現(xiàn)的運(yùn)算結(jié)果，并且能夠走標(biāo)準(zhǔn)化芯片設(shè)計(jì)、測(cè)試以及產(chǎn)品開發(fā)流程，這一點(diǎn)也使該樣片適合實(shí)際芯片制造。
這一成果并非一蹴而就，是多年技術(shù)積累的結(jié)果。最早可以追溯到2017年流片驗(yàn)證的早期硅樣片，之后完成平臺(tái)與軟件工具鏈開發(fā)，讓架構(gòu)具備可編程的能力。這條技術(shù)路線最終催生了 Neural ART 系列 NPU 加速器，其中第一代就搭載在意法半導(dǎo)體首款內(nèi)置硬件 AI 加速器的 STM32微控制器STM32N6 上。
在ST，存內(nèi)計(jì)算的前沿研究與產(chǎn)品規(guī)劃并非相互脫節(jié)，而是持續(xù)近十年的長(zhǎng)期研發(fā)項(xiàng)目。
物理 AI，嵌入式AI，機(jī)器人產(chǎn)業(yè)，面臨不同的問題還是同一問題？
Giuseppe Desoli博士：它們彼此高度相關(guān)，但是因?yàn)闀r(shí)機(jī)至關(guān)重要，挑戰(zhàn)變得更難。物理 AI 系統(tǒng)必須實(shí)時(shí)持續(xù)感知，理解、決策、行動(dòng)。要想在一個(gè)瞬息萬變、不可預(yù)測(cè)的環(huán)境內(nèi)正常完成這個(gè)閉環(huán)，必須依靠高速本地推理，不能過度依賴數(shù)據(jù)發(fā)到云端，然后等待云端應(yīng)答。
這個(gè)改變也是邊緣計(jì)算可以做到的。這類系統(tǒng)需要在設(shè)備端感知場(chǎng)景，融合不同傳感器的數(shù)據(jù)，保護(hù)數(shù)據(jù)隱私，并且必要時(shí)，支持類似生物反射一般的瞬時(shí)響應(yīng)。
這也是機(jī)器人技術(shù)正在發(fā)生變革的原因之一。早期機(jī)器人系統(tǒng)往往依靠精心編寫的規(guī)則執(zhí)行特定的任務(wù)，基于規(guī)則的解決方案在可控環(huán)境中效果良好，但在情況瞬息萬變的現(xiàn)實(shí)世界中，表現(xiàn)就會(huì)大打折扣并且差強(qiáng)人意。
因此，可以取而代之的是一種集成度更高的一體化方法，用一個(gè)模型將感知、推理和控制三個(gè)環(huán)節(jié)更直接地連接起來，使機(jī)器能夠更輕松地處理新對(duì)象和不熟悉的任務(wù)。
同時(shí)，模型本身也在持續(xù)演進(jìn)，正朝著產(chǎn)生平順性和連續(xù)性更好的運(yùn)動(dòng)軌跡的方向發(fā)展。這對(duì)于實(shí)體設(shè)備而言是利好，因?yàn)殡姍C(jī)與執(zhí)行機(jī)構(gòu)需要平滑、高頻更新的控制信號(hào)才能良好工作。
加上人工智能模型的需求與邊緣設(shè)備的能力之間的差距正在不斷縮小，這意味著邊緣AI已經(jīng)貌似一個(gè)現(xiàn)實(shí)可行的設(shè)計(jì)目標(biāo)，而不再是遙不可及的構(gòu)想。
這正是以內(nèi)存為核心的架構(gòu)設(shè)計(jì)發(fā)揮關(guān)鍵作用之處。這類系統(tǒng)必須持續(xù)感知不斷變化的外部環(huán)境，同時(shí)實(shí)時(shí)決策。因此，場(chǎng)景感知能力是不能后期打補(bǔ)丁，而是從設(shè)計(jì)之初就走好存算協(xié)同之路。
探索性前沿架構(gòu)如何轉(zhuǎn)化為客戶可采購的量產(chǎn)產(chǎn)品？
Giuseppe Desoli博士：主要是通過工具完成產(chǎn)品轉(zhuǎn)化。新硬件如果不能被開發(fā)者實(shí)際使用，則算不上產(chǎn)品。因此，每一代加速器也都有配套的適配通用開發(fā)流程的編譯器和量化工具。
其中就包括ST Edge AI邊緣 AI 工具和STM32 AI 生態(tài)。開發(fā)者從標(biāo)準(zhǔn)學(xué)習(xí)框架導(dǎo)出訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，再將其導(dǎo)入ST Edge AI邊緣 AI工具內(nèi)，轉(zhuǎn)換為可在目標(biāo)設(shè)備運(yùn)行的代碼。
我們大量對(duì)外發(fā)表的研究成果，恰恰集中在這一關(guān)注度低卻不可或缺的層面：將神經(jīng)網(wǎng)絡(luò)映射到硬件模塊，并探索模型層與層之間的編譯優(yōu)化。
部分研發(fā)工作是采取產(chǎn)學(xué)研開放式協(xié)作模式。我們與多所高校、蘇黎世 IBM 研究院保持長(zhǎng)期合作關(guān)系，最近我們還與新加坡國立大學(xué)建立了一個(gè)企業(yè)聯(lián)合實(shí)驗(yàn)室。
以內(nèi)存為中心的計(jì)算技術(shù)覆蓋面廣泛，意義重大，僅一家企單獨(dú)行動(dòng)是無法搞定的。對(duì)于決定今后十年發(fā)展方向的課題，目前在各類學(xué)術(shù)會(huì)議上仍存爭(zhēng)議，尚無定論。
結(jié)論
未來十年邊緣 AI 的競(jìng)爭(zhēng)核心不再是算力堆砌，而是**內(nèi)存架構(gòu)革新**。產(chǎn)業(yè)重心已由云端訓(xùn)練轉(zhuǎn)向邊緣實(shí)時(shí)推理，延遲、隱私與規(guī)模化成本，正推動(dòng) AI 算力全面下沉至終端場(chǎng)景。傳統(tǒng)馮?諾依曼架構(gòu)因數(shù)據(jù)搬運(yùn)開銷大、響應(yīng)慢，難以滿足物理 AI、機(jī)器人、智能傳感的實(shí)時(shí)閉環(huán)需求。行業(yè)演進(jìn)明確指向**存算一體化架構(gòu)**，通過存儲(chǔ)與計(jì)算融合，從硬件底層提升推理效率、降低能耗，支撐終端高頻、平滑的感知與控制能力。
存內(nèi)計(jì)算的商業(yè)化落地，依賴長(zhǎng)期工藝迭代、硬件驗(yàn)證、軟件工具鏈與生態(tài)協(xié)同。意法半導(dǎo)體憑借多年技術(shù)積累與產(chǎn)學(xué)研合作，完成了前沿架構(gòu)從研發(fā)到量產(chǎn)的完整落地。整體來看，存算一體將成為驅(qū)動(dòng)邊緣 AI、嵌入式與機(jī)器人產(chǎn)業(yè)升級(jí)的核心抓手，未來行業(yè)迭代與市場(chǎng)競(jìng)爭(zhēng)將圍繞**內(nèi)存架構(gòu)優(yōu)化、軟硬件協(xié)同、開放生態(tài)共建**持續(xù)展開。
