重寫手機AI安全邊界！首個MoAI攻防SoK，系統(tǒng)梳理三大安全支柱

新智元報道

過去很長一段時間里，移動AI服務(wù)大多是一個「云端故事」：手機采集語音、圖像、文本、位置和上下文，把請求傳到服務(wù)器，等云端大模型完成推理，再把結(jié)果顯示給用戶。

這套模式簡單、可擴展，也方便服務(wù)商集中管理模型。但在現(xiàn)實場景里，它天然有三重代價：敏感數(shù)據(jù)要離開設(shè)備，網(wǎng)絡(luò)傳輸會帶來延遲，沒網(wǎng)或弱網(wǎng)時智能功能直接降級。

現(xiàn)在，硬件升級和模型優(yōu)化給出了另一條路。

墨爾本大學、RMIT大學和南洋理工大學聯(lián)合發(fā)布的最新研究論文指出，Google Tensor、Apple Neural Engine、Qualcomm Hexagon 等移動端AI硬件，以及面向本地部署的輕量化、多模態(tài)、生成式和推理模型，正在把越來越多AI能力推向終端設(shè)備。

于是，Mobile On-device AI（MoAI）正成為移動智能服務(wù)的重要范式：AI模型不再需要部署在云上，而是以LiteRT/TFLite、Core ML、ExecuTorch、ONNX等形式，真實地存儲、加載、運行在用戶手機里。

對用戶來說，這意味著更低延遲、更強隱私保護，以及離線可用的AI功能。對開發(fā)者來說，這意味著模型離用戶更近，體驗更順滑。但對安全研究者來說，這也意味著一個更復雜的問題：當模型部署在用戶設(shè)備上，誰來保護模型本身？誰來保證輸入可信？誰來約束運行環(huán)境？

當模型部署在手機里，各種安全風險也隨之而來

在傳統(tǒng)云端AI系統(tǒng)里，模型通常位于服務(wù)商可控的數(shù)據(jù)中心，用戶設(shè)備更像一個「輕客戶端」。攻擊者很難直接接觸模型參數(shù)、模型結(jié)構(gòu)和運行時狀態(tài)。

但MoAI改變了這條邊界。為了實現(xiàn)本地推理，模型文件、推理框架、運行時中間狀態(tài)、硬件加速路徑都要出現(xiàn)在終端設(shè)備上。用戶設(shè)備不再只是輸入輸出窗口，而是同時承載輸入接口、模型工件、運行時執(zhí)行和硬件隔離。

這帶來一個核心矛盾：MoAI把數(shù)據(jù)留在本地，提升了隱私；但它也把模型放到本地，擴大了模型和推理過程被接觸、分析、篡改的機會。

論文給出的威脅非常直觀：攻擊者可以通過反編譯、設(shè)備端內(nèi)存dump、運行時hook等方式，提取端側(cè)模型和推理相關(guān)信息。一旦模型被取出，后續(xù)就可能出現(xiàn)對抗攻擊、后門注入、參數(shù)級篡改、模型竊取，甚至專門讓手機多耗電、多延遲的能耗攻擊。

論文鏈接：https://arxiv.org/abs/2607.00362

項目資源：https://github.com/Jinxhy/Awesome-MoAI-Security

以一個真實世界場景為例，某交通駕駛助手 App 將識別模型部署在手機端。攻擊者可以先通過逆向分析提取模型，隨后向模型中植入后門并設(shè)計對應(yīng)觸發(fā)器，使其在真實道路環(huán)境中對特定交通標志產(chǎn)生錯誤識別，例如將停車標志誤判為可繼續(xù)通行或加速提示。此時，攻擊帶來的風險已不再局限于模型知識產(chǎn)權(quán)泄露，而是進一步影響用戶安全和現(xiàn)實世界行為。

這篇SoK不是「單點攻擊論文」

這篇論文的定位是 SoK，即 Systematization of Knowledge。它并不是提出一個新的單點攻擊，也不是發(fā)布一個單一防御工具，而是試圖回答一個更基礎(chǔ)的問題：MoAI安全到底應(yīng)該怎么被定義、拆解和研究？

作者指出，已有綜述更多關(guān)注 Edge AI、TinyML，或MoAI中的模型竊取問題。但MoAI并不等同于「移動設(shè)備上跑模型」，也不只是「模型文件會被偷」。它是傳統(tǒng)移動軟件組件與本地神經(jīng)網(wǎng)絡(luò)組件的組合體，攻擊面貫穿用戶輸入、模型工件、運行時和硬件環(huán)境。

因此，論文從移動系統(tǒng)整體視角出發(fā)，給出了一個統(tǒng)一框架：先把MoAI系統(tǒng)拆成四層，再定義三大安全支柱，隨后分別梳理攻擊圖譜、防御圖譜、跨支柱關(guān)系、開放問題與未來方向。

這也是這篇論文最像「地圖」的地方：它不只是告訴你哪里已經(jīng)有人打過仗，更重要的是告訴你哪些地方還沒有被真正守住。

四層架構(gòu)

論文首先把MoAI系統(tǒng)拆解為四個層次。

第一層是輸入接口層（Input Interface Layer）。這里包括攝像頭、麥克風、用戶交互、App上下文、平臺API、數(shù)據(jù)格式適配和預(yù)處理流程。模型最終看到的不是「現(xiàn)實世界」，而是這一層處理后的張量、token或結(jié)構(gòu)化輸入。

第二層是AI模型工件層（AI Model Artifact Layer）。這是MoAI的核心資產(chǎn)，包括模型結(jié)構(gòu)、訓練權(quán)重、算子、輸入輸出規(guī)格、標簽、詞表、tokenizer等。模型經(jīng)過量化、剪枝、聚類或格式轉(zhuǎn)換后，被打包為移動端可部署工件。

第三層是運行時執(zhí)行層（Runtime Execution Layer）。這一層負責把模型工件真正跑起來：加載模型、準備輸入輸出張量、管理中間buffer、調(diào)度CPU/GPU/NPU/Neural Engine等后端，并根據(jù)內(nèi)存、兼容性和算子支持作出執(zhí)行決策。

第四層是硬件隔離層（Hardware Isolation Layer）。MoAI可以在普通移動OS環(huán)境中執(zhí)行，也可能部分或全部進入TEE、TrustZone、pKVM等硬件支持的隔離環(huán)境。它決定了模型權(quán)重、中間張量和敏感推理狀態(tài)是否會暴露給不可信組件。

這個四層拆解很關(guān)鍵。因為MoAI的安全問題并不只發(fā)生在「模型文件」上：輸入可能被污染，預(yù)處理可能被篡改，模型可能被偷走，運行時可能泄露中間狀態(tài)，硬件加速路徑也可能成為側(cè)信道或可用性攻擊的入口。

三大安全支柱

在四層架構(gòu)之上，論文進一步提出三大安全支柱。用更直白的話說，MoAI安全要回答三個問題：模型看到的輸入可信嗎？模型本身還可靠嗎？模型運行的地方安全嗎？

第一根支柱，是用戶可控輸入完整性（User-governed Input Integrity）。手機上的輸入來自用戶、傳感器和App上下文。攻擊者可能操控攝像頭畫面、注入惡意噪音、污染上下文，或篡改預(yù)處理邏輯。保護這一支柱，就是保護「模型看到什么」。

第二根支柱，是設(shè)備駐留模型安全性（Device-resident Model Security）。端側(cè)模型被發(fā)布到用戶設(shè)備后，已經(jīng)離開開發(fā)者可控邊界。模型結(jié)構(gòu)、權(quán)重、參數(shù)、執(zhí)行圖都可能被定位、提取、修改或復用。保護這一支柱，就是保護「模型自己是誰」。

第三根支柱，是設(shè)備原生環(huán)境約束（Device-native Environment Confinement）。模型推理發(fā)生在移動OS、AI runtime、內(nèi)存子系統(tǒng)和硬件加速器共同組成的環(huán)境里。如果隔離失敗，解密后的模型buffer、中間張量、運行時狀態(tài)都可能被觀察或操控。保護這一支柱，就是保護「模型在哪里跑」。

這三根支柱讓MoAI安全從「模型保護」升級為「端側(cè)智能鏈路治理」。對開發(fā)者來說，它提醒我們：僅僅給模型文件加密并不夠，輸入、運行時和硬件隔離同樣是安全邊界的一部分。

五類攻擊

攻擊方面，論文按照攻擊者能力和操控位置，把MoAI威脅模型分為輸入級、模型級和執(zhí)行級三類，并系統(tǒng)整理出五類典型攻擊。

第一類是對抗攻擊。攻擊者利用端側(cè)模型可被分析、相似模型可被復用、梯度可被重構(gòu)或預(yù)處理可被操控等特征，構(gòu)造讓模型輸出錯誤結(jié)果的輸入。與云端黑盒API不同，端側(cè)部署讓攻擊者更容易接觸模型和預(yù)處理細節(jié)。

第二類是后門攻擊。攻擊者希望讓模型在正常輸入下表現(xiàn)良好，但在特定觸發(fā)器出現(xiàn)時輸出攻擊者指定結(jié)果。端側(cè)場景中的后門不來自訓練階段，而是通過payload注入、量化過程或圖像隱寫進入模型。

第三類是對抗權(quán)重攻擊。這類攻擊直接修改模型參數(shù)，讓模型行為偏移，同時盡量保持普通輸入上的正常性能。論文提到的TYPHON代表了這類新興方向：攻擊者不再只騙輸入，而是直接改變模型理解。

第四類是模型竊取攻擊。模型被存儲在設(shè)備上，天然引發(fā)知識產(chǎn)權(quán)和下游濫用風險。攻擊者可以通過靜態(tài)分析查找 .tflite、.pb、.mlmodel 等文件，通過動態(tài)分析在模型加載或解密后從內(nèi)存中提取模型，也可能利用功耗、緩存等側(cè)信道推斷模型結(jié)構(gòu)。

第五類是能耗時延攻擊。這類攻擊不一定讓模型預(yù)測變錯，而是讓端側(cè)推理變慢、變耗電，破壞可用性。在資源受限的手機上，延遲、功耗和穩(wěn)定性本身就是安全目標。

這五類攻擊共同說明，MoAI的風險不是一個點，而是一條鏈：從輸入到模型，從模型到運行時，從運行時到硬件。

四類防御

防御方面，論文把MoAI安全目標建立在傳統(tǒng) CIA 三元組之上：機密性、完整性、可用性。除此之外，作者還加入了一個很適合端側(cè)場景的新目標：部署后問責性（Post-deployment Accountability）。

為什么需要「部署后問責」？因為MoAI模型一旦發(fā)布到用戶設(shè)備上，模型可能被提取、復制、轉(zhuǎn)換、再利用。即使事前防護失敗，開發(fā)者也需要在事后證明模型所有權(quán)，追蹤未經(jīng)授權(quán)的復用。

論文總結(jié)的四類防御，可以粗略概括為四個字：擋、綁、隔、追責。

模型混淆，是「擋」。它通過重命名、參數(shù)封裝、結(jié)構(gòu)變換、算子耦合、原生代碼生成或硬件結(jié)合等方法，提升模型被定位、理解和恢復的難度。

模型授權(quán)，是「綁」。它把模型的正確推理能力與特定App、簽名、密鑰或完整性驗證綁定在一起。模型即便被偷走，沒有正確授權(quán)上下文也無法正常使用；模型被篡改，也會在推理前被發(fā)現(xiàn)。

TEE，是「隔」。它把全部推理、部分關(guān)鍵層，或敏感模型組件放入硬件隔離環(huán)境中執(zhí)行，試圖讓普通OS、惡意App和攻擊者無法觀察到模型權(quán)重與中間狀態(tài)。

模型水印，是「追責」。它并不一定阻止模型被偷，而是在模型被復制或復用后，通過黑盒查詢或特定觸發(fā)行為證明模型歸屬。對于端側(cè)模型IP保護來說，這是一種「事后證據(jù)」。

但論文也強調(diào)，防御不是免費的，因為各類機制都會帶來一定的性能消耗。 MoAI安全的難點，正是在安全收益、性能開銷和實際可部署性之間找到平衡。

9個開放問題

這篇SoK最值得關(guān)注的部分，是它沒有把MoAI安全寫成一個「已有答案」的領(lǐng)域。相反，作者把大量研究從論文實驗拉回真實手機部署場景，指出了九個開放問題。

攻擊側(cè)的核心問題在于：很多攻擊在實驗室條件下成立，但要真正部署到用戶設(shè)備上，需要強假設(shè)。比如你要操控用戶輸入、重新打包App、精準定位關(guān)鍵權(quán)重、繞過定制加密，或者讓某種能耗攻擊跨硬件棧穩(wěn)定生效，這些都非常復雜并具有挑戰(zhàn)。

防御側(cè)的核心問題在于：很多防護看似保護了模型文件，卻可能在授權(quán)推理、客戶端執(zhí)行、運行時恢復、TEE集成或模型再部署過程中暴露缺口。MoAI防御不只要「能防」，還要能在真實移動生態(tài)中部署、升級、兼容和驗證。

未來方向

論文最后把未來安全研究方向聚焦在三個正在發(fā)生的變化上。

第一，是端側(cè)訓練（On-device Training）。現(xiàn)有MoAI安全研究大多關(guān)注只讀、只推理的已部署模型。但未來，模型可能在用戶設(shè)備上繼續(xù)微調(diào)、個性化更新。這樣一來，梯度、參數(shù)更新、訓練樣本和用戶數(shù)據(jù)都會在運行時暴露，攻擊面會從「推理安全」擴展到「訓練安全」。

第二，是端側(cè)生成式AI（On-device GenAI）。過去端側(cè)AI安全研究大量集中在計算機視覺和圖像分類任務(wù)上。隨著手機端LLM和圖像生成模型逐漸可用，安全問題將進入提示詞注入、越獄、敏感信息泄露、幻覺輸出和本地上下文濫用等新領(lǐng)域。

第三，是Agentic MoAI系統(tǒng)。這可能是最危險、也最值得研究的方向。未來手機里的AI不只是被動回答問題，而是可以讀取App上下文、訪問傳感器、調(diào)用系統(tǒng)服務(wù)、跨App執(zhí)行操作，甚至維護記憶和寫計劃。

一旦MoAI進入Agent形態(tài)，安全問題就不再只是「prompt能不能騙模型」，而是「上下文到行動」的整條鏈路能不能被保護。論文提出，未來需要建立移動上下文來源追蹤，區(qū)分可信用戶意圖與不可信環(huán)境內(nèi)容，把工具和API調(diào)用綁定到任務(wù)級權(quán)限，并為敏感操作加入確認、回滾、審計機制。換句話說，Agentic MoAI時代的安全，不是給模型多加幾條規(guī)則，而是給手機里的AI執(zhí)行能力建立一套操作系統(tǒng)級、應(yīng)用級和用戶級共同參與的治理機制。

結(jié)語

MoAI的出現(xiàn)，本質(zhì)上是體驗、隱私和計算能力共同推動的結(jié)果。它讓AI不必永遠依賴云端，也讓手機從「智能服務(wù)入口」變成「智能服務(wù)發(fā)生地」。

但這也意味著，過去由云端數(shù)據(jù)中心承擔的安全邊界，被重新切分到用戶設(shè)備、App、模型文件、AI runtime、移動OS、硬件加速器和用戶上下文之間。邊界越分散，默認信任就越危險。

這篇SoK的價值不在于宣布MoAI已經(jīng)安全，也不在于制造對端側(cè)AI的恐慌。它真正做的，是把這個新領(lǐng)域的戰(zhàn)場畫出來：哪里是核心資產(chǎn)，哪里是攻擊入口，哪里已有防御，哪里仍是空白。

當AI從云端走向每一臺手機，安全研究也必須從「保護一個遠程模型服務(wù)」轉(zhuǎn)向「治理一條端側(cè)智能鏈路」。這可能正是下一代移動AI系統(tǒng)能否真正可信的起點。

參考資料：

https://arxiv.org/abs/2607.00362

編輯：LRST