ARC-AGI-3近被完美攻破，這個Harness能讓AI掌握物理學家思維

編輯｜Panda

7 月 16 日，伯克利博士后 Haven Feng 的一條推文火了。原因無他，結果很震撼：在 ARC-AGI-3 Public 集上，一套名為[schema]的智能體框架，與 Claude Opus 4.8、Fable 5 組合后達到98.98%的 RHAE；換成 GPT-5.6 Sol 組合，分數也有95.35%。

怎么做到的？Feng 的推文表示：「[schema] 讓 LLM 像物理學家一樣思考。」

這條推文很快被轉到 55 萬次瀏覽。

要理解這些成果的分量，得先看它站在什么位置上。ARC-AGI-3 今年 3 月上線時，最強的前沿智能體只拿到 0.51%。到 7 月，官方驗證過的最好成績是 GPT-5.6 Sol 在最高推理檔下的 7.78%（半私有集），公開集也才 13.33%。一個跑了近半年、被 ARC-AGI 和 Keras 創造者 Fran?ois Chollet 判斷「大約還能撐一年」才會飽和的基準，被幾乎打穿了。

真正值得注意的不是分數本身，而是它來自哪里：模型權重一個字節都沒動，變的只是模型外面那層「殼」。也就是當前大熱的Harness，它把「觀察、提出假說、設計實驗、修正規則、規劃執行」串成不可跳過的閉環，并讓模型把理解寫成可以運行、回放和修改的「世界程序」。拉開差距的，不只是模型會不會推理，更是 harness 能否把推理變成一套可驗證的行動流程。

而就在整個 AI 圈還在比拼誰的模型更大、推理更強時，[schema] 給出了一個不太一樣的答案：有時候，問題不在模型，而在你怎么用它。

[schema] 是什么？

首先，先簡單介紹一下ARC-AGI-3。

這是一個「不告訴你規則」的游戲基準。它給智能體一塊 64×64 的網格、16 種顏色、幾個合法操作，然后什么都不說：沒有物體清單，沒有目標說明，沒有獎勵信號。智能體只能一邊玩一邊猜，包括猜網格里哪些像素是「玩家」、哪些是「墻」，猜某個操作會讓世界怎么變，猜什么算「過關」。

而[schema]則是套在大模型外面的一層 harness。它不重新訓練模型，而是逼著模型用一種特定的方式工作：把每一關的機制寫成一段可以運行的程序，拿這段程序去對照歷史記錄做驗證，再在程序里搜索出通關路徑。

視頻鏈接：
https://mp.weixin.qq.com/s/BbOBM0A-znQtVSDRcDK6zw

[schema] 來自 Impossible Research、加州大學伯克利分校與卡內基梅隆大學研究者的合作。名字借自康德的「圖式」概念，意指連接抽象概念與具體感知的一套構造規則。落到工程上，它是一層 harness，也就是包裹在大模型外部的工作框架。

網友：印象深刻，也有人喊「作弊」

結果一出，討論熱烈。

有人直接被數字震住。一位網友感嘆，公開集從 7.8% 跳到 99% 是「實打實的一大步」。也有人開始想更遠的問題：這套外殼到底跟什么樣的模型能力最匹配？換個模型還成立嗎？

但質疑同樣不少。有人半開玩笑地貼出一段偽代碼，調侃道：「我們造了個能下棋的大模型。」「什么突破？」「我把棋局輸進去，往后一站，看它算。」——言下之意，真正干活的是搜索算法，不是模型。還有人更直接：「有沒有可能，這里面有點作弊？」

最有分量的評價來自 ARC Prize 總裁 Greg Kamradt。他一方面肯定這項工作，說核心思路他很欣賞：把世界模型的隱含表示寫成程序而非向量，于是它可以被讀、被 diff、被逐條回放驗證，還能當模擬器來免費搜索。「這講得通，我喜歡。」

https://x.com/GregKamradt/status/2077949388673151332

另一方面，他也點出幾處存疑。

其一，兩個分數都用了一條固定的「兜底規則」：先跑 Opus 4.8 和 Sol xhigh，凡是單局低于 80 分的，再換 Fable 5 和 Sol max 重跑一遍，取兩者里的高分。在他看來，ARC-AGI-3 的精神是讓智能體在毫無先驗的情況下面對游戲，一旦你根據「哪局跑得好、哪局跑得差」來切換模型，就等于把人和環境的信息注入了流程。

其二，官方文檔里出現了「玩家」「墻」「計數器」這類詞。如果這些概念是人告訴模型的，那所謂的成績就同時來自模型和人，「而我們早就知道人類得分很高，那就沒那么有意思了」。

Kamradt 也強調，98.98% 和 95.35% 都是團隊在公開集上的自報告結果，ARC Prize 尚未獨立復核。[schema] 團隊自己在博客里也主動寫明了這一點。

核心：把世界模型寫成一段可以運行、可以證偽的程序

現在進入正題：[schema] 到底怎么工作的？

博客地址：
https://schema-harness.github.io/

一、像物理學家一樣，先決定「定律是關于什么的」

物理學家寫下一條定律之前，得先決定這條定律說的是什么：觀測里哪些部分是物體？哪些屬性定義了狀態？想清楚這些，才談得上問「狀態怎么變」。

[schema] 把這件事拆成兩個問題。

• 狀態落地（state grounding）：把原始像素變成能追蹤的物體、變量和關系。
• 機制發現（mechanism discovery）：找出這些狀態在一次操作下如何改變，并把規則寫成一段可運行的程序。

關鍵在于，這兩個問題不能分開解。一個乍看合理的狀態表示，可能在后續實驗里露餡，因為你找不到任何一條一致的規則能解釋接下來發生的事。

[schema] 的做法是把狀態表示和轉移規則編碼進同一段可編輯的程序：一旦某個觀測跟預測矛盾，智能體既可以改規則，也可以改「狀態到底是什么」，再回過頭調整另一半，讓整個模型重新自洽。

團隊舉了個漂亮的例子：狹義相對論的誕生。邁克爾遜-莫雷實驗測不到光賴以傳播的「以太」時，洛倫茲選了第一條路：保留以太，用收縮假設去打補丁，硬把零結果吸收掉。愛因斯坦選了第二條：干脆把以太從「狀態」里刪掉，讓同時性變成相對于參考系的，于是得到了一套簡潔的運動電動力學。當預測反復失敗，物理學家改的不只是定律，而是「狀態是什么」。

二、把世界模型當程序，于是它可讀、可驗、可搜

這是 [schema] 最核心的一步，也是 Kamradt 最欣賞的地方。

在大多數系統里，模型對世界的理解是一個向量，藏在網絡內部，看不見摸不著。[schema] 反其道而行：它把這個「潛在世界表示」寫成一段代碼。好處有三。

• 它是可解釋的：一個你能讀、能比對差異的文本文件。
• 它是可驗證的：可以拿著歷史記錄一條一條回放，逐個信念地檢查對不對。
• 它是可搜索的：一段程序本身就是一個模擬器，在里面做規劃不花任何真實操作。

三、外循環：觀察、推演、執行、記錄

[schema] 讓智能體對著游戲跑一個四階段循環：觀察 → 推演 → 執行 → 記錄。

記錄這一環是不可篡改的交互歷史。智能體可以隨時修改自己的假設和筆記，但改不了它收到過的觀測和做過的操作。每一輪推演里，智能體把當前理論更新成一段 step(state, action) 程序，用 run_backtest 拿它去對照全部歷史記錄，哪里對不上就定位錯誤，然后用 run_bfs 在模型里搜出一條路徑，把結論寫進 notes.md。這些操作全都不碰真實環境，只有 commit_actions 才會真的把操作發給游戲。

這里有一條硬規矩：現實的優先級高于模型。執行過程中，每一次真實的狀態轉移都會拿去跟理論預測比對。只要有一處對不上，當前計劃立刻中止，智能體帶著這個「反例」回到推演，必須先修好模型才能重新規劃。

還有個容易被忽略的細節：智能體不只為了通關而行動，它也會主動做實驗。當好幾條候選規則都能解釋歷史時，它會去找一個「能把它們區分開」的操作；各條規則對這個操作的預測不一樣，做一次就知道誰對。這種有針對性的試探本身也很省，因為 RHAE 對多余操作施加的是平方級懲罰，最好的實驗就是用最少的真實交互解決最多的不確定性。

四、數字到底說了什么

得先搞清楚 RHAE 怎么算。它比較的是智能體和「首次接觸的人類基線」各用了多少操作，單關得分是（人類操作數 ÷ 智能體操作數）的平方，上限 1.15。越靠后的關權重越高，且只有通關全部關卡才可能拿到滿分。所以 98.98% 是一個把完成度和操作效率揉在一起的綜合指標。

因為比值被平方了，多走冤枉路的代價非常大。團隊給了個直觀對比：智能體 A 用 785 步打完全部 7 關，逼近人類的 776 步，拿到 97.7%；智能體 B 花了 1591 步、是人類的 2.7 倍，還卡在第 6 關沒打完，最終得分不到 14%。

真正干凈的對照來自 Claude 這一行。同樣是 Opus 4.8 加 Fable 5 的組合，把 Claude Code 的通用外殼當基線，只拿到 42.83%；換成 [schema]，同一對模型沖到 98.98%，提升 56.15 個百分點。變量只有外殼，模型沒動。

至于那條從 13.33% 到 95.35% 的巨大落差，團隊自己也說了：這不是一場對等的 harness 對比，Sol max 的 13.33% 是官方在極簡外殼下報的最好單變體成績，兩者不在一個口徑上，只能算作背景參照。

寫出程序之后，模型能少走多少彎路

團隊分析發現，在 25 個游戲中，有 14 個游戲被模型誘導出能精確復現歷史的程序世界模型。在這些游戲里，智能體的實際動作數比人類基準少 1.6 至 5 倍。原因并不神秘：發現機制需要付一次真實交互成本；一旦 step() 和 is_goal() 經驗證，后續關卡的規劃就能在模擬器內完成。

一個極端案例是 M0R0 的第 4 關。團隊稱，智能體用了 42 次動作，人類基準是 500 次。這里的「省」不意味著模型從一開始就知道答案，而是它把前幾關找到的機制保留下來，之后只需重新計算路線。可遷移的不是某個具體動作序列，而是解釋這些動作為何有效的程序。

另一個對比也很能說明問題。在 FT09 游戲中，Fable 5 起初把一個棋盤樣圖案視為不可點擊的裝飾。當前目標邏輯看似已經滿足，關卡卻不推進。它于是換了一個更基礎的問題：這個「提示」本身會不會就是可操作對象？一次探測揭示，這是類似「熄燈游戲」的十字按鈕，會翻轉自身及上下左右。Fable 隨即把機制編碼，11 步后過關，下一關只用了 13 步。

同在 Schema 框架里的 Opus 4.8 最終也發現了同一規則，但它先在原有表示中反復修補目標狀態，約多花 240 次動作才去點擊那個圖案。兩個模型都能寫出正確程序，差別不在最后能否表達規則，而在何時懷疑自己的表示、如何挑選最能區分假設的實驗。框架降低了「用理論」的成本，底座模型決定了「發現理論」的成本。

結語：這是起點，不是終點

有一點需要冷靜。[schema] 的所有數字都測在 25 個公開游戲上。而 ARC-AGI-3 的公開集，按官方說法本就比私有集容易得多，官方也從不在正式榜單上報告任何系統的公開集分數。Sol max 那唯一一個跨集校準點（公開 13.33% 對半私有 7.78%）恰恰說明，公開集上接近滿分，不代表半私有集上也接近滿分。98.98% 在半私有集上對應到什么，在真正測出來之前，無人知曉。

但拋開分數的口徑之爭，[schema] 指向的東西是清楚的：讓模型把對世界的理解顯式地寫成可運行、可證偽的程序，再逼它用行動去做實驗、拿現實去否證假設。這套「分析-綜合」的循環，本質上就是科學方法本身。

團隊把打穿公開集稱作「一個新的開始」，而非終點。他們真正想探索的，是把「機制發現」當成一種通用能力：在遠比 64×64 網格更豐富的環境里，通過行動與感知的循環，去錨定一個世界的因果結構。ARC-AGI-3 只是第一塊試驗田。

更多詳情請訪問原博客。