無需視覺 tokenizer，北大PRA解鎖自回歸圖像生成潛力，135M模型性能反超1.9B基線

過去幾年，擴散模型幾乎定義了高質量圖像生成：從隨機噪聲出發，經過多輪迭代，逐步 “雕刻” 出一張圖像。但隨著大語言模型席卷人工智能領域，另一條路線正迅速走到舞臺中央 —— 圖像，能否也像語言一樣，通過自回歸方式逐步生成？如果圖像也能沿用同一套建模邏輯，視覺生成將更容易接入現有大模型體系，語言、圖像乃至更多模態，也可能由此共享更加一致的模型架構與訓練范式。

而在圖像自回歸的不同路線中，直接建模原始像素（pixel space) 是最徹底的一種。它繞過額外的視覺 tokenizer，不再需要先將圖像壓縮成離散 token，也減少了編碼、量化帶來的信息損失與系統割裂。

然而，pixel-space AR 長期面臨生成質量不佳的問題。來自北京大學和深勢科技的研究者通過系統實驗分析了制約其生成效果的瓶頸，并基于此提出了 Parallel Rollout Approximation（PRA）。在 ImageNet-1K 256×256 類條件生成任務上，135M 參數的 PRA-Small 已超過此前十億參數級別的 pixel-space AR 模型；511M 參數的 PRA-Large 進一步達到 FID 1.94，刷新了 pixel-space AR 圖像生成的性能水平。

• 論文標題：Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation
• 論文鏈接：https://arxiv.org/abs/2606.27978
• 代碼鏈接：https://github.com/MangataX/PRA
• 作者：Jiayi Xu、Di He、Guolin Ke
• 機構：北京大學、深勢科技（DP Technology）

圖 1：PRA 在更小參數規模下顯著降低 FID，并展示 PRA-Large 生成樣例。

Pixel-space AR 難在哪里？

在 pixel-space AR 中，每個 pixel patch 都具有雙重角色：它既是當前步驟需要生成的目標，也是后續步驟依賴的上下文輸入。因此，pixel-space AR 的困難也可以從兩個方向拆解：作為輸出，高維連續 pixel patch 本身是否難以生成；作為輸入，前面生成的 patch 一旦帶有誤差，是否會在后續自回歸過程中繼續傳播。作者的診斷實驗正是圍繞這兩個問題展開。

在輸出端，作者設計了一組對比診斷實驗：同樣在 pixel-space 下，將 AR 模型與 diffusion 模型 JiT 放在相同設置下對比，并控制自回歸序列長度不變，觀察 token 維度變化帶來的影響。結果顯示，當 token 維度較低時，AR 與 JiT 的差距并不大；但當 token 維度從 48 增加到 768 后，AR 的 FID 明顯惡化，與 diffusion 模型的差距迅速拉大。這說明，pixel-space AR 的第一個瓶頸在于高維連續 token 的單步生成難度更大。

在輸入端，作者進一步考察訓練 — 推理不一致帶來的影響。AR 訓練通常采用 teacher forcing，模型看到的是干凈的 ground-truth prefix；但推理時，模型只能依賴自己前面生成的 patch。實驗顯示，對輸入 token 注入噪聲可以明顯改善 AR 性能，說明讓訓練輸入更接近推理時的 “非完美輸入” 確實有效。但這種改善仍然有限。簡單噪聲注入并不能真正模擬模型推理時生成出來的 token 分布；而真正的 on-policy rollout 又代價過高，效率難以接受。

這組診斷實驗最終揭示了 pixel-space AR 的兩個核心瓶頸：高維 pixel token 帶來的單步預測誤差，以及 teacher-forced 訓練與自回歸推理之間的分布不匹配。二者相互耦合，使采樣過程中的誤差不斷累積并被放大。PRA 后續的兩個設計，正是分別針對這兩個問題提出的。

PRA：降維 + 并行 rollout 近似

針對上述兩個瓶頸，PRA 分別從輸出端和輸入端進行改造：在輸出端，用低維中間態替代高維 pixel token，降低單步生成難度；在輸入端，用并行構造的 decoded pixel inputs 來近似 rollout 輸入，緩解訓練 — 推理分布不一致。

先預測低維中間態，再解碼回像素

這樣，AR 模型每一步的生成目標從 768 維像素 patch 變成低維中間態，單步預測難度大幅下降。

需要強調的是，PRA 并不是傳統 latent-space AR。這個中間態不是由外部 tokenizer 提供的 latent，而是和 AR 模型端到端一起學習出來的。雖然 PRA 在模型內部引入了中間態，但每一步都會通過 pixel decoder 回到像素空間；推理時，模型仍然保持 pixel-in、pixel-out 的 pixel-space AR 接口。

并行構造 rollout-like 輸入

低維中間態降低了輸出端的單步生成難度，但輸入端的訓練 — 推理不一致問題仍然會導致生成誤差隨著自回歸過程逐步累積。理想情況下，訓練時也應該讓模型看到類似推理 rollout 中生成出來的 pixel inputs。但真正執行 on-policy rollout 成本非常高：自回歸生成本身是串行的，并且每個 token 的生成還需要 diffusion head 進行多步采樣。

因此需要找到一種方法，既可以較好地模擬推理時的輸入分布，又能保持 teacher-forced 訓練的并行性。

PRA 的做法是：訓練時不真的串行生成完整序列，而是對目標中間態加噪，模擬 diffusion head 采樣時可能產生的偏差，再通過同一個 pixel decoder 得到 decoded pixel inputs。這些 decoded pixel inputs 會作為 AR Transformer 的訓練輸入。

由于它們經過了和推理階段相同的 “中間態 → 像素” 路徑，因此比干凈的 ground-truth pixel 和簡單地在 pixel-space 加高斯噪聲更接近推理時模型實際看到的輸入分布，同時又可以并行構造。這就是 Parallel Rollout Approximation：用并行構造的 decoded pixel inputs，近似推理 rollout 中模型會遇到的輸入分布，從而緩解訓練 — 推理分布不一致的問題，減少誤差在自回歸過程中的累積。

圖 2：PRA 與傳統 teacher-forced AR 的訓練和推理流程對比。

實驗：顯著推進 pixel-space AR

作者在 ImageNet-1K 256×256 類條件生成任務上驗證 PRA。圖像被切成 16×16 patch，自回歸序列長度為 256，每個原始像素 token 維度為 768。論文評估了三個不同規模的模型：PRA-Small、PRA-Base 和 PRA-Large，參數量分別為 135M、250M 和 511M。

結果顯示，PRA 在 pixel-space AR 上取得了顯著提升。僅 135M 參數的 PRA-Small 達到 FID 2.58，超過 1.9B 參數的 FARMER-1.9B/8（FID 3.60）。也就是說，PRA-S 參數量只有后者約十四分之一，卻取得了更好的生成質量。隨著模型規模繼續增大，PRA 的表現進一步提升：PRA-Base 達到 FID 2.21，PRA-Large 達到 FID 1.94，將 pixel-space AR 的最佳 FID 從 3.60 推進到 1.94。

這一結果尤其值得注意，因為 PRA 并沒有依賴外部 tokenizer，也不是兩階段 latent-space 生成方法。它仍然保持端到端訓練與 pixel-in、pixel-out 的 pixel-space AR 接口，卻將 pixel-space AR 推進到更具競爭力的水平。這說明，pixel-space AR 過去效果不佳并不意味著這一路線本身不可行；更可能是因為高維預測和訓練 — 推理不一致這兩個核心問題沒有被同時處理好。

生成之外：pixel-space AR 的理解能力

除了生成效果，PRA 在視覺理解上也展現出潛力。論文在 ImageNet linear probing 上評估模型表征能力，PRA-Large 的 top-1 accuracy 達到 68.80%，明顯高于多個 AR 和 diffusion baseline。這表明，端到端 pixel-space AR 不僅可以生成高質量圖像，也能學到對圖像理解更有用的視覺表征。

總結

PRA 重新證明了 pixel-space AR 的潛力。

過去，直接在像素空間做自回歸生成長期表現不佳，核心原因在于高維 pixel token 帶來的單步預測誤差，以及訓練 — 推理不一致造成的誤差累積。PRA 通過低維中間態和并行 rollout 近似，同時針對輸出端和輸入端進行改造，在不依賴外部 tokenizer 的情況下顯著提升了生成質量。

值得關注的是，PRA 不僅能生成高質量圖像，也展現出較強的視覺表征能力。這意味著 pixel-space AR 可能不只是圖像生成路線之一，也有潛力成為連接視覺生成、視覺理解和多模態大模型的一條重要路徑。

從這個角度看，PRA 的意義不只是 FID 從 3.60 推進到 1.94，而是讓一個長期困難但極具吸引力的方向重新變得可行：直接在原始像素空間中，用與大語言模型一致的自回歸范式，學習既能生成、也能理解的視覺表征。