Engram 創始人：模型再大，記不住也是白搭

提示詞調到極致，也比不上等一個新版本。這是 Engram 聯合創始人 Dan Biderman 的判斷，也是這家公司創立的起點——當整個行業都在卷上下文工程、RAG、工具調用，Biderman 和他的搭檔 Jessy Lin 卻把目光投向了另一條路：訓練。不是訓練更聰明的模型，而是訓練模型去記住你。

Biderman 出身神經科學，Lin 來自 NLP 與認知計算方向，兩人組建了一支小而精的團隊，成立了一家被稱為"Neolab"的新興 AI 實驗室。Engram 不做通用大模型，它的客戶是每一家需要讓 AI 真正理解自身業務的團隊——Notion、Microsoft、Harvey 等公司已經在用它訓練自己的"專屬模型"，讓引擎不僅僅是回答問題，而是像一個老員工一樣，記住每一次決策、每一輪迭代和每一個領域特有的暗知識。

在本期 45 分鐘的播客專訪中，兩位風投背景的主持人帶著一個核心問題追問到底：當 AI 模型已經足夠聰明，下一個瓶頸是什么？Engram 的回答很干脆——記憶。不是把更多東西塞進上下文窗口，而是讓記憶刻進模型的權重里。

本文編譯自 YouTube 播客專訪《Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin》。以下是完整編譯。

1

"我們的模型始終在訓練"——打破預訓練與后訓練的邊界

Engram 官網有一句話讓主持人一開始就追問："我們不從預訓練或后訓練的視角看世界。我們的模型始終在訓練。"

這是什么意思？

Jessy Lin 的解釋直接："今天的模型已經非常聰明了。但讓這些模型更有用的瓶頸，不再是原始智能，而是理解新的、持續變化的上下文——比如你正在做的新任務，或者某個公司特有的工作方式。問題是：我們怎么把這些東西烘焙進模型的權重里，就像預訓練把'法國首都是巴黎'烘焙進去一樣深？"

Dan 用一個更感性的比喻補充道："就像我們人類，每天睡一覺，第二天回到工作上，大腦里不只有筆記，還有一種新的直覺——知道該往哪兒看，該怎么想?，F在的 AI 解決方案，都是外部化記憶：把東西寫進上下文、寫進筆記。但這有兩個問題：第一，你每天產生的 token 很快會到達數千萬級別，檢索成本極高；第二，外部記憶沒有真正的理解，只有查找。"

兩人的共識是：上下文工程（context engineering）、RAG、工具調用——這些都有價值，但有一個嚴重被低估的工具：訓練。用和前沿實驗室訓練頂級數學/代碼模型同樣的方式，去訓練任何一個垂直領域、任何一家公司的私有數據。

1

Engram 架構：把公司知識"烘焙"進模型權重

Engram 做的事情，用一句話概括：訓練每個團隊的專屬模型，讓它深度理解這個團隊的上下文，并隨時間持續進化。

Jessy 描述了產品的工作方式：他們接入 Notion、Microsoft、Harvey 這類有大量長期工作數據的平臺，把其中的文檔、對話、反饋——這些人們日常工作產生的原始信號——轉化為訓練數據，然后通過 LoRA（低秩自適應）等 adapter 微調技術，把這些知識烘焙進模型的權重。

目標不是"在推理時把文件讀一遍"，而是讓模型像一個在公司工作了多年的老員工那樣理解公司：

• 知道公司的各項戰略方向

• 理解這里特有的做事方式

• 熟悉招聘流程、寫作風格、內部慣例

• 能夠在不檢索任何文檔的情況下，直接給出準確答案

Dan 給出了一個量化的沖擊感：當前最好的前沿模型，要回答一個關于公司內部知識的問題，可能需要消耗 10 萬個 token 來檢索和推理；而 Engram 訓練好之后，同樣的問題可能只需要 100 個 token——節省幅度可達 100 倍，不是 50%，是兩個數量級。

技術上，Engram 需要白盒訪問模型權重，因此更偏向開源模型，同時也可以與有閉源權重的公司合作。任何基于 Transformer 架構的模型，都可以接受 Engram 的處理。

1

記憶到底該不該放進權重？——RAG 的局限

一個繞不開的問題是：RAG（檢索增強生成）難道不能解決這個問題嗎？

主持人追問，Dan 給出了一個精妙的類比：

"你需要內化你家的門禁密碼嗎？需要，因為你每天用。你需要內化去年在某家酒店的房間號嗎？不需要，寫下來就好。"

但他隨即指出 RAG 的核心局限：你知道自己該搜什么嗎？

檢索系統解決的是"存什么、放哪里"的問題，但真正難的是"知道該找什么"。很多時候，有價值的關聯是無法被預先查詢的——比如，當你看到團隊某人在做某個研究方向，你憑直覺想起另一個相關的事情，這種"不請自來"的聯想，只能發生在權重里，無法發生在檢索系統里。

Jessy 補充了另一個角度：如果你總是依賴 RAG，你就永遠在做靜態檢索，無法在知識上做累積和組合。"就像你總是重新看筆記，而不是真正消化——你的理解永遠不會加深。"

Dan 更直接地說：Engram 的方向，是某種意義上的 "RAG killer"——不是說 RAG 沒價值，而是對于那些需要被真正內化的知識，訓練進權重是更優的選擇。

1

什么叫"重要的事才記"——遺忘是智能的一部分

一個深層的哲學問題浮出水面：大模型把所有事實都記進權重，這是 feature 還是 bug？

Jessy 給出了她的看法："你不可能把事實記憶和技能記憶完全分離。有些研究者嘗試過把模型里的'事實'都剝離出去，只保留'算法能力'——結果模型變得非常不自然，連基本問題都答不上來。你需要內化一些東西，才能在它們之上構建更抽象的概念。"

但她也承認了問題的核心：不是所有事實都值得記。現有的學術 benchmark 常常要求模型記住"某個非洲國家某座橋的長度"——這種信息毫無必要占用模型的容量。

Dan 用神經科學視角切入："人類記憶是有損的（lossy）。這不是缺陷，這是智能的一部分——壓縮重要的，過濾不重要的。深度學習的魔法恰恰在于：梯度下降能把海量信息壓縮進極少數的參數里。70B 的 Llama 模型，參數文件大約 100GB，卻能記住整個互聯網的精華；但如果只是緩存一篇泰勒·斯威夫特的維基百科文章的 KV cache，就需要 80GB 的 GPU 內存——你把幾十 KB 的文字變成了 80GB 的'大腦狀態'。"

他的結論是：訓練就是壓縮。 如果能把那 80GB 離線壓縮成幾百兆，加載速度會快 1000 倍，這對整個推理基礎設施都有顛覆性的意義。

1

為什么大模型廠商自己不做這件事？

主持人問了一個尖銳的問題：OpenAI、Anthropic 這些前沿實驗室，為什么不自己把持續學習做掉？

Dan 的回答很坦率：

"前沿實驗室的 P0 是 AGI——一個在編程和數學上極度通用的超級模型。要推進這個，路徑是明確的：更多預訓練、更大模型、更多數據、更多 RL、更多推理計算。這是他們 95% 的精力和資金所在。"

他并不認為大廠沒在想記憶和持續學習——事實上，DeepMind 的 Demis Hassabis 在 Sequoia 活動上明確說過"這個領域需要新突破"——但對大廠來說，這更多是一個產品層面的問題，還沒有被當作核心研究挑戰來攻克。

Jessy 補充了另一個維度：這個問題需要研究和產品的深度整合。在大廠的現有模式里，研究者訓好模型，扔給產品團隊，產品團隊再做上下文工程和提示詞工程。但在 Engram 的世界里，用戶的每一次交互就是訓練信號——研究和產品必須在同一個閉環里運轉，這是一種完全不同的組織方式。

她還提到了另一個結構性差異：每個人、每家公司想要的東西，往往是私有的、沖突的。"我的寫作風格和你的不一樣，我的工作流和你公司的也不一樣。這些東西永遠不會出現在任何后訓練數據集里。"

1

記憶錢包、個人模型與終極愿景

對話的最后，主持人提出了一個有趣的暢想：既然我們現在有"token 錢包"可以帶著走，未來會不會有"記憶錢包"——把你在某家公司學到的技能、養成的工作方式，帶到下一份工作？

Dan 認為這是終極圣杯之一：

"你在工作中創造了大量價值，IP 和機密留給公司，但你自己學到的技能、你獨特的思考方式——某種經過'消毒處理'的東西——應該能帶走。我們在生物層面一直這樣做，只是靠 NDA 和職業道德來約束。數字化版本會更有意思，因為它會迫使每個人把 AI 更深地融入自己的工作，然后因此獲得回報。"

Jessy 的愿景則更具體：人人都有自己的模型——真正不同于別人的模型，不同于前沿模型，服務于你個人或你的團隊。

Dan 用神經科學里的一個發現收尾：大腦中負責記憶和負責導航的神經回路，幾乎是同一套——記憶本質上是一種在認知空間里的導航。他想象中的 Engram，是一個"神經接口"——不是文件系統的索引，而是對整個數據平面的大腦狀態表示，關聯性更強、效率更高、更貼近人類理解信息的方式。

"這有點像 Databricks 或 Oracle，"他說，"只不過我們存的是神經記憶，模型是個性化的，而且會有數億個。"

1

語言 vs 視覺——一個"瘋狂理論"

播客臨近尾聲，主持人 Sean 分享了他醞釀已久的"瘋帽子理論"：

為什么語言模型最終超越了視覺模型？他的假設是：在生物界，視覺的信息帶寬遠超語言（光子 vs 聲波），所以大腦把更多的"計算資源"分配給視覺。但在計算機世界里，一切都是電子信號，視覺和語言的處理成本被"拉平"了——語言模型因此獲得了在生物界不曾有過的公平競爭機會。

Dan 和 Jessy 認為這個方向有一定道理，但也提醒：人類現在做的大量知識工作（寫備忘錄、讀文檔、和 AI 聊天）本來就不是進化設計的——我們的大腦并不為這些任務優化，但語言 AI 恰好很擅長。視覺在圖像/視頻領域仍有巨大潛力，但在知識工作的戰場上，語言暫時占優。

點個“愛心”，再走 吧