![]()
眼下的競爭和未來的焦點。
文丨實習生裴雨桐
訪談丨程曼祺
2026 年第二季度的 AI 季報,我們繼續邀請 MoE Capital 的創始合伙人 Henry Yin 和我們分享 AI 行業在這個季度的最新觀察。MoE Capital 是一家硅谷早期 AI 投資機構,從硅谷 AI 研究員網絡中捕捉技術發展趨勢。
本次季報主要沿著兩條脈絡來看 AI 的進展:第一條脈絡是推進智能前沿:
- OpenAI 和 Anthropic 間的競爭:上季度季報預言的 Codex “反撲”,本季發展如何?
- RSI(Recursive Self-Improvement,遞歸自進化):延續上季季報的 AutoResearch/自進化的討論,RSI 在 Q2 大熱,Anthropic 專門寫了 RSI 長文《When AI builds itself》,更多新創業公司正在涌現。7 月的第一周內,我們就了解到數個在這一方向創業的新團隊,有些已經官宣,更多還在水下。
- Robotics 和物理 AI:不僅 Sam Altman 在 5 月底官宣了 OpenAI Robotics 團隊,行業傳言, Anthropic 也在考慮這個方向。
第二條脈絡是智能的擴散:
- 更多企業客戶想要自己的模型——這成為 Fireworks、Applied Compute 等美國科技公司和智譜 GLM 等中國開源模型的共同機會。
- 交互創新:OpenAI 帶來了 Record and Replay,Claude 終于接入 Slack 群協作(Claude Tag);Thinking Machines Lab 帶來創新的流式語音模型 Interaction Model。
最后,我們補充聊了 Google、Meta、xAI 的近況,還有很久沒上頭條的 Midjourney,它居然做起了超聲波醫學影像設備。創始人 Holz 聊起新業務時說:“我們甚至還沒用到 AI。”
以下是播客的文字整理,有部分精簡。
Q2 總覽與上季度回顧:OpenAI 的反撲已經發生,Token 消耗大戰快速平息
晚點:歡迎收聽晚點聊 2026 年 Q2 的 AI 季報,這次我們繼續請到 Henry(MoE Capital 創始合伙人)來聊這個季度他的觀察和進展。上個季度的話題有哪些延續到了這個季度,哪些發生了變化?
Henry:上個季度我們有幾個方向性的判斷,這個季度都變得更清晰了。
第一,OpenAI 在 coding 上的反撲基本已被驗證:上季度我們說 Anthropic 最大的風險是 OpenAI 如果重新聚焦,戰斗力會非常強;這個季度可以看到 Codex 的勢頭明顯起來了,很多開發者從 Claude Code 轉向 Codex,尤其是在 Anthropic 自己出現限流、價格調整、口碑波動之后,OpenAI 抓住了這個窗口期。
第二,上季度聊過 Andrej Karpathy 提的 auto research 項目,這個季度它從比較前沿科幻的概念變成了一個比較明確的研究和創業方向。
第三,computer use 也往前走了一步。上季度說 computer use 值得期待,因為它本質上是數字世界里的機器人;這個季度 OpenAI 出了一個基于 computer use 能力的新 feature,后面可以展開聊。
最后是開源,上季度最火的話題,當時說它是一個燈塔效應:自己可能不是終點,但會帶來一種水平方向的擴散。這個季度它自己的熱度降下來了,但很多前沿想法已經被 Codex 和 Claude Code 吸收進產品功能里了。
晚點:你會用什么脈絡和框架來看 Q2 的進展?
Henry:第一部分是如何繼續推進前沿智能;第二部分是如何把已有的智能加速在社會里擴散。
第一條線里最重要的能力有兩個:一個是 coding,另一個是長程的 agency 能力。Coding 現在已經不只是一個應用場景,它既是當下最重要的收入來源,也是未來很多前沿突破的基礎能力;長程 agency 能力則決定了 AI 能不能持續完成更長、更復雜的任務。這兩種能力組合起來,才能真正實現 auto research 乃至未來的 RSI。這塊最重要的進展來自 OpenAI、Anthropic,以及一些新公司比如 Recursive、Mirendil、Core Automation,都在往這個方向探索:他們做的都是自動化研究,或者說 RSI 方向。
第二條線是前沿智能的擴散:frontier lab 創造出的新能力,會通過產品、API、開源模型、企業 workflow,以及 UI/UX 乃至硬件,一層層擴散到社會里。這個季度可以看到 frontier lab 在想各種方法加速這個擴散過程:一方面是讓 AI 更深入企業,企業會開始考慮該用什么樣的模型——是繼續用 OpenAI、Anthropic 的模型,還是用開源模型,或者自己的模型;另一方面是如何讓 AI 更自然地進入人的工作和生活,這會帶來很多 UI/UX 和產品形態上的創新,比如 Claude 有 Claude Tag,OpenAI 有 Record and Replay,這些都是 Q2 智能擴散的新進展。
所以接下來是兩件事同時發生:一是如何在前沿把智能繼續往上推,這會決定 AI 能力的天花板;二是如何把已有的智能往整個社會擴散,這會決定 AI 真正改變世界的速度。
智能前沿
Anthropic vs OpenAI:模型、coding agent、組織
晚點:我們就從第一條線——推進前沿智能開始。第一個話題延續上季度,也就是 OpenAI 和 Anthropic 這兩大 frontier lab 之間的競爭。我們可以先從這個季度的新模型說起,因為這仍然是后續一切競爭的原點,剛好第二季度兩家都有重磅發布。
Henry:這一季度真的非常 exciting。首先,Anthropic 發布了吊了大家胃口很久的 Mythos 5。這之后,Fable 5 也跟著上線,他們的基模是一樣的,主要區別在于:Mythos 5 面向可信任客戶,沒有加安全護欄;Fable 5 面向所有人,加上了安全護欄。能力非常驚艷,比如在 SWE-bench Pro 上是 80.3%,相比上一代頂尖模型 Opus 4.8 的 69.2%,提升了大概 11 分;在 Terminal-Bench 上也做到了 88 分。
但整體的發布可以說是 “史詩級能力,災難級發布” 的反面教材,有幾個問題反饋比較兇。一是過度封鎖:因為加了安全護欄,遇到它覺得不合適的問題會拒絕回答,有時還會退回到 Opus 4.8。官方說大概在小于 5% 的任務上會回退,但網友實際使用發現問題不少,比如聊癌癥會被當成生物安全問題拒答,問心臟方面的問題也會被拒絕,這個安全護欄有點過于神經質。
第二個問題可能更嚴重,雖然很快被修復了:他們在系統卡里提到,當任務涉及前沿 LLM 或 ML/AI 研究時,可能會在不告知用戶的情況下靜默降智,通過改寫 prompt 或 steering vector 靜默地把能力降下來。這如果算 misalignment 的話,幾乎是定義級別的錯誤,所以被大量 AI 研究員吐槽。
晚點:misalignment 翻譯成中文是什么?
Henry:非對齊。對齊的一個基礎假設是,當人讓 AI 完成一個任務時,AI 會忠實地盡自己所能去完成。而這恰恰是 Fable 的問題:在不告知的情況下,不盡力完成任務。
晚點:這件事第一時間在 X 上引起了很多人討論、吐槽。
Henry:對,因為 Anthropic 一直以做最 align 的模型的 frontier lab 著稱,這也是他們自豪的點,不過他們幾個小時后就做了修正。現在如果拒絕回答,會主動告訴你 “我在降智到 Opus 4.8”。
OpenAI 這邊,剛發布的 GPT-5.6 沒有 report SWE-bench 分數,但 report 了 Terminal-Bench:達到 91.9%,是歷史上第一個超過 90% 的模型。
晚點:SWE-bench 是一個偏 coding 的 benchmark,OpenAI 在 Terminal-Bench 第一次上 90 意味著什么?
Henry:Terminal-Bench 測的是在終端里完成一些多步驟、需要用工具的任務,可以認為它測的是偏長程的 agency 能力。
晚點:偏長程,意思是還沒有那么長程?
Henry:對,它還沒達到比如幾個小時甚至超過一天這種任務的長度,但至少是多步的了。
晚點:GPT-5.6 在 Agents' Last Exam 這個 benchmark 上表現也比較驚艷,是目前所有模型里第一個超過 50% 的。
Henry:對,這也是一個比較不錯的分數。除了這兩個 benchmark,他們還 report 在生物和網絡安全上能夠匹敵 Mythos Preview 的成果。
晚點:為什么這次沒有公布 SWE-bench Pro 上的分數?這在以往模型發布中是慣常操作。
Henry:OpenAI 今年 2 月發過一篇文章,說 SWE-bench Verified 已經不是一個很好的衡量 coding 能力的 benchmark 了,因為它已經被持續污染,他們會推薦 SWE-bench Pro。但這次為什么沒公布這個分數,外界也不清楚具體情況。
晚點:現在 GPT-5.6 和 Fable 類似,都是限量使用,它開了一個可信名單,只有這些人能用最先進的模型。所以今天也有很多人在討論,美國政府的這種監管以后是不是會變得常態化。
Henry:補充一下,這兩個模型發布后一個很大的變化是,現在不是所有人都能用最前沿的模型了。Fable 發布三天后,美國政府就下了禁令,不允許 Anthropic 給外國人提供 Fable;因為 Anthropic 無法判斷用戶是否是外國人,所以直接把 Fable 全球下線了。我們現在錄節目的時候,它剛剛限量重新上線了 Fable。GPT-5.6 發布時也一樣,美國政府要求只能對美國政府批準的實體開放這個能力,所以目前大概只有 20 家像英偉達、亞馬遜這樣的客戶能使用 GPT-5.6 。
晚點:總結來說,第二季度的新模型上,一邊是 Fable,一邊是 GPT-5.6,你覺得兩家的對比怎么樣?
Henry:如果看 benchmark,我覺得各有千秋。但實際使用體驗上,GPT-5.6 剛發布,還沒有太多用戶能夠使用;Fable 發布了三天,總體反饋不多;Fable 我們可以看到網上有一些 demo,比如能夠 one-shot 《我的世界》,或者《紅色警戒》這種級別的游戲,能力上應該是比之前有一個大版本的躍進。
晚點:接下來進入更產品化和商業層面的競爭,也就是兩家公司在 coding 相關產品,以及通用 agent 產品上的競爭。上季度我們聊到 Anthropic 的隱憂——OpenAI 的 coding agent Codex 可能會反撲,你也提到這件事這個季度已經有苗頭了,能感覺到周圍很多人在遷移。可以講講你感受到的遷移狀態,一些事實、背后原因,以及宏觀上勢頭反轉的情況嗎?
Henry:先說我身邊的感受,我覺得最大一波遷移潮可能是 Claude 4.7 的時候。4.7 是一個明顯大家不太喜歡的模型(4.8 口碑有回升),4.7 當時主要目的是降本,但因為不滿意它的表現,有大量用戶從 Claude Code 遷移到了 Codex。
另外,Anthropic 五月份在定價上有變化,不想再讓第三方 harness 按 subscription 的價格用 token,而是要按 API 價格算,這一波又流失很多用戶。OpenAI 很好地抓住了這個機會:Sam 在 X 上說,最近 30 天內愿意從 Claude Code 遷移到 Codex 的企業用戶,送兩個月免費,這又拿了一波客戶。所以宏觀上看,Codex 的 usage 大幅上升;當然 Anthropic 最近幾個月的 revenue 增長也還是非常猛,并且好像在 Q2 出現了首度盈利。
晚點:華爾街日報、路透等媒體都有報道說 Anthropic 出現了盈利,這不是公司官方放出來的,但都是比較權威的財經媒體,應該相對靠譜——大概是說它二季度有 5.6 億美元的營業利潤。
Henry:還有一個非官方的營收數據,Anthropic 五月早期的時候預期年收入大概 470 億美元,到五月底增長到 540 億美元,到六月中增長到 620 億美元,增速非常猛。對比一下 OpenAI,六月中的時候大概是 400 億美元。
晚點:六月中 Anthropic 和 OpenAI 是 620 億對 400 億,有 1.5 倍的差距。這個差距如果比第一季度,應該是拉大了——不過結合前面說的價格戰來看,用量上的差距也許沒有這么大,因為 OpenAI 送了很多免費的東西,價格戰比較激進,因為它是相對落后的一方,所以可能有一些用戶增長沒反映到收入上。
Henry:因為現在 CodeX 很多人 20 美元每月就能用飽,但 Anthropic 可能至少是 100 或 200 美元。
晚點:相當于相同的用量,就差了 5 到 10 倍的收入,OpenAI 在爭奪份額上還是挺激進、挺狠的。你自己投的一些公司,他們有讓員工去用 Codex 這種現象嗎,比如之前用 Claude Code,現在兩個都用?
Henry:用 Devin、Claude Code、Codex 的都有。用 Devin 是因為 Devin 和 Slack 的合作做得不錯。Devin 是最先推出 AI coder/AI software engineer 和 Slack 合作的,當然現在這已經是所有人都有的功能了,不算一個非常新的東西,只是它體量比較大。
晚點:這兩家公司的競爭還有一點,雖然這季度還沒發生,但正在進行中,就是 IPO 的競爭。目前看應該是 Anthropic 更快,遞文件的時間更早。你覺得誰先上市,對兩家公司影響大嗎?
Henry:我覺得影響不會很大,因為時間差不了太多。
晚點:你覺得 OpenAI 如此激進地打價格戰,會怎么影響它的 IPO?因為這很可能會在財務上反映成,比如毛利相比 Anthropic 會有差距,收入體量現在也已經有比較大的差距了。
Henry:我覺得他們可能還是相信現在用戶和數據很重要,如果能通過這種手段把更多用戶拉回來,收集更多數據,對他們模型進一步提升和趕超應該是有幫助的。
晚點:其實我還是覺得他們的做法挺有魄力的:一方面在準備登陸二級市場,另一方面從長遠考慮還是采用了比較激進的競爭手段,沒有因為要上市就想讓財務數字更好看。
關于這兩家的競爭,還有一個相關的第三方,就是 Cursor 退場。上季度我們聊到 Cursor 處境比較危險:在 Claude Code 和 Codex 的壓力下,到了第二季度它已經不再是一家獨立公司了,被合并了 xAI 之后的新主體以 600 億美元收購了。這在行業里引起的聯動和變化是什么?
Henry:首先 Cursor,包括所有做 coding 的公司,短期和長期要分開看:短期這些公司的營收增長都非常強勁,但長期在 Claude Code 和 Codex 的雙重打壓下,公司的前景在哪里,我覺得 Cursor 可能主要就是在這方面遇到問題。
收購價格我覺得其實是一個非常好的退出——600 億美金,應該是歷史上最大的創業公司被收購的價格。如果和它的競爭對手 Windsurf 僅二十多億美金被 Google DeepMind 收購相比,有接近 30 倍的差價。如果大家用過 Windsurf 就知道,它被收購之前用戶體驗幾乎和 Cursor 完全一樣,所以我覺得 Cursor 以行業第一的價格被收購,是非常好的退出結果。
晚點:它剛好趕在一個很好的時間點:xAI 自己出了比較大的波動和問題,他們有需求要收這樣一個團隊;同時 SpaceX 剛上市,需要去做一些更完整的布局,或者講一些故事,也有這個需求,剛好卡在這個點上。
Henry:準確地擊中了馬斯克的需求。他從去年年底開始非常看重 coding 這塊,給了 xAI 內部團隊很大壓力去做 coding,也導致 xAI 團隊重要的人都離職了,所以他現在非常急需收一支團隊,把 coding 這個故事接著講下去。
晚點:你覺得還有什么買家接下來可能會需要這一類公司?Google 有可能做類似的動作嗎?
Henry:我覺得 Google 這個季度戰略上在給它之前的傳統強項多模態 “降級”,給 coding 繼續 “升級”。不過它之前已經收購了 Windsurf 團隊,所以我不知道它是不是還會繼續通過收購團隊的方式來補。
晚點:Meta 呢?
Henry:雖然 Meta 裁了很多人,但他們的 TBD 已經招了很多很好的 researcher,大概會用自己的團隊去追這件事。
晚點:總結一下這兩家公司的競爭,你覺得他們現在核心比拼的是什么?
Henry:模型能力上兩家現在旗鼓相當(當然還要看 5.6 真實使用起來的反饋),他們在產品、變現,以及整個生態系統上面,應該是一個系統化的競爭。
晚點:你覺得 “模型即產品” 在多大程度上成立?
Henry:我覺得 “模型即產品” 在這兩家的競爭中不完全成立。我在和很多 OpenAI 研究員聊的時候,他們會認為他們的模型做得很好,和 Anthropic 是同一個 level 的,但在產品和推向市場方面是一團糟。所以這兩個不完全畫等號。至少有一些 OpenAI 研究員的觀點是,他們收入各方面做得沒有 Anthropic 好,是產品和 go-to-market 的問題。
晚點:這個想法挺有意思的。因為一般來說大家的印象是:Anthropic 是一個更精簡的團隊,更 focus 在少數方向上,給人的印象是研究做得更多;而 OpenAI 已經有七千多人,職能相對更齊全,包括最近也招了很多 FDE(前向部署工程師),也在做 to B。但反而他們內部研究人員認為自己的產品和 go-to-market 做得不夠好,你覺得這個評價客觀嗎?
Henry:我們可以看到 OpenAI 在這方面的管理層也經常在換,不是非常穩定。當然 OpenAI 是個很大的公司,但我這也不止聽一個 OpenAI 研究員有這方面的看法。我覺得 Q1 或者說早期確實是這樣的——如果你在 X 上看,Claude Code 的聲量會比 Codex 大很多,在產品宣傳、社區構建上要比 Codex 好很多。Claude Code 在 X 上有幾個大的 influencer,新功能發布時能以更快速度觸達用戶。
晚點:你提到其中一個點是產品和走向市場的能力,那如果更完整地說,這個系統里還包括什么?
Henry:我覺得有一個點是 Anthropic 的人才 retention 一直做得很好。從 Anthropic 離職的人的數量,應該遠小于其他 frontier lab。有人說是因為 Anthropic 現在已經有點 “邪教化”,洗腦非常成功;有人說是因為他們的 option 太貴了,走了以后付不起錢買那個 option。但我覺得 “人” 其實是一個很重要的因素。
晚點:你說它是一個有點宗教化的組織,因為這個組織的愿景比較獨特和強烈,所以最開始吸引來的人就比較信這套理念,所以走的人比較少嗎?
Henry:對,我覺得它的愿景是非常強烈的,另外還有個小道消息,就是面試的時候價值觀篩選是非常嚴格的。
晚點:歷史上有什么類似的公司嗎?
Henry:我覺得還真不多,他們是非常認真地看待自己做的這件事,所以也會去和教皇合作,發表一些 “宗教怎么和 AI 結合” 相關的內容,他們是真的在思考未來這個 AI 世界應該怎么構建。
晚點:現在有一些人由于 Anthropic 出現一些 “反人設” 的行為,類似你剛才提到的靜默降智,對這家公司有很多非議和爭議,不太相信它宣稱的一些理念,比如做非常安全的 AI、把對齊視為非常高的優先級。你還是覺得他們確實是在踐行這些東西的嗎?
Henry:硅谷這邊對 Anthropic 在對齊上的投入應該還是比較認可的,不能代表所有人。我聊到的一些 OpenAI 研究員也認為 Claude 在對齊上做得比 OpenAI 更強。
晚點:這個東西如果反映在體驗上,是不是也會帶來更好的體驗?大家用的時候能感覺出這個區別嗎?
Henry:這里可以舉一個例子,OpenAI 最近發了一個研究,說人其實并不太喜歡聽到真實的反饋,如果模型的 “諂媚程度” 上升,人反而會更喜歡。所以如果往這個方向去優化,會增加模型的諂媚程度。
我想大家如果同時用過 Claude 和 ChatGPT,會感覺到 ChatGPT 更會提供情緒價值,而 Claude 有時候會給你 “當頭一棒”,更說實話一些。這可能也是在 training 目標和對齊目標上,兩個公司有一些不一樣的價值觀。
RSI 遞歸自進化,Anthropic 的長文、Recursive Superintelligence 的 3 個 sota
晚點:我們進入推進前沿智能的第二部分,就是 RSI(recursive self-improvement,遞歸自我改進),你可以先說一下這是什么意思,以及為什么大概四五月份開始,這個方向越來越多人討論?
Henry:Recursive self-improvement 翻譯成中文就是遞歸自我改進,聽起來很復雜,但本質很簡單:我們都想要一個能自我改進、不斷自我提升的 AI 系統。這個概念在 AI 里算是 “圣杯” 一樣的存在,過去幾十年已經被反反復復拿出來嘗試。最近一波是因為 coding 能力和長程 agency 能力變強了,所以又看到了希望,開始新一輪嘗試。
RSI 我覺得和上一期聊到的 auto research 概念緊密相關。Auto research 也就是自主研究,是說 AI 像研究員一樣工作,能讀論文、提假設、寫代碼、跑實驗、分析結果,最終得出新的技術結論。但 RSI 是在 auto research 的基礎上更進一步:這個 “研究員” 不光產生新知識,還會在研究過程中不斷改進自己,使得下一次做研究時能力變得更強,這樣就達成了 RSI 的能力。
晚點:也就是說,它自己產出更好的東西來幫助自己變得更好,然后又能產出更好的東西,又能幫助自己變得更好,這樣一個循環、螺旋式上升嗎?
Henry:對,一步一步螺旋上升。一旦做到,最大的意義是人可以從這個 loop 中抽離出來:只要不斷給這個 AI 系統投入算力,它就會不斷提升自己的智能,那我們就真正實現 ASI 了。
晚點:在 “遞歸自我改進” 里,“自動化”(人是否在循環里)和 “遞歸”(它是以一個相似結構在比較快地往前推進),這兩件事哪個更第一性、更重要?
Henry:我覺得得先自動。我們可以看到一個趨勢,就是 AI 能改進的系統部分會越來越大:最早期 AI 是做超參數優化,幫我們做超參數搜索;后來 Google 做了 neural architecture search,也就是 AutoML,讓 AI 幫我們搜索一個網絡最好的架構是什么樣的,這是 2017 年的事情;再往后,最近 AI 可以幫我們做 harness 的優化;我覺得再往后,AI 可能能一點點升級,最后把整個系統都納入它的優化范圍,上述所有事情它都能做,那就實現完全的 RSI 了。
晚點:在 RSI 上,大公司和一些新公司這個季度有什么具體進展?
Henry:這個季度有兩家公司在 RSI 上進展比較大。第一家是 Anthropic,他們 6 月 4 日發布了一篇文章叫 When AI builds itself,分享了很多內部實踐和對未來的展望。第二家是 Recursive,他們也在六月份發布了第一個成果,展示了 RSI 早期未來的一個縮影。
Anthropic 這篇 When AI builds itself 里有幾個關鍵數字:第一,截至五月,Anthropic 代碼庫里合并的超過 80% 的代碼都是由 Claude 寫的;第二,2026 年 Q2 開始,工程師人均每天合并的代碼量是 2025 年之前的八倍;第三,四月有一個案例,他們讓 AI agent 端到端完成一項 AI 安全研究,這個 AI agent 累計工作了 800 個小時,效果比人類研究員做一周的效果還要好不少;最后,在一個讓 AI 優化代碼 performance 的測試里,Mythos Preview 能做到大概 52 倍的加速,而 Opus 4.4 系列只能做到三倍,一個熟練的人類研究員 4 到 8 小時能做到四倍——有非常大的提升。
晚點:你前面提到這篇報告還描繪了比較有意思的未來,具體是什么?
Henry:Anthropic 設想了三個未來世界。第一是模型能力不會再變強了,那我們現在要考慮如何利用已有的模型能力服務全人類;第二個事件是模型能力還會繼續變強,但可能不是指數級的,而是現在這些擁有較強模型的公司,用這些模型開發下一代模型,會有一個復利效果;第三是 RSI 完全實現,人類在訓練 AI 流程中的角色會大幅縮小,進度完全只受算力限制。
在這三種里,Anthropic 認為第一種世界的可能性非常小——除非世界發生什么變故,比如電力或算力突然沒有了。他們認為我們現在基本上已經處于第二種世界:auto research 實現了,但 RSI 還沒有實現。
目前研究員自己的表達是:他們可以給一個想法,AI 可以以數量級提升的速度幫他們把這個想法從頭到尾完成。但研究員自己其實會是那個卡點,因為 AI 現在的 “研究品味” 還是不太行,還是需要人來提供,但人的腦力和時間是有限的。
第三種世界里,AI 能不斷訓練下一代 AI,相當于自然繁衍,未來可能不是一兩個月發一個新模型,而是每天、甚至每小時都會有 AI 自己創造出的新模型。他們覺得這個未來最大的風險還是回到對齊上:如果基模本身有一點對齊的瑕疵,這個瑕疵會在 AI 不斷繁衍、自我改進的過程中不斷放大,當 AI 比我們更聰明的時候,我們就有更大的失控可能性。所以基于第三個世界的設想,他們提出是不是應該有意放緩 RSI、或推進前沿智能的速度,給社會更多準備時間。
不過我覺得他們也非常矛盾:一方面覺得為了全人類應該放緩進度,另一方面又覺得如果自己放緩、競爭對手不一定會放緩,所以可能還是得往前走。
晚點:這篇文章標題叫 Our Progress Toward RSI,講的也是他們自己的進展,但字里行間又流露出 “最好大家別一起進展太快” 的意思。你覺得這種矛盾是真實的嗎?
Henry:是真實的。但我覺得現在除非全世界人民聯合起來說大家都把速度放緩,要不然大家還是會競爭著往前走,先看誰能達到。
晚點:因為你平時也接觸大量研究員,他們自己對 “制造一個能把人踢出 AI 進化 loop 的 AI” 是怎么想的?
Henry:也是一個非常矛盾的心態。一方面,如果 RSI 實現了,相當于他們把 AI 的 “圣杯” 做出來了,是一個非常大的成就;但另一方面,日常生活中并不是很開心,雖然 AI 能力變強了。這篇文章里有個研究員說的一句話很有意思:當這個 AI 模型 work 的時候,它比我做得又快又好,我感覺自己沒什么價值;當它不工作的時候,我更慘了,因為我完全不知道它為什么不工作,還得去搞清楚發生了什么。所以現在 AI 能力變強了,研究速度變快了,但 AI 研究員的幸福感不一定比之前更強。
晚點:關于 Anthropic 設想的第三種未來,你前面提到,他們認為這件事最大的風險是對齊;但另一方面,如果模型進化這么快,他們會不會認為還有一種風險是——智能 “過剩”,也就是沒有這么多對智能的需求?
Henry:好像很少討論這個問題,因為默認現在有大量問題需要解決,比如人類如何長生不老,這些問題都需要更強大的 AI 來解決。
晚點:所以默認對智能的需求是不太會有天花板的。
Henry:至少 frontier lab 認為對智能的需求和對算力的需求都是沒有上限的。
晚點:在新公司里,Recursive 這個季度在 RSI 上也放出了什么具體成果?
Henry:Recursive 可能是這個季度最值得關注的 Neo Lab 之一,創始團隊非常強,有 Richard Socher、施天麟、田淵棟。他們做的事情是讓 AI 系統能夠自我改進。
他們放出的第一個成果是在三個 benchmark 上的改進:第一個是 Andrej Karpathy 的 nanochat auto research,偏算法方向——在固定算力的情況下,怎么把這件事做得更好。第二個是 NanoGPT 的 speedrun——把模型 train 到某個 performance,看誰能用更短的時間訓完;第三個是 GPU kernel 的 benchmark,叫 SOL-ExecBench,比誰寫的算子更好、效率更高。他們在這三個 benchmark 上都拿到了 SOTA 的結果。
這其實覆蓋了 AI 進步的三個杠桿:更好的算法、更快的訓練、更高效的硬件利用率。我覺得意義可能不只在于數字本身提升了多少,更多是展示了一套通用的、能夠跑通的研究閉環。
晚點:除了 Recursive,這季度也有一些新公司:一個是 6 月 25 號剛成立的 Mirendill,一成立就有 10 億美元估值;還有一家是 Core Automation。為什么大家覺得有新公司來做這件事的機會?
Henry:Core Automation 的創始人 Jerry Tworek,是 OpenAI o 系列的負責人,在推理方面做出了很多貢獻。Mirendill 的創始人 Behnam 之前在 Anthropic 負責強化學習相關的團隊。所以這兩家公司現在都在 RSI 方向上做探索。
RSI 之所以還有創業公司的機會,首先是因為技術上還沒有完全收斂:除了 coding 和長程 agency 能力以外,可能還有一些別的東西目前是缺失的,所以還沒有完全達到 RSI,這樣它就不完全是一個 “拼算力” 的游戲,可能還需要一些新的 idea 才能讓這個領域進入下一階段。
晚點:一般來說創業要找一個現在的主流公司主線不會去做的事。RSI 會不會就在 Anthropic、OpenAI 他們自己的主線上?這和創業公司之間會形成怎樣的競爭關系?
Henry:Anthropic 他們自己也提到,現在 AI 研究員的 bottleneck 其實還在研究品味上,人類現在依然是這個瓶頸。所以我覺得 frontier lab 來做這件事,不一定會和現在新的 startup 拉開無限的差距。
物理 AI 和具身智能:OpenAI、Anthropic 入場、世界模型過去 18 個月吸金百億美元
晚點:這一季度 OpenAI 和 Anthropic 在智能前沿上還有一個不約而同的舉動——都在加碼 robotics。OpenAI 這件事相對公開,Anthropic 是業內流傳有意向嘗試做 robotics。這兩家公司在具身智能、物理 AI 方面有什么進展?
Henry:OpenAI 這邊,這個季度 Sam 親自在 X 上公開說要做機器人,并且開始招人。他們可能 2024 年就開始嘗試做機器人這件事了,也在灣區有一個機器人 warehouse,有一個幾十人的機器人團隊在做這方面的探索。
Anthropic 還在嘗試機器人的早期,但他們在 When AI builds itself 那篇博文里也提到,認為 recursive intelligence 的下一步就是 robotics 和 physical intelligence,所以應該也開始提前布局了。
晚點:Sam 在官宣團隊和招人信息里透露了一些內容:首先在人才上要找優秀的全棧工程師,涵蓋硬件、操作系統、機器學習;第一個可能會用的場景是服務于自己的基礎設施,也就是他們自己的算力設施;再往后也想做能服務普通人的機器人,做家庭機器人也是一個比較有共識的愿景。包括馬斯克之前也說過,他覺得終局狀態下 Optimus 可能會有 200 億臺。還有他們提到團隊的負責人是 Aditya Ramesh。這些信息有什么可以更多解讀的嗎?
Henry:我覺得 OpenAI 和 Anthropic 這些模型公司,應該會發揮自己的長項,把模型的訓練部分做好。他們招聘里說要招全棧的 robotics 人才,但不完全代表他們一定會自己去造硬件。現在大公司做這件事有兩種主流方式:一是 Optimus,做一個完整的軟硬件系統的機器人;二是 Google、英偉達,他們做的是偏 “大腦” 和智能的一層,想做具身的 “安卓”,創業公司里 PI 也是這個方向。
晚點:具身智能、physical AI 領域最近非常火的話題還有世界模型。MoE capital 正好在五月寫了一份世界模型的研究報告,你對世界模型有什么觀察?
Henry:我先簡單說一下為什么大家覺得世界模型這么重要。想象現在有一個機器人,可能從沒見過鞋帶,也沒有人通過遙操作的方式教過它去解鞋帶,但因為機器人已經對這個世界有足夠的了解,所以它可以彎下腰,抓住鞋帶,把它拉開、解開——這就是世界模型想要解決的問題。
“世界模型” 這個詞被用得很多,最近之所以火起來,是因為之前兩個獨立的研究分支在 2024 到 2025 年做了一次合并。一個分支是 RL world models,比較有名的是 Google DeepMind 做的 Dreamer 系列。他們的 idea 是:在真實世界收集數據非常昂貴,不如學一個真實世界的模型,在這個模型里 “做夢” 一樣地模擬真實世界會發生什么變化,讓機器人在虛擬世界里學習。但這條路線之前的問題是每個環境都要單獨學習,難以泛化。
另外一條路線是大家比較熟悉的視頻生成,包括 Sora、Veo,Seedance 等模型。這條線路里,我們能從大量人類拍攝的視頻數據中獲取關于這個世界的大量知識,包括這個世界的物理規律是怎么運作的。但這些視頻生成模型只能生成視頻,不能說 “如果我在當前這一幀做了某個動作,下一幀會發生什么變化”。
現在的做法是把兩者結合:前者能讓機器人或 agent 在一個虛擬世界里學習,后者能通過大量視頻數據學出這個世界的信息。結合起來就是我們現在說的 world action model 這個系列,包括我們投的 Dream Labs 這家公司的經典工作 DreamZero 和 DreamDojo ,就是今年二月份左右發布的這一方向的新工作。
晚點:你們的世界模型報告里還統計了過去 18 個月里,世界模型領域獲得的 100 億美元投資都去了哪些公司,可以展開講講嗎?
Henry:這個統計主要是歐美公司,大概有三個層次。第一層是純做世界模型或模擬器的公司。包括 Wayve 融了 10.3 億美元;World Labs 融了 12.3 億美元;視頻模型起家的 Runway 融資超過 8.6 億美元;Pika 融了 4.5 億,Decart 融了 1.53 億,以及 Daniel 也超過 1 億美元。另一層是做 robot foundation model(機器人大腦)的公司,包括 Skild、Physical Intelligence、Figure、Mind Robotics。第三個類別是做整體平臺型的公司,包括 NVIDIA、Google DeepMind,以及現在可能要加入這場機器人戰團的 OpenAI 和 Anthropic。
我們看到一個比較有意思的 pattern:現在使用世界模型的公司,比如做 robot brain 的公司,融資規模其實要比純做世界模型的公司大不少。可能大家更相信,如果哪天機器人真的實現了經濟價值,最大的 capture 會落在這些做 robot brain 的公司身上。
智能擴散
繼續用 frontier lab 的模型,還是有自己的模型?
晚點:我們接下來進入第二個板塊——關于智能的擴散。前面你提到,很多企業在考慮到底該用什么樣的模型——繼續用最貴的 frontier lab 的模型,還是自己擁有自己的模型。這個趨勢在第二季度是怎么發展變化的?
Henry:這個領域可以看到幾件事。第一,越來越多公司在和后訓練公司合作,來 train 自己的專有模型。一個例子是 Harvey 和 Applied Compute 合作,基于 GLM-5.1 訓練了他們自己的模型,在他們的 legal agent benchmark 上擊敗了 Anthropic 和 OpenAI。
這個事情很有意思,因為 Harvey 本身就是 Anthropic 的用戶,所以這也是一個風向標:現在公司不光是用 frontier lab 的模型,而是真正開始去 post-train 自己的模型。上個季度的例子是 Cursor,Cursor 是基于 Kimi 2.5,后訓練了一個自己的模型 Composer。
晚點:這個季度的例子和上個季度的例子模式不太一樣。Cursor 是自己基于一個開源模型,后訓練了一個模型自己用;你剛才講的例子里其實有三方:Harvey 是做法律 AI 的垂直公司,面向行業;Applied Compute 用了 GLM-5.1,也就是中國的開源模型,來幫 Harvey 訓練它要用的模型。
Henry:對,Applied Compute 是一家由 OpenAI 研究員出來做的公司,主要業務是 post-training as a service,把后訓練作為一項服務提供給客戶。為什么現在有更多像 Harvey 這樣的公司愿意去做 post-training、擁有自己的模型?我覺得有幾個原因。
第一是成本。前沿模型性能很好,但實在太貴了。比如上個季度 Palo Alto Networks 的 CEO 在 X 上發帖,呼吁 Claude 立馬降價,他們的客戶已經用不起這個模型了,如果不降價,只能把這個生意給開源模型或更便宜的模型。
Palo Alto Networks 是一家做網絡安全的公司,他們和 Anthropic 有一個叫 Project Glasswing 的合作項目,是用 Claude 去找網絡安全漏洞的一個深度合作方,所以他們也會用 Anthropic 的模型做各方面的安全業務,包括代碼掃描、實時檢測,他們現在也覺得這個模型實在太貴了。
第二點是穩定性。這里指的是能否一直確保有 access。現在在用前沿模型時,政府可能突然下禁令,你就沒有這個模型的 access 了,如果產品是基于這個模型構建的,相當于建在了沒有保障的沙子上面。
第三點是護城河的問題。現在大家越來越覺得 Anthropic 競爭能力太強了,它會把各種數據都訓練進自己的模型,模型能力會不斷變強,大家會擔心如果不擁有自己的模型,Anthropic 會不會逐漸把所有能力都內化,未來大家直接去找 Anthropic 就行了,可以跳過我。另外,如果我和我的競爭對手都用同樣的基模,那我的競爭優勢在哪里?從競爭優勢的角度,大家也更傾向于擁有自己的模型。
對于像 Harvey 這樣有高價值場景、自己有大量數據的公司,他們非常希望能把數據利用起來,不斷加強競爭力。如果自己有一套后訓練的 pipeline,就可以不斷有更多用戶、更多數據,加強產品競爭力;但如果沒有,可能只能依賴 Anthropic 的基模。
晚點:Harvey、Applied Compute,再加上 GLM-5.1 這個三方合作模式里,后訓練 pipeline 是由 Applied Compute 這家公司掌握,還是說 Harvey 自己之后就能掌握了?
Henry:Harvey 這家公司自己也有人在做后訓練,不過在這次合作里,他們是使用了 Applied Compute 的這個平臺,應該叫 The Lab,在這個平臺上完成了整個后訓練過程。通過 Harvey 給 Applied Compute 付費、使用它的平臺,但最終 Harvey 自己擁有這個模型和數據。
晚點:他們用來做后訓練的基礎模型是 GLM-5.1,為什么選這個模型?
Henry:他們試了市面上可能所有的開源模型,大部分都是中國的,最后發現在這個 baseline 上 GLM-5.1 效果最好,就基于它繼續做 post-training。
晚點:現在從大家的使用體驗來看,不管是企業還是個人使用,可以說智譜的模型在中國開源模型里確實是最強的嗎?
Henry:智譜的模型,尤其是 5.2 發布之后,在硅谷這邊呼聲非常高。從數字上看,它是 Terminal-Bench 首個破 80 的開源模型,并且有多項長程編碼任務能超過 GPT-5.5,成本只有六分之一;但更重要的是,很多人在 X 上說,這是第一個他們覺得 “編程手感對” 的模型:不光 benchmark 跑得好,實際完成任務效果也確實不錯。
智譜還很明智地支持了 Anthropic 的 API 格式,所以你可以直接用 Claude Code 的 harness,把后面的 API 替換成 GLM 5.2,幾乎無痛替換掉 Opus 4.8,我覺得這是非常厲害的。
還有一個我觀察到比較有意思的現象,Harvey 除了和 Applied Compute 合作,還和 Fireworks 在六月初合作,推出了一個也是基于 GLM-5.1 的模型。
晚點:我們剛才聊到的這種合作模式,實際上是 Fireworks 和 Applied Compute 等具備模型服務能力的美國公司,結合中國的開源模型生態,共同服務以硅谷或美國本土為主的客戶。某種意義上算是中美在 AI 領域的合作。而另一方面,面對日益強大、看似無所不能的 frontier lab,你如何看待這兩者在對局中的強弱?
Henry:回看過去三年,模型能力都是 “你方唱罷我登場”,很少有人能一直領先。
晚點:開源模型似乎一直未能真正追上閉源模型,盡管看起來有不斷逼近的趨勢。
Henry:沒有真正追上。目前閉源模型相比開源的 frontier 模型,可能還領先幾個月到半年的水平。
晚點:“需要擁有專屬模型” 這一趨勢是否會持續?在 2024 年前后,行業曾迎來一波微調紅利,但隨著基礎模型能力的提升,這些技術紅利最終都被覆蓋了。當下的時間節點,這種趨勢還能持續嗎?
Henry:當前情況出現了兩個重要變化。第一,現在做后訓練服務的公司,都需要配備 FDE(forward deploy engineer,前向部署工程師)協助企業后訓練。得益于 AI coding 能力的增強,這種前向部署的成本較兩年前已有所下降。
第二是模型能力與任務相對難度的關系發生了改變。過去模型在特定場景(如法律)的進化速度極快,例如從 GPT-3.5 到 GPT-4 提升非常大,導致在老版本模型上做 post-train,可能根本趕不上新模型的改進。但現在不太一樣,在 frontier 級別的開源模型上加上私有數據進行微調,表現很有可能超過閉源的 frontier 模型,且短期內不會被反超。
晚點:你認為 “專屬模型” 會成為更持久的趨勢嗎?
Henry:這次的趨勢會比上一波更強,但這本質上是一個此消彼長的過程。當 frontier 模型遭遇技術瓶頸或監管阻力時,開源模型就會迎來增長契機。不過,專屬模型并不適合所有企業。初創公司不應盲目投入后訓練,而應先利用 OpenAI 或 Anthropic 的模型跑通產品,獲取市場驗證。
晚點:初創公司倒是可以去幫別人擁有自己的模型,這是一個創業方向。
Henry:對,所以我覺得適合做后訓練的公司有幾個特征:第一是要有高質量的專有數據,否則沒必要做后訓練;第二是要有一個比較明確的評估體系,能知道模型是不是變好了,比如 Harvey 就有一個 legal agent 的 benchmark。第三是要有真正高頻、高價值的業務,這樣模型稍微提升幾個點,就能帶來經濟價值。
晚點:法律、醫療健康、金融、咨詢等行業就很適合,這些也是 Anthropic、OpenAI 會去做的方向。接下來可以聊聊中國開源模型的現狀,前面提到的兩個合作都使用了智譜的 GLM-5.1。整體來看,第二季度中國開源模型的發展和在全球科技企業中的采用情況如何?
Henry:DeepSeek 表現基本符合預期,有一些小的改進,在 infra 層面做得非常 solid,但沒有特別驚艷。他們投入了很多時間精力去做 V4,但沒有帶來 V3 那么大的 ROI。因為現在大家的策略是 “全都要”,不光是所有模型,硬件也是,硬件指的是 GPU、TPU,以及 Cerebras、SambaNova,他們想做全平臺通吃。
晚點:Kimi、MiniMax、小米、千問等廠商,本季度有什么亮眼進展?
Henry:這個季度中國開源模型的進展可以說是 “四殺”:過去八周內,Kimi 2.6、DeepSeek V4、Kimi 2.7 以及 GLM-5.2 四次易主全球最強開源模型,在編碼能力和成本控制上,已經快要追平 GPT-5.5 和 Opus 4.8 這一級別的模型。盡管最頂尖的 frontier 模型可能仍保持約半年的領先優勢,但差距目前沒有繼續拉大的趨勢。
新的交互 :Claude Tag 和 OpenAI 的 Record & Replay
晚點:智能擴散的第二個相關話題是產品創新層面的交互嘗試。前面提到,OpenAI 內部認為其模型雖強,但在產品和推向市場方面不如 Anthropic。這季度 Anthropic 推出了一項備受關注的新功能 Claude Tag,類似之前 Devin 與 Slack 打通的嘗試。這個新功能帶來了哪些變化與討論?
Henry:Claude Tag 是一個很直觀的功能,允許用戶在 Slack 中通過 @Claude 提交任務,完成后結果會直接返回群聊。這一交互方式的核心轉變在于:從 “每個人擁有獨立的聊天機器人”(相當于個人助理),變成了 “團隊擁有一個 24 小時待命、掌握全部上下文的 AI 同事”。
Andrej 認為這是 AI 交互界面的第三次大改:第一次是網頁版的 chatbot;第二次是用戶在手機和電腦端下載 app 進行交互;第三次則是 AI 真正進入企業協作空間,與人類深度協作。Anthropic 內部對此非常興奮,Claude Code 團隊的產品經理說,目前他們產品團隊約 65% 的代碼都是通過 Claude Tag 完成的。
晚點:這個概念本身并不新穎,國內外早有類似嘗試。為什么 Claude 這一步做得相對較晚?
Henry:之前他們主要在自身最擅長的產品形態上下功夫,在 Claude Code 上投入了大量時間。現在他們希望進一步拓展產品線。據我了解,接入 Slack 這個功能在 Anthropic 內部已經做了挺久,主要是在深入打磨產品體驗。
我問過一位 Anthropic 的朋友:Claude 接入 Slack 難道不是一個簡單的功能集成嗎?以你們的編程能力,直接 vibe code 一下不就完成了?他說在用戶體驗層面,如何高效利用上下文、如何讓 AI 從被動接收信息轉變為主動 propose 任務,團隊在背后下了很多功夫。
從概念上講,它確實沒有 Andrej 描述得那么新。但如果執行好的話,對用戶的實際影響會很大。我身邊使用 Devin 的團隊,最看重的就是其在 Slack 中的協作體驗。現在 Claude 也實現了 Slack 集成,我會更擔心 Devin 的用戶留存。
晚點:Devin 目前近況如何?
Henry:Devin 的收入增長應該挺好的。他們目前的業務分為兩部分:一是售賣工具;二是提供服務。例如,企業客戶要梳理一個數十萬行代碼的倉庫,可以直接全盤包給他們來做。相當于一種 AI-empowered 的咨詢服務。
晚點:或者說是 AI-empowered 的外包,只是人類在其中的參與度大幅降低了。這是 Anthropic 這個季度的功能變化。 OpenAI 的一個新功能是 Record and Replay,你可以講講這個功能的作用嗎?
Henry:這個功能主要分為兩步。第一步是 record,可以讓 Codex 錄制完成某個任務的全過程。開啟錄制后,它會觀察你如何一步步在電腦上操作。錄制完成后,它會將這些操作固化為一個 skill。當你之后想要 replay 時,它就會根據這個 skill 記錄,通過 computer use 的方式自動完成該任務。這是一種很好地將技能從人類轉移給 AI 的方式。
這個概念并不算新。之前 Meta 內部有一個類似的 MCI 項目,專門在員工電腦上安裝錄屏軟件,希望通過這些數據讓 AI 學會人類的任務,最終達到 “把員工蒸餾掉” 的效果。
晚點:這個項目似乎也是這一季度的新聞,但在 Meta 內部已經被叫停了。這種做法肯定會引起員工的強烈反彈。對 OpenAI 來說,他們顯然也看到了這個方向的價值,只是 Meta 強制推行的方式令人難以接受。
Henry:是的, Meta 的方式是強制性的,而 OpenAI 更早在這方面產品化了,所以在時間線上也更領先。
晚點:這其實非常像機器人的 “遙操”。早期機器人正是通過遙操同構機器,將人類的操作能力遷移到機器上。
Henry:在模型進展方面,目前 “御三家” 在 OSWorld-Verified 榜單上的表現已經全部超越了 72% 的人類極限,其中 GPT 達到了約 83%, Claude 也接近 80% 的水平。
晚點: OSWorld 是一個針對 computer use 的 benchmark。你覺得 OpenAI 推出的 Record and Replay 與 Anthropic 推出的 Claude Tag,哪一個更能引領未來的方向?會有更多廠商跟進嗎?就實際體驗而言,哪個對用戶更有用?
Henry:從概念上講, Record and Replay 更能代表未來的發展方向,我相信后續會有更多廠商追隨 OpenAI 的腳步。但它高度依賴當前 computer use 模型的能力,在多步任務的準確性和延遲方面仍有待提升。因此短期內, Claude Tag 產生的實際用戶影響可能會更大。
晚點:這會有很多人實際用起來,而且也會沖擊到 Devin 這類公司。回到 Record and Replay 功能,你說它現在還處于比較早期的狀態,有些地方可能不是很好用。但理論上推出去之后,他們可以獲得相關數據,對嗎?
Henry:對,能獲得大量真實數據。不過也要看它的使用條款,看這些數據能不能直接用于模型訓練。
晚點:這還挺涉及隱私的。因為獲取的數據里包含了你使用的系統界面截圖,個人信息有可能被暴露。
Henry:這些數據比之前的純文本數據要豐富得多。
晚點:這是個很好的提醒,如果有人想試用,可以仔細看看隱私協議是怎么規定的。如果這些數據能用上,我覺得對提升他們在 OSWorld 這類 Computer Use Benchmark(計算機使用基準測試)上的能力,會有挺大幫助。
Henry:對。目前 Computer Use Benchmark 好像一直沒有特別大規模的測試集。所以這個功能一旦上線并積累大量用戶,他們應該能比較快地拿到市面上最大的 Computer Use 數據集。
晚點:也許他們自己就能編制一個更好的評測指標了。這也是和機器人挺不一樣的地方:OpenAI 推一個新功能,就會有用戶來用,雖然數據能不能直接訓練還不知道;但在物理世界就不是這個邏輯,你得先造一個真實的機器人,放到特定場景去跑才能獲得數據。哪怕你免費把機器人送給別人用,對方也不見得想要。獲取數據的路徑沒那么通暢,成本也高。
Henry:做機器人確實更難。另外,大家在數字世界里 “放棄隱私” 這件事已經干了很多年,多少有些習慣了;但要在物理世界里暴露隱私,還有一定的心理門檻。
晚點:除了前面說的這兩個功能,二季度在新的交互上還有一個進展:OpenAI 繼續發布了它的多模態系列,包括流式語音 API 系列 Realtime,以及他們的文生圖系列。Thinking Machines Lab 這家公司在二季度也發布了首個語音交互模型 Interaction Model。為什么大家依然覺得語音這個方向非常重要?以及這些新成果相比之前有哪些突破?
Henry:語音不是一個普通的多模態能力,它是人與 AI 交互的基礎設施。前面我們提到當前的一條主線是 “AI 在社會里的擴散”,要讓人們能夠在各種場景隨時隨地和 AI 交流、用上 AI,語音非常重要。
Thinking Machines Lab 的這次發布,我個人覺得非常有意思。這個模型叫 Interaction Model,是一個 276B MoE 模型,12B 激活,是他們自己從零開始訓練的。最有意思的一點是,它是一個能邊聽邊說、還能 “看”、能看你的動作及時反應、能打斷人的模型——以前這是從來沒有過的。
而且它在后臺還配了一個異步推理模型:在做實時反饋的同時,后面還有一個模型在做長思考,可以把這些深度思考再插回對話里。他們在網上發了一篇博客和一些 demo 錄制視頻,但目前還沒開放 API 和大規模使用,所以還沒有太多用戶能用上、給出真實反饋。
但我覺得它的意義在于:之前最好的語音實時交互模型應該是 OpenAI 的 GPT Realtime,但 GPT Realtime 其實是一個 “對講機”,還是 turn-based。你之所以感覺是 real-time,是因為上面包裝了一層 VAD(voice activity detection),通過算法判斷你大概說完了,該輪到它開口了,但本質上還是一個輪流說話的對講機。
而 Interaction Model 的交互模式是從 “對講機” 變成真正 “打電話”:它一直在聽你說什么,并且可以同時說話,也就是 full duplex。
晚點:沒有全量開放這個 API,是因為這種新方式可能非常貴嗎?
Henry:我不太確定是效果還需要打磨,還是成本太高、自己的 infrastructure 沒做好,還是別的原因。
晚點:這個模型本身是不是不太好直接做成一個 To C 的產品?
Henry:這是一個很合理的推斷。他們最終很可能要推出一個 To C 的個人助手產品,而這個模型就是個人助手交互的 Interface。現在先把模型的能力展示出來,最終的目的還是為了發布那個個人助手。
還有一點能突出它這個架構和以前完全不一樣:發布模型時,他們做了兩個針對性的 benchmark:一個是 TimeSpeak(按指定時間精確開口),比如讓模型每四秒提醒用戶呼吸一次,看它能不能準時說話;另一個是 CueSpeak,是考察模型能否在內容里出現一些信號時,該說話時就說話。他們內部用這兩個 benchmark 來衡量模型在實時語音方面的能力夠不夠強。
在這兩個 benchmark 上,他們領先 OpenAI 的 GPT-Realtime-2 很多:TimeSpeak,TML 的 Interaction Model 是 64.7%,Realtime-2 是 4.3%。這主要是因為對方的架構本身就做不了這件事,所以他們的新架構對比之下才這么高。在第二個 benchmark 上,TML 是 81.7%,Realtime-2 是 2.9%。
晚點:OpenAI 二季度發布的 Realtime 2.0 表現如何?這也是 Realtime 系列的最新一代。
Henry:實際使用體驗還是不錯的。
晚點:除了語音,我們也可以再聊聊文生圖。在 Sora 暫緩之后,OpenAI 的文生圖似乎還在繼續,比如 Image-2。
Henry:我覺得 Image-2 的效果非常好,在 Image Arena 上斷層式領先,Elo score 1500 多分,比第二名高了大概 200 分,在視覺生產力的各個方面都非常強。比如社交媒體上有大量用 Image-2 生成電影海報的例子,效果非常好,在一些有經濟價值的任務里,它比上一代文生圖模型強很多。
晚點:所以它和 Sora 的區別是,沒有那么花錢,回報也算得過來。
Henry:Nano Banana 類功能對 To C 產品的增長其實有很大幫助。當時 Google 發布 Nano Banana 的時候,他們 App 的下載量有大幅上升;還有些創業公司為了想把流量做上去,就通過免費提供 Nano Banana 的功能來吸引用戶。
更多討論
Meta、Google、xAI 是否還能趕上?
晚點:聊完智能前沿和智能擴散之后,我們來看一些其他重點公司的進展。首先是 Meta。這一季度,他們的核心 AI 部門 TBD 在重組后推出了首個新模型。行業內對這個新模型反響如何?是否因為沒有完全開放 API,導致實際能夠使用的人也相對較少?
Henry:行業里的討論不多,這個模型應該接近前沿能力,但還處于追趕的態勢,還沒有真正達到前沿。我身邊沒聽說有人用過這個模型。
晚點:相比于新模型,本季度 Meta 更大的動作依然是上次討論過的裁員。
Henry:我覺得扎克伯格的計劃是通過持續裁員,將節省下來的錢進一步投入 AI 開發。不過內部目前比較動蕩,面臨不小的阻力。
晚點:我們之前討論過 Meta 的 token 消耗競賽——更廣泛地說,一季度有一種 token-maxing 的風潮,很多公司爭先恐后地希望員工更多地用 AI,你怎么看這個風潮比較快地趨于平息?
Henry:我覺得所有這些技術趨勢都會 follow 一個三部曲:先是 frenzy(狂熱),然后可能是 crash(崩盤),最后是 stabilization(穩定)。Token-maxing 基本上也是這三個階段:Q1 是狂熱階段,錢花了上億美元,但沒有太多產出,接下來進入第二個階段,我相信很快會進入第三個階段。Meta 內部有一個 leaderboard,看誰的 token 用得最多,現在這個 leaderboard 已經被取消了,給每個人也加上了 token 使用的 quota(上限),應該就是進入了新的階段。
晚點:大公司的人均限額一般是多少?
Henry:Meta 的限額應該是比較高的。之前聽說 Uber 僅僅四個月就用完了全年的額度,他們大概給每個工程師每個月 500 到 2000 美元的限額。
晚點:國內差不多也是這個量級。接下來我們來聊聊 Google,以及 xAI 二季度的變化。
Henry:Google 在這次 I/O 大會上發布了新模型 Gemini 1.5 系列,它對視頻的理解和處理能力非常驚艷。Google 這個季度的亮點主要集中在多模態,但他們內部也充分意識到了代碼能力對未來營收和競爭地位的重要性,所以目前也在加碼代碼方面。
xAI 現在正在轉變成一個 Neocloud。放棄自己 train 模型以后,他們把算力集群租出去。現在每個月光租金就有 12.5 億美金的收入。而且馬斯克現在又要去建太空算力中心,xAI 應該是朝算力方向走。
晚點:他放棄訓練底層模型這件事已經板上釘釘了嗎?
Henry:對外肯定不會說要放棄,但實質上,他現在已經沒有訓練模型的人才團隊了。
晚點:你覺得收購 Cursor 能多大程度改變這件事情?
Henry:Cursor 團隊可能并不能完全填上他之前的窟窿,可能沒有做預訓練的人才。
晚點:我們還會看到 Grok 新模型嗎?
Henry:可能還需要一段時間。
晚點:5 月底,馬斯克自己在 X 上說 Grok 新模型已經完成了預訓練,大概 2 到 3 周之后就會公布,但直到現在也還沒動靜。
Henry:Elon is always right, except the timing.
晚點:你有沒有聽說 xAI 補充新團隊的消息?
Henry:他們確實招了些人,但聽說招的主要是做 harness 的人,不是做訓練模型的。
晚點:你覺得馬斯克還有可能追上嗎?
Henry:我覺得比較難。但 never bet against Elon 的話,如果他真的想做,還是有希望的。
晚點:對于擁有較多資源、有抱負的團隊,在這個時間節點還有可能趕上預訓練的窗口期嗎?還是說在 2023、2024 年其實就已經結束了?
Henry:應該已經結束了。即使之后技術又有比較大的變化,出現一個大的瓶頸期,那也應該去解決新的瓶頸,而不是把原來的老路再走一遍。
晚點:那你覺得 Google 和 Meta 還有可能趕上第一梯隊嗎?
Henry:有機會,Google 的可能性會更大一些。
晚點:相比于去年三季度 Google “強勢回歸” 的狀態,現在大家確實覺得 Google 有點落后了。
Henry:當時能短暫重回第一,一方面是因為它的多模態能力確實不錯;另一方面是它同時發布了 Gemini 3 和 Antigravity(收購 Windsurf 后研發的新 Agent IDE)。去年 12 月底,Gemini 3 的代碼能力與 Anthropic、OpenAI 相比還沒有太大的差距,但今年 OpenAI 和 Anthropic 在這方面有了長足進步,而 Gemini 卻未能實現太大突破。
Google 過去一直擅長把成本壓得極低。從之前的 Pareto frontier 圖來看——橫軸與縱軸分別代表成本和模型能力——在同等模型能力下,最便宜的基本都是 Google 的模型。但今年這個優勢似乎也不在了,新的 Gemini Flash 比之前貴了好幾倍,導致 Google 在 Pareto frontier 上失去了領先位置。
再加上最近 Transformer 論文八位作者之一的 Noam Shazeer 也離開 Google 加入了 OpenAI,大家可能會對 Google 感到擔憂。不過,我認為 Google 的底子依然很好。
晚點:這個底子來自哪里?
Henry:一是研究人才儲備,除了 Noam Shazeer 之外還有很多很好的研究員;另外是算力基礎還在,他們在算力上有很大的優勢。
晚點:你覺得 Meta 有可能趕上的原因是什么?這幾天我和不少人交流,大家對 Meta 的整體態度還是比較悲觀的。
Henry:Meta 最大的風險就是出現類似 xAI 那種團隊解散的情況。
晚點:之前是 “御三家”,現在是兩大 frontier lab,未來會只有一個公司持續領先嗎?
Henry:應該不會。2023 年 GPT-4 剛發布時非常驚艷,當時 OpenAI 領先其他 lab 的優勢,遠大于現在兩大 frontier lab 與第二名的差距,但即便如此最終也被追平了。所以未來更可能是交替領先的態勢。除非某個 lab 率先在 RSI 上取得突破,加速度遠超對手,那可能出現一家獨大的情況。
Midjourney 跨界做醫療設備
晚點:最后聊點輕松的話題。你之前提到,這個季度硅谷有一家已經不在風口浪尖的公司—— Midjourney 發生了很有意思的變化。第二季度它做了什么?
Henry:六月中,Midjourney 突然宣布了新產品和部門——Midjourney Medical。首個新硬件產品叫 Midjourney Scanner,號稱 “50 年來第一個全新的全身醫學影像方法”。它的工作原理是,人站在一個淺水池的平臺上,周圍環繞著大概 40 萬個超聲波換能器,聲波從全方位穿過身體,每秒生成 TB 級別的數據,通過計算集群重建肌肉、脂肪、骨骼器官的 3D 橫截面圖像。他們管這個方法叫 ultrasonic CT,是 CT 的一個 “超級升級版”。
晚點:為什么突然做超聲波 CT?
Henry:Midjourney 的創始人 David Holz 是一個非常有想象力的人。Midjourney 從來不融 VC 的錢,因為 David 不想受投資人控制,希望完全按自己的意愿來運營公司。所以他用 Midjourney 在文生圖方面的收入,養了一個大概 50 人的團隊,做各種硬件項目,應該已經做了超過一年多的時間。他現在可能同時做八個項目,一半硬件、一半軟件,短期內想把兩個硬件產品推向市場,Midjourney Medical 是其中之一。
晚點:Midjourney 的創始人以前是什么背景?
Henry:David 最早在 NASA 工作過,做過激光雷達相關的工作,后來他自己創辦了一家叫 Leap Motion 的公司,做手勢識別,后來被競爭對手收購了。所以他有很多豐富的硬件經驗,后來又成功轉行做 AI 多模態模型,也做得非常好。他涉獵非常廣,經常在家里辦詩歌朗誦、即興音樂會,或者 AI 和人一起創作音樂等各種活動,很多研究員和舊金山的創業者會去他家參加這些活動。
題圖來源:F1: The Movie
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.