ChatGPT 的語音模式,補(bǔ)上了遲到的一課。
北京時間今天凌晨(7 月 9 日),OpenAI 推出了新一代的實(shí)時語音模型 GPT-Live,并開始逐步接管 ChatGPT 里的語音模式。付費(fèi)用戶已經(jīng)可以使用 GPT-Live-1,免費(fèi)用戶則使用能力稍弱的 GPT-Live-1 mini。
而這次升級最重要的變化,是換上了「邊聽邊說」的全雙工語音架構(gòu)。
![]()
圖片來源:雷科技
簡單來說,過去 AI 語音交互更像是在用對講機(jī)。用戶說完一句,系統(tǒng)判斷這一輪輸入結(jié)束,再開始理解和回答。即便之前采用半雙工語音架構(gòu)的 ChatGPT「高級」語音模式已經(jīng)支持中途打斷,也依然沒有完全擺脫一問一答的輪次結(jié)構(gòu)。
但新版搭載 GPT-Live 的 ChatGPT 語音模式,可以在說話的同時持續(xù)聽取用戶輸入。你可以隨時插話,它也能根據(jù)停頓、語速和上下文,決定繼續(xù)說、停下來,還是再等你一會。在長對話中 GPT-Live 也會用「嗯」「明白」一類短促反饋,表示自己還在聽。
聽起來很先進(jìn)。不過放到整個行業(yè)里看,OpenAI 其實(shí)來得有點(diǎn)晚。不管是今年 3 月推出的 Gemini 3.1 Flash Live——用在 Gemini Live,還是 4 月字節(jié)跳動推出的原生全雙工模型 Seeduplex——用到了豆包的語音通話模式中,都通過端到端實(shí)現(xiàn)真正的「邊聽邊說」。
不過,GPT-Live 的出現(xiàn),至少意味著 ChatGPT 在架構(gòu)上終于追上了兩位主要對手。而且實(shí)際用下來,三者也有明顯的不同,豆包最懂中文用戶怎么說話,Gemini 更在意 AI 能否看到周圍世界,GPT-Live 則把大量精力放到了另一件事上:怎么讓 AI 一邊和人自然聊天,一邊搜索、推理。
這是豆包之前就想做的。
邊聽邊說、會等你、會思考,GPT-Live追求更自然的語音交互
先不急著拷問 ChatGPT。
打開 ChatGPT 的語音模式后,你大概就能在左上角看到新版用上 GPT-Live 模型的「Live」,而之前的高級和標(biāo)準(zhǔn)版則被歸類為「舊版」。同時在語音模式的配置界面,還能看到「智能」的調(diào)節(jié)選項(xiàng),直接對應(yīng)了 GPT-5.5 即時、中等、高的三檔智能水平。
![]()
圖片來源:雷科技
沒錯,除了實(shí)現(xiàn)全雙工語音架構(gòu),讓 AI 實(shí)現(xiàn)真正的邊聽邊說的「全雙工」交流,GPT-Live 另一個很大的不同和升級,則是同時做到了把思考「外包」給 GPT-5.5。
簡單來說,你可以把這種設(shè)計(jì)理解為「交互」和「思考」拆開,雖然 GPT-Live 也有一定的智能,但遇到搜索、復(fù)雜推理或 Agent 任務(wù)時,它可以在后臺直接把工作交給 GPT-5.5 進(jìn)行完成。
舉個實(shí)際使用中的例子,在簡單聽了它自己對 GPT-Live 的介紹,隨后我問了它(GPT-Live)與豆包、Gemini 在語音實(shí)時交互上的不同。
GPT-Live 沒有給出幾個產(chǎn)品和模型之間寬泛的區(qū)別,而是會從豆包在抗噪、低延遲等方面的技術(shù)講到產(chǎn)品定位更強(qiáng)調(diào)語音交互本身的體驗(yàn);從 Gemini 多模態(tài)實(shí)時交互的模型設(shè)計(jì),講到 Google 更看好統(tǒng)一的音視頻實(shí)時交互。
內(nèi)容比較具體,很少出現(xiàn)那種聽上去什么都說了,實(shí)際沒有回答問題的空話,同時聯(lián)網(wǎng)信息也比較準(zhǔn)確,知道豆包、Gemini 更早時候就支持了全雙工語音。
![]()
左為豆包打電話,右為 Gemini Live,圖片來源:雷科技
相比之下,豆包語音更傾向于給出短答案。即便明確要求它展開講講,回答通常也不會拉得太長。這當(dāng)然不能全部歸結(jié)為模型能力,還可能是一種主動「約束」:豆包希望電話模式始終保持輕量,盡量接近普通人打電話聊天,滿足日常情緒價值。
當(dāng)然,GPT-Live 的聰明,實(shí)際還要?dú)w功于背后的 GPT-5.5。在具體的設(shè)計(jì)中,GPT-Live 不僅支持智能調(diào)度不同推理強(qiáng)度的 GPT-5.5,也支持手動配置默認(rèn)推理強(qiáng)度,比如選擇即時模式會默認(rèn)調(diào)用 GPT-5.5 即時,「中等」和「高」則會默認(rèn)調(diào)用不同推理強(qiáng)度的 GPT-5.5 Thinking。
![]()
圖片來源:OpenAI
這種設(shè)計(jì)對用戶來說,直接拉高了實(shí)時語音對話中 AI 的智能水平。
畢竟誰也不想「對牛彈琴」。過去人類被 AI 語音助手「氣瘋」 的例子就不少,今天大模型大幅提高了 AI 的自然語言理解能力和智能水平,但不同于基于文本的語音消息對話——將人類語音轉(zhuǎn)錄成文本、將 AI 輸出文本轉(zhuǎn)成自然語音,實(shí)時語音對話往往會犧牲 AI 的智能水平,AI 有時候的回應(yīng)仍然會氣死人。
所以,如果說豆包升級 Seeduplex 后實(shí)現(xiàn)了「邊聽邊說」,GPT-Live 更接近「邊聽邊說邊思考」。實(shí)際上,豆包 Seeduplex 發(fā)布時就展望了未來的突破方向,其中一點(diǎn)就包括:
「實(shí)現(xiàn)感知、思考、輸出一體化,進(jìn)一步探索『邊聽邊想』、『邊聽邊搜』等方案,讓模型具備更深度的思考和執(zhí)行能力,繼續(xù)提升語音交互的流暢度。」
不只是在搜索、思考上,GPT-Live 實(shí)時語音交互實(shí)際上還優(yōu)化了對話節(jié)奏。我說到一半卡住,思考接下來該怎么表達(dá)時,它也不是馬上把對話接過去,而是先安靜等待一會,不行再詢問。這是一個很小的細(xì)節(jié),卻也在一定程度上決定了語音交互體驗(yàn)的「自然」。
事實(shí)上,我們實(shí)際在說話的時候,經(jīng)常也會停下來想一想。過去的語音模型很容易把停頓當(dāng)成一句話結(jié)束,于是用戶只是吸了一口氣,AI 已經(jīng)迫不及待開始回答。豆包 Seeduplex 雖然宣稱也改進(jìn)了這一點(diǎn),但實(shí)際來看還是更容易搶話。
不過說實(shí)話,我大概率還不會成為 ChatGPT 語音模式的忠實(shí)用戶。
一方面相比英文發(fā)音,ChatGPT 的中文發(fā)音和你豆姐的「桃子音」還是差太遠(yuǎn),這次升級也沒有變化,還是更接近外國人說中文,多少有些別扭。
還有一個問題是,GPT-Live 在回答時,偶爾會出現(xiàn)明顯的「卡殼」。結(jié)合文本輸出的情況來看,大概率是 GPT-5.5 生成文本時會實(shí)時調(diào)整輸出,放到屏幕上只是文字輕微變化,變成連續(xù)語音后,就會表現(xiàn)成停頓或者不自然的轉(zhuǎn)折。
![]()
圖片來源:雷科技
OpenAI 沒有解釋這種現(xiàn)象是否來自 GPT-Live 和 GPT-5.5 之間的協(xié)作,但從體驗(yàn)來看,兩層模型的分工在帶來更強(qiáng)能力的同時,也可能增加語音輸出的復(fù)雜度。至少目前,GPT-Live 偶爾還會露出一點(diǎn)痕跡。
AI 都追求「邊說邊聽」,但想的卻不是一件事
邊說邊聽的全雙工架構(gòu),是 AI 語音交互的必經(jīng)之路,這一點(diǎn)毋庸置疑。
過去的我們都經(jīng)歷過「反人類」的語音交互:用戶說完,AI 才開始想;AI 開口,用戶最好先別說。真正自然的交流沒有這么規(guī)整,人會猶豫、停頓、改口,也會在對方說話時用一句「嗯」表示自己還在聽。AI 想成為一個可以長期交流的對象,得先適應(yīng)這種連續(xù)、混亂,甚至有點(diǎn)含糊的對話。
在這一點(diǎn)上,豆包、Gemini 和 GPT-Live 已經(jīng)走到了同一個方向,模型可以一邊輸出語音,一邊繼續(xù)接收用戶輸入。用戶不用等 AI 把整段話說完,也不用每次都明確結(jié)束一輪對話。
但「邊聽邊說」只是起點(diǎn),具體怎么聽、怎么說,以及聽到之后能做什么,三家現(xiàn)階段給出的答案有很大區(qū)別。
![]()
圖片來源:OpenAI
豆包 Seeduplex 發(fā)布之時,字節(jié)當(dāng)時花了很多篇幅講搶話、誤打斷、背景人聲和停頓判斷。這些問題看起來很瑣碎,卻恰恰決定了電話模式像不像真的在和人說話。
比如用戶停頓兩秒,可能是在思考,也可能已經(jīng)說完。旁邊同事講了一句話,可能是在和用戶交流,也可能只是無關(guān)閑聊。所以它的優(yōu)勢也很直接,豆包在中文環(huán)境下對口語節(jié)奏、含糊表達(dá)和背景干擾的處理依然是三者中最穩(wěn)的。
另一廂,Google 很早就把 Gemini Live 放進(jìn)實(shí)時多模態(tài)的統(tǒng)一框架里,支持聲音、攝像頭畫面、屏幕內(nèi)容和文本輸入,并不是幾套臨時拼起來的功能,而是同一段連續(xù)上下文中的不同信息。用戶可以一邊拍攝眼前的物體,一邊追問怎么使用;也可以共享手機(jī)屏幕,讓 Gemini 理解應(yīng)用界面或者網(wǎng)頁內(nèi)容。
這套路線更強(qiáng)調(diào)統(tǒng)一感知。Google 想解決的,是讓 AI 真正知道用戶正在看什么、屏幕上發(fā)生了什么,以及環(huán)境里的聲音是否值得回應(yīng),語音在這里更多是實(shí)時多模態(tài)助手的一部分,或者說一種交互方式。
說到這里,GPT-Live 首發(fā)暫不支持視頻通話,想用視頻還得切回舊的語音模型,而 Gemini 從一開始就把「聽」和「看」統(tǒng)一在一個 Live 模型里。
不過,現(xiàn)階段的模型統(tǒng)一,不意味著每一項(xiàng)體驗(yàn)都更好。至少在中文甚至多語言下,Gemini 實(shí)在差強(qiáng)人意,中文識別較差不說,有時候還會突然識別成其他語言。
![]()
我的普通話不至于吧,圖片來源:雷科技
GPT-Live 則把重點(diǎn)放到了另一個問題上:AI 邊聽邊說的時候,同時認(rèn)真思考。這也是豆包發(fā)布 Seeduplex 時已經(jīng)提到的下一步。
GPT-Live 沒有強(qiáng)求一個實(shí)時語音模型包攬所有工作,而是采用了更靈活的架構(gòu)設(shè)計(jì),用今天最聰明的模型之一—— GPT-5.5 應(yīng)對實(shí)時語音交互中更復(fù)雜的意圖、需求和任務(wù)。
所以在實(shí)際體驗(yàn)中,GPT-Live 的回答明顯更完整,在不破壞對話節(jié)奏的情況下,從多個層面分析問題,也能更好地處理更長、更復(fù)雜的追問。
不同的做法和思路,也反映在產(chǎn)品定位和交互設(shè)計(jì)上。Gemini Live 的通話和屏幕共享不是附加功能,而是整個交互的核心。它適合用戶舉著手機(jī)邊看邊問,也很符合 Google 對手機(jī)、眼鏡、汽車和智能家居入口的長期想象。
而豆包的入口就叫「打電話」,界面、語氣和回答長度都在盡量靠近普通電話。它通常不會連續(xù)講很長時間,即便用戶要求展開,回答也會保持相對克制。
ChatGPT 的設(shè)計(jì)則更接近一個完整 AI 工作臺的語音界面。用戶可以在同一段對話里從閑聊轉(zhuǎn)向搜索,從簡單問答轉(zhuǎn)向文件分析,也可以繼續(xù)要求模型深入推理。語音沒有被限制在一個獨(dú)立的電話模式里,而是要連接 ChatGPT 已經(jīng)具備的整套能力。
三家都在追求自然,但對通往「自然」的想法和節(jié)奏并不完全一樣。
ChatGPT架構(gòu)看齊豆包/Gemini,體驗(yàn)不分仲伯
所以,ChatGPT 終于追上豆包和 Gemini 了嗎?
架構(gòu)上,答案基本是肯定的。GPT-Live 補(bǔ)上了原生全雙工語音能力,可以持續(xù)傾聽、處理中斷,也開始更準(zhǔn)確地理解停頓。過去 ChatGPT 高級語音模式與豆包 Seeduplex、Gemini Live 之間那條明顯的架構(gòu)差距,已經(jīng)不存在了。
體驗(yàn)上,卻很難簡單排出一個先后。想要最自然的中文發(fā)音、最穩(wěn)的復(fù)雜環(huán)境識別,豆包依然更好;需要邊看邊聊、共享攝像頭和屏幕,Gemini Live 的優(yōu)勢最明顯;想通過語音深入討論一個問題,甚至繼續(xù)搜索、推理和執(zhí)行任務(wù),GPT-Live 已經(jīng)開始領(lǐng)先。
三家最后大概率會逐漸補(bǔ)齊彼此的能力。豆包會加入更深的推理和視覺,GPT-Live 會重新接回視頻,Gemini 也會繼續(xù)加強(qiáng) Live 模型與通用 Agent 之間的配合。
可以相信的是,AI 語音交互的體驗(yàn)會越來越好,一個「說話」而非「手指操作」為主要人機(jī)交互方式的未來,也會越來越近。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.