00后和院士同臺(tái)產(chǎn)學(xué)研趟出新路，大模型下一戰(zhàn)要拼全模態(tài)和真對(duì)齊

智東西

作者 | 陳佳

編輯 | 云鵬

智東西7月7日?qǐng)?bào)道，昨日，中國(guó)中文信息學(xué)會(huì)把學(xué)界教授、企業(yè)負(fù)責(zé)人和投資人拉到了同一張桌子上，聯(lián)合聯(lián)想控股、中科院軟件研究所等單位，成立了產(chǎn)學(xué)研創(chuàng)新生態(tài)工作委員會(huì)（下稱“工委會(huì)”）。

聯(lián)想控股CEO于浩出任工委會(huì)首任主任。過去產(chǎn)學(xué)研的典型路徑是“成果后轉(zhuǎn)化”，即科研機(jī)構(gòu)先做出成果，再找市場(chǎng)。于浩認(rèn)為，現(xiàn)在要轉(zhuǎn)向“協(xié)同前創(chuàng)新”，讓產(chǎn)業(yè)端從研發(fā)階段就加入，資金同步跟進(jìn)，形成閉環(huán)。

會(huì)上，百度CTO、中國(guó)中文信息學(xué)會(huì)副理事長(zhǎng)王海峰發(fā)表“原生全模態(tài)大模型”主題演講。他認(rèn)為大模型不能停留在ASR、LLM、TTS等模塊級(jí)聯(lián)，或視覺、語言模型的架構(gòu)拼接，關(guān)鍵是把文本、音頻、圖片、視頻統(tǒng)一成離散Token，在共享表示空間和自回歸框架下建模。AI競(jìng)爭(zhēng)已從單模型能力走向工程平臺(tái)、算力適配和產(chǎn)業(yè)落地的系統(tǒng)能力。

微軟亞洲研究院首席研究員劉樹杰作圓桌引導(dǎo)報(bào)告，他從VALL-E的語音離散化路線講到多模態(tài)大模型，并認(rèn)為當(dāng)前多模態(tài)大模型推理弱、魯棒性差，根源不在于模態(tài)疊加得不夠多，而在于模態(tài)沒有真正對(duì)齊。

在隨后的圓桌環(huán)節(jié)中，拓爾思董事長(zhǎng)、中國(guó)中文信息學(xué)會(huì)監(jiān)事施水才說，過去產(chǎn)學(xué)研的線性轉(zhuǎn)化路徑已經(jīng)太慢，現(xiàn)在必須并聯(lián)融合；科學(xué)家創(chuàng)業(yè)不能“既要又要”，團(tuán)隊(duì)必須互補(bǔ)。北京前沿國(guó)際人工智能研究院理事長(zhǎng)、英諾科創(chuàng)基金合伙人王晟認(rèn)為：“VC投的不是科學(xué)家，是有科技基因的企業(yè)家。”他判斷，絕大多數(shù)教授只能做首席科學(xué)家，能當(dāng)CEO的是極少數(shù)。

聯(lián)想控股副總裁紀(jì)朝峰坦言“最怕院士創(chuàng)業(yè)”，因?yàn)樵趯W(xué)術(shù)圈習(xí)慣了權(quán)威，“誰敢提管理意見？”。而00后魔芯科技創(chuàng)始人、在讀博士陳天潤(rùn)則提供了一個(gè)反直覺的觀察：在大模型等前沿方向，真正推動(dòng)技術(shù)進(jìn)展的往往不是導(dǎo)師，而是親手做實(shí)驗(yàn)的博士生。

一、百度CTO王海峰：大模型從多模態(tài)拼接走向原生全模態(tài)

王海峰是國(guó)家卓越工程師、百度首席技術(shù)官，也是深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任、中國(guó)中文信息學(xué)會(huì)副理事長(zhǎng)。在這場(chǎng)演講里，他把人工智能的下一個(gè)關(guān)鍵方向放在“原生全模態(tài)”上。

他先把現(xiàn)有多模態(tài)路線分成兩類：一類是系統(tǒng)層級(jí)的級(jí)聯(lián)，比如語音對(duì)話系統(tǒng)里ASR把語音轉(zhuǎn)文字、LLM做推理、TTS再合成語音。另一類是模型內(nèi)部的架構(gòu)拼接，通過跨模態(tài)對(duì)齊模塊連接視覺和語言模型。問題在于，這兩種方式都容易帶來信息損耗、表示空間不統(tǒng)一、跨模態(tài)對(duì)齊困難等問題。

所謂原生全模態(tài)，是讓文本、音頻、圖片、視頻等輸入和輸出都進(jìn)入一個(gè)統(tǒng)一模型框架，而不是讓多個(gè)獨(dú)立模塊在外部接力。在文心大模型5.0的設(shè)計(jì)中，多模態(tài)輸入被序列化為統(tǒng)一的離散Token，映射到共享表示空間，再在自回歸Transformer主干上以“下一Token預(yù)測(cè)”一類統(tǒng)一目標(biāo)進(jìn)行建模。

王海峰提到，文心嘗試用彈性預(yù)訓(xùn)練（Once-For-All）一次訓(xùn)練多種規(guī)格子模型，以適應(yīng)不同算力、延遲和成本約束。其還用超稀疏MoE和動(dòng)態(tài)路由在“容量”和“效率”之間找平衡，專家激活率低于3%。文心在語音上用多層Codec Token完成理解和生成，在視覺上把圖片視作單幀視頻，將圖片與視頻統(tǒng)一為視覺Token序列。

他還提到了后訓(xùn)練和工程平臺(tái)側(cè)的幾個(gè)關(guān)鍵點(diǎn)：用訓(xùn)推一致的強(qiáng)化學(xué)習(xí)后訓(xùn)練保障稀疏MoE穩(wěn)定收斂；用多教師在線策略蒸餾降低不同能力相互干擾；用FlashMask面向復(fù)雜掩碼的高效注意力計(jì)算，降低長(zhǎng)上下文和多模態(tài)異構(gòu)輸入帶來的算力壓力。在底層適配上，飛槳深度學(xué)習(xí)框架已覆蓋60多個(gè)系列芯片，覆蓋主流國(guó)產(chǎn)人工智能芯片。

大模型競(jìng)爭(zhēng)不只是單點(diǎn)模型參數(shù)或榜單名次，而是統(tǒng)一建模、工程平臺(tái)、多硬件適配和應(yīng)用落地的組合能力。王海峰認(rèn)為，人工智能技術(shù)及產(chǎn)業(yè)創(chuàng)新依賴大規(guī)模數(shù)據(jù)和工程平臺(tái)，需要產(chǎn)學(xué)研共同凝練真問題，建立更有耐心、有容錯(cuò)空間的創(chuàng)新環(huán)境。

二、微軟研究員劉樹杰：多模態(tài)不是把模態(tài)加進(jìn)來，而是把表示對(duì)齊

劉樹杰是微軟亞洲研究院首席研究員，長(zhǎng)期從事自然語言處理、語音處理和機(jī)器學(xué)習(xí)研究。他的研究成果已應(yīng)用到Microsoft Translator、Skype Translator、Microsoft IME和微軟語音服務(wù)等產(chǎn)品中。

他以VALL-E為例講了一條把語音當(dāng)作語言建模的路徑。傳統(tǒng)文本到語音（TTS）任務(wù)，可以被改寫為在離散神經(jīng)音頻編解碼Token上的條件語言建模。一旦語音變成Token序列，就能借用大語言模型的訓(xùn)練思路，實(shí)現(xiàn)零樣本個(gè)性化TTS、語音編輯和更富有表現(xiàn)力的語音生成。

后續(xù)VALL-E X進(jìn)一步做到跨語言零樣本TTS，讓用戶可以用自己的聲音說外語。VALL-E 2則把零樣本TTS效果推到更接近人類水平。

劉樹杰對(duì)多模態(tài)大模型的判斷是，純文本模型的輸入干凈、符號(hào)化，推理能力和穩(wěn)定性更強(qiáng)；多模態(tài)信號(hào)則更含噪、更非符號(hào)化，還帶有長(zhǎng)程時(shí)序結(jié)構(gòu)。

在他看來，多模態(tài)大模型推理和魯棒性不夠好，根本原因往往不是模態(tài)不夠多，而是表示不匹配、噪聲信號(hào)太多，模型的建模能力被消耗在處理噪聲上，而不是用在推理上。

因此，劉樹杰認(rèn)為，關(guān)鍵不是把音頻、圖片、視頻等模態(tài)直接“加進(jìn)來”，而是真正解決表示與對(duì)齊問題。

語音介于文本和視覺之間，既是語言，也是信號(hào)，因此可以成為連接文本大模型和更復(fù)雜多模態(tài)任務(wù)的橋。在視頻方向，他提到ARLON一類思路，即把連續(xù)視頻信號(hào)壓成離散視覺Token，讓自回歸模型提供粗粒度語義和時(shí)序引導(dǎo)，再用DiT細(xì)化出高質(zhì)量畫面，兼顧長(zhǎng)程一致性和畫面質(zhì)量。

落到產(chǎn)學(xué)研，劉樹杰認(rèn)為，要攻堅(jiān)大模型的核心問題，如表示、對(duì)齊、評(píng)估與推理，而不是停留在跟隨和調(diào)參。還要和產(chǎn)品團(tuán)隊(duì)、產(chǎn)業(yè)界保持足夠緊密的合作，讓研究問題來自真實(shí)場(chǎng)景，也讓成果更快回到產(chǎn)品和業(yè)務(wù)中。

三、研產(chǎn)融合共同答題，把科研團(tuán)隊(duì)和產(chǎn)業(yè)需求接到一起

在于浩看來，產(chǎn)業(yè)端不能等技術(shù)成熟后再找應(yīng)用場(chǎng)景，科研端也不能只等論文和項(xiàng)目結(jié)題后再尋找市場(chǎng)。產(chǎn)業(yè)和科研不是一方出題、一方作答，而是雙方聯(lián)合出題，依靠研產(chǎn)融合共同解題。

工委會(huì)具體要做什么？于浩給出了一個(gè)縱橫兩條線的框架。

縱向是打通科研端、產(chǎn)業(yè)端和投資端。橫向是在學(xué)會(huì)內(nèi)部打通各個(gè)專委會(huì)。中文信息學(xué)會(huì)下設(shè)機(jī)器翻譯、信息檢索、語音處理等多個(gè)專業(yè)委員會(huì)，但于浩認(rèn)為，在AI技術(shù)快速迭代的環(huán)境下，按傳統(tǒng)技術(shù)方向劃分的組織形式已經(jīng)不夠靈活，工委會(huì)要做資源的橫向連接。

落地層面，工委會(huì)計(jì)劃搭建三個(gè)平臺(tái)。一是評(píng)測(cè)平臺(tái)，把過去學(xué)術(shù)導(dǎo)向的評(píng)測(cè)改為“產(chǎn)業(yè)出題”模式，引入企業(yè)真實(shí)需求來設(shè)計(jì)評(píng)測(cè)任務(wù)。二是信息樞紐平臺(tái)，改變過去老師和企業(yè)點(diǎn)對(duì)點(diǎn)對(duì)接的零散合作，做成系統(tǒng)化的生態(tài)。三是背書平臺(tái)，借助學(xué)會(huì)作為國(guó)家一級(jí)學(xué)會(huì)的公信力，降低產(chǎn)學(xué)研合作中的信任和溝通成本。

圍繞這三個(gè)平臺(tái)，工委會(huì)公布了未來18個(gè)月的工作計(jì)劃，主要做四件事。

一是技術(shù)前瞻，產(chǎn)業(yè)界、投資界和科技界能夠一起去探索、預(yù)測(cè)真正前沿一些技術(shù)的節(jié)點(diǎn)。

二是項(xiàng)目孵化，完成標(biāo)桿項(xiàng)目的孵化落地，希望把智譜模式能夠復(fù)制出去，不是單點(diǎn)，而是多面。

三是專業(yè)評(píng)測(cè)，把企業(yè)真實(shí)問題轉(zhuǎn)化為評(píng)測(cè)任務(wù)來驅(qū)動(dòng)技術(shù)團(tuán)隊(duì)解決實(shí)際問題。

四是人才發(fā)現(xiàn)，即從評(píng)測(cè)和企業(yè)互訪中挖掘優(yōu)秀的青年技術(shù)人才。

四、圓桌激辯產(chǎn)學(xué)研合作模式，最怕院士創(chuàng)業(yè)，絕大多數(shù)教授只能當(dāng)首席科學(xué)家

在隨后的圓桌環(huán)節(jié)，來自產(chǎn)業(yè)、高校、資本和創(chuàng)業(yè)一線的嘉賓圍繞產(chǎn)學(xué)研合作話題進(jìn)行了探討，話題集中在兩個(gè)問題：產(chǎn)學(xué)研的合作模式變化是什么？科學(xué)家創(chuàng)業(yè)該怎么定位？

拓爾思董事長(zhǎng)、中國(guó)中文信息學(xué)會(huì)監(jiān)事施水才說，過去產(chǎn)學(xué)研轉(zhuǎn)化更多是線性的，從實(shí)驗(yàn)室到公司，再到資本和市場(chǎng)，但今天這個(gè)路徑已經(jīng)太慢。他判斷，新的變化至少有幾個(gè)特征：硬科技創(chuàng)業(yè)地位更高，科學(xué)家需要更深度參與，技術(shù)迭代進(jìn)入“生死時(shí)速”，企業(yè)必須做到行業(yè)頭部，同時(shí)也更需要資本和政府基金護(hù)航。

施水才談到，現(xiàn)在不少高校教授其實(shí)都有產(chǎn)業(yè)化想法，但創(chuàng)業(yè)不能“既要又要”，團(tuán)隊(duì)也不能只有一類人，科學(xué)家、工程化、商業(yè)化、財(cái)務(wù)和管理角色都要互補(bǔ)。

00后陳天潤(rùn)提供了另一個(gè)視角。他是在讀博士，同時(shí)創(chuàng)辦了做世界模型的魔芯科技。他的觀察是，在大模型和世界模型等前沿方向，一兩個(gè)關(guān)鍵研究者的想法就可能改變項(xiàng)目走向，這些人未必是導(dǎo)師，很多時(shí)候可能是在讀博士或剛畢業(yè)的年輕人。但年輕團(tuán)隊(duì)也需要高校、產(chǎn)業(yè)和資本資源支撐，才能把研究想法變成更有行業(yè)影響力的產(chǎn)品。

哈爾濱工業(yè)大學(xué)教授、中國(guó)中文信息學(xué)會(huì)常務(wù)理事趙鐵軍對(duì)此感到認(rèn)同，他說，創(chuàng)新的主要力量確實(shí)來自在讀學(xué)生，他們思維活躍。他還提到，AI技術(shù)迭代很快，很多創(chuàng)新力量來自在讀學(xué)生和年輕研究者，高校老師需要把心態(tài)放得更開，與年輕人形成更自然的協(xié)作關(guān)系。

北京前沿國(guó)際人工智能研究院理事長(zhǎng)、英諾科創(chuàng)基金合伙人王晟從投資人角度給的判斷是：“VC投的不是科學(xué)家，是有科技基因的企業(yè)家。”

他把高校創(chuàng)業(yè)者分成三類：商業(yè)和學(xué)術(shù)都頂尖的極少數(shù)人可以做CEO；只有學(xué)術(shù)能力的占絕大多數(shù)，必須找商業(yè)搭檔；介于兩者之間的可以多承擔(dān)管理職責(zé)，但仍需互補(bǔ)。核心原則是“責(zé)、權(quán)、利對(duì)等”。

聯(lián)想控股副總裁紀(jì)朝峰則坦言“最怕院士創(chuàng)業(yè)”，院士在學(xué)術(shù)圈習(xí)慣了權(quán)威地位，辦企業(yè)容易出現(xiàn)管理盲區(qū)，“誰敢提管理意見？”。他強(qiáng)調(diào)，投資和孵化不能只在給錢之后補(bǔ)救，而要在投資前就判斷團(tuán)隊(duì)能力、組織機(jī)制和關(guān)鍵人的性格邊界。

圓桌最后的共識(shí)是：人無完人，科學(xué)家創(chuàng)業(yè)最重要的不是補(bǔ)齊所有短板，而是找到互補(bǔ)的搭檔，把責(zé)權(quán)利理清楚。