一個從未見過監(jiān)控畫面的多模態(tài)模型,卻比在監(jiān)控數(shù)據(jù)上練了多年的小模型“老將”更懂監(jiān)控。這不是科幻電影,這是2023年Om AI聯(lián)匯的一場“無心插柳”,也是CEO兼首席科學(xué)家趙天成博士更加堅信“多模態(tài)訓(xùn)練方式能為物理開放世界帶來泛化性”的關(guān)鍵節(jié)點。彼時,AI行業(yè)正在追求以大語言模型為核心的生成式AI。
三年后,這個多模態(tài)模型演變成了VLX——全球首個面向物理AI的端側(cè)流式多模態(tài)模型系列。首次提出“端側(cè)原生流式多模態(tài)”這一全新模型架構(gòu),而通過這個從Day 1為端側(cè)算力約束設(shè)計的架構(gòu),VLX模型首次在端側(cè)打通“持續(xù)感知+精準(zhǔn)定位+行動決策”的物理AI完整閉環(huán)。
![]()
VLX概覽圖
毫無疑問,站在2026年夏天的時間節(jié)點,AI行業(yè)的熱度已經(jīng)開始從數(shù)字AI轉(zhuǎn)向物理AI。不同于數(shù)字AI的2023年,雖然物理AI的熱度很高,但是行業(yè)仍未收斂,多路線并存,距生產(chǎn)落地尚遠:以語言為中心的VLA、以像素為中心的視頻生成、以3D結(jié)構(gòu)為中心的仿真、以視覺表征為中心的JEPA……行業(yè)對最主流的VLA與世界模型兩條概念路線的選擇,也依然搖擺不定,是替代,還是并存,抑或是融合?
就在這一行業(yè)還在爭論誰是物理AI終極答案之時,Om AI聯(lián)匯的VLX系列模型已然完成物理AI從仿真實驗到產(chǎn)業(yè)落地的商業(yè)閉環(huán),通過賦予機器人、無人機、可穿戴設(shè)備、安防攝像頭、AI PC等多類物理終端自主感知的“小腦”和認(rèn)知決策的“大腦”,讓這些物理終端實現(xiàn)從“被動執(zhí)行指令”向“主動適應(yīng)場景”跨越。
![]()
VLX架構(gòu)圖
這并非偶然,而是Om AI聯(lián)匯多年漫長專注后的必然結(jié)果。
2019年,當(dāng)趙天成從CMU語言技術(shù)所博士畢業(yè)時,他的履歷足夠耀眼:所在實驗室導(dǎo)師Maxine Eskenazi是對話系統(tǒng)的開山鼻祖,90年代做出了全球第一個實用化對話智能體;而他本人是實驗室第三代系統(tǒng)的締造者,2016年就率先用神經(jīng)網(wǎng)絡(luò)將延續(xù)了20年的系統(tǒng)改造成端到端生成式模型。當(dāng)時進入學(xué)術(shù)圈當(dāng)教授、大廠,幾乎唾手可得。
但他選了第三條路——創(chuàng)業(yè)。而且是一條在當(dāng)時幾乎無人理解的路線:不做純文本大模型,不追生成式AI的熱潮,而是死磕“視覺+語言”的流式多模態(tài)。即便是當(dāng)下,這也并非主流的技術(shù)路線。行業(yè)的主流敘事是“離線抽幀”:視頻就是一幀一幀截出來當(dāng)圖片處理,推理是批量的、離散的、一問一答的。而趙天成從一開始就要做的是“流式”:視頻像水流一樣持續(xù)進入模型,AI自己一直在看,不用等人提問。
![]()
Flow推理速度優(yōu)勢
這是趙天成自己的判斷。在CMU期間,他經(jīng)歷了雅虎10億美金的多模態(tài)智能體項目,“那讓我意識到多模態(tài)的價值上限會高很多,它就真的讓你感覺這是一個活物,而不只是一個對話的系統(tǒng)。”回國后,他沒有跟風(fēng)當(dāng)時國內(nèi)AI公司扎堆的生成式對話模型賽道,而是堅定地把視覺和語言融合在一起,“這兩個是主模態(tài),至少90%的物理信息都覆蓋掉了。”
五年里,從文本生成到文生圖,從VLA到世界模型,AI賽道換了三四輪“當(dāng)紅炸子雞”。2023年語言模型大火,有人曾拉他說“你以前不也搞語言模型的,為什么不出來做?”每一輪都有資本和同行勸他“轉(zhuǎn)個方向更快變現(xiàn)”。
“我們的東西,在物理AI之前一直沒有成為最火的東西。”趙天成坦言,“一直會有更火的東西擺在前面。”團隊里也有小伙伴信心動搖,有人離開,但更多核心伙伴留了下來。留下來的這群人,多年如一日,始終圍繞“V和L”這兩個點持續(xù)產(chǎn)出。
五年后的今天,AI行業(yè)喊著要從“云端”回到“地面”,要深入產(chǎn)業(yè),并真正產(chǎn)生價值,物理AI成為最熱門的概念:2026年上半年,全球物理AI領(lǐng)域僅一季度融資就超過64億美元;物理AI也開始多場景落地,工業(yè)機器人智能化升級、自動駕駛城市NOA大規(guī)模普及等端側(cè)智能終端快速滲透……但在物理AI這場浪潮中,VLX系列模型是為數(shù)不多的,跑在端側(cè)的流式多模態(tài)模型。它回答著一個根本問題:物理世界的AI,到底需要什么架構(gòu)?
VLX系列模型是少數(shù)把三個閉環(huán)都跑通的公司:模型閉環(huán),讓VLX的Flow+Seek+Go在感知—定位—行動上自成一體,不是三個獨立模型,是同一條視頻流上不可分割的三個能力層;數(shù)據(jù)閉環(huán),讓百萬級攝像頭、無人機、機器人等真實業(yè)務(wù)場景持續(xù)回流端側(cè)數(shù)據(jù),反哺模型迭代;商業(yè)閉環(huán),完成PMF,公司營收以億為單位。
![]()
VLX三層定義
當(dāng)產(chǎn)業(yè)的需求曲線與技術(shù)的積累曲線在2026年交匯,一場“長期主義與產(chǎn)業(yè)拐點的雙向奔赴”也正式上演。而當(dāng)物理AI終于從“概念炒作期”邁入“場景驗證期”,趙天成和他的團隊反而顯得從容。這不是一個追風(fēng)者的故事,而是一個關(guān)于判斷力、定力,以及用多年時間驗證的一個“反共識”判斷的商業(yè)樣本。
以下是36氪和趙天成對談,對話經(jīng)過編輯:
![]()
Om AI聯(lián)匯CEO兼首席科學(xué)家趙天成博士
物理AI的本質(zhì):模態(tài),語義、幾何、預(yù)測和決策
36氪:今年物理AI很火,世界模型是其中最熱門的技術(shù)路線,但又派系林立,眾說紛紜,你是如何看待?
趙天成:物理AI本身是一個很宏大的主題。從模型的角度來說,不管是什么路線,關(guān)鍵點在于要讓其能夠理解世界,這本身不是一個單點的事情。就像李飛飛這次發(fā)的博客,講她理解的三條路線,并且最終這三條路線可能會融合在一起,而不是三個離散的東西。
在我們的定義里面,物理AI至少4種能力是必須具備的,第一,模型要認(rèn)識它里面的內(nèi)容,也就是語義信息;第二,要認(rèn)識它的幾何空間,知道3D形狀是什么樣的;第三,它能夠去做決策和動作控制;第四,在前三者的基礎(chǔ)上,它能夠?qū)ξ磥淼念A(yù)測。
這次我們發(fā)布的模型為什么叫VLX,就是因為X代表無限可能,最起碼是包含前面說的4種能力。現(xiàn)階段網(wǎng)上流行的一種說法,VLA已死,世界模型已來,還是偏炒作為主。因為VLA這三個模態(tài)怎么會過時?視覺語言動作從概念上是永遠不會過時的,但下面的方法肯定會不斷變化,把方法和概念掛鉤本身是錯誤的行為。所以我們的理念不是看表面,而是看本質(zhì),本質(zhì)就是剛剛提到的4個核心模態(tài),語義、幾何空間、感知規(guī)劃以及預(yù)測這4種能力都搞定了,物理AI也就來了。
物理AI本身是一個多維度的事情,比如預(yù)測也只是里面的一個維度,但這個維度的確之前做的人比較少,難度比較大。預(yù)測未來的畫面會怎么發(fā)展,也就成了世界模型,這是當(dāng)前比較有熱度的事情,但這個事情其實也是建立在語義、幾何這些基礎(chǔ)能力上新增的能力。
36氪:物理AI的第一性原理應(yīng)該是什么?
趙天成:物理AI的第一性原理,本質(zhì)要看做什么事情。Om AI聯(lián)匯想做一個在物理世界里面能夠去感知、決策、執(zhí)行的物理智能體,我希望無人機、機器狗、機器人等等物理終端,它們非常聰明,物理終端之間可以交互、能夠完成任務(wù),最重要的東西其實就看要實現(xiàn)這個目標(biāo)到底缺什么能力。現(xiàn)階段語言交互越來越好了,基本不會產(chǎn)生什么問題,但是只要涉及開放環(huán)境,它能不能自主導(dǎo)航,能不能靈巧地操作和不同物件做交互,這些事情之前幾乎不太可能。
比如,物理交互場景下終端對實時性需求就很高,終端需要有決策中樞讓它去快速決策。通過視覺中樞,實時接收外界信息,然后通過決策中樞可以自主決策此時此刻應(yīng)該干什么,比如該開門還是說話等。
所以當(dāng)前的物理AI,是一個大樓里面,只有框架但缺的磚塊還很多,需要不同團隊或者不同企業(yè)去添磚加瓦,形成完整的物理AI體系。單依靠某一個模型把全部物理AI都解決,我覺得不太現(xiàn)實,也不符合第一性原理。人的大腦也是分區(qū)分塊的,語言模型現(xiàn)在這么強了,到應(yīng)用層也是分區(qū)分塊的,物理AI更復(fù)雜,所以更加需要產(chǎn)業(yè)的生態(tài)協(xié)同去完成這個事情。
![]()
云端AI與終端AI的區(qū)別
36氪:在你看來,在方法層不同路線在物理AI落地過程中最大的瓶頸是什么?
趙天成:世界模型或者別的云端模型有很大的價值,只是到終局的時候,物理AI被廣泛應(yīng)用的時候,必然有很強的端側(cè)智能,這是我們相信的事情。因為物理世界本來就要交互,并且會帶來很多嚴(yán)肅的后果。代碼寫錯一字一行無所謂,但是機器人突然卡機不動或者摔倒了,后果是很嚴(yán)重的,就跟智駕一樣,不能車開著就突然失靈了,這個是不可想象的。很多物理終端以后都要進入生活成為其中一個伙伴,全部由一個腦子控制也挺恐怖的,跟科幻片的反派一樣,只要控制一個AI,所有終端都變成挾持人類的工具。
所以我們希望是分布式的智能,跟人一樣,每個大腦都是獨立的,自主的。但是核心在于云端模型之外,物理AI每個端側(cè)它具備分布式智能,而且是在本地快速、安全的響應(yīng)能力,這才是一個比較穩(wěn)定的結(jié)局。這也是為什么我們覺得端側(cè)有價值。
物理AI處于寒武紀(jì),流式多模態(tài)是Om AI最重要的基礎(chǔ)能力
36氪:物理AI的競爭格局,你是怎么看的?
趙天成:物理AI特別像2016年的感覺,當(dāng)時深度學(xué)習(xí)語言是剛剛突破,當(dāng)時我也發(fā)了最早一批生成式的語言模型,在那個時候有很多思路,也有很多問題待解決,沒有人知道唯一的、收斂的終局是什么,所以我覺得當(dāng)前物理AI處在一個寒武紀(jì),類似一個物種大爆發(fā)期。物理AI這個機會太大了,我不相信物理AI只有一條路,就一個方法,就聚焦在機器人一個載體上,肯定是百花齊放。
從技術(shù)側(cè)來看,技術(shù)側(cè)近幾年通過VLM多模態(tài)的方式,在感知理解推理方面取得大幅度突破,可以做很多以前不能做的事情,但像世界模型,或者物理交互,方法又很不確定。現(xiàn)在既有已經(jīng)突破的技術(shù),完成從0到1的技術(shù),也有很多需要解決從0到0.5的突破的點。現(xiàn)在剛好是一個交界點,從0到1的技術(shù)還沒有開始規(guī)模化應(yīng)用,又出現(xiàn)了很多0到1未解的問題。在這個點上,會有很多可能性,可以做底層突破,也可以是應(yīng)用層,都有機會。
36氪:Om AI押注流式多模態(tài),是場景倒逼還是自主選擇?
趙天成:流式多模態(tài)是自己的選擇。從問題本身出發(fā),語言模型的核心計算單元是Token以字符串的方式處理,文本流打字聊天是可以的,因為信息是線性的字符串進來,但是到物理世界后,原生的信息輸入就是視頻流。視頻流和文本流很不一樣,文本流其實每個字都很重要,但是視頻流里面大量的冗余信息,很多畫面其實是沒什么變化的。就像人眼看的時候,也不是每一個像素每一幀都在看,是一個自己抓重點的過程。視頻流本身又是非常動態(tài)和物理世界直接對接的信息。而任何在物理世界好用的東西,交互肯定要比較絲滑,肯定要很快速地響應(yīng)。物理世界是一個非常多模態(tài)的流式的交互的場景,在這個場景下面只用文本的token去做信息單元肯定是不太合適的事情,肯定需要有更加原生的方式去理解多模態(tài)的信息流。我覺得需要有不一樣的技術(shù)棧和不同的方法去做才會更原生。如果用文本把信息流近似一下,就又回到了最老的那種比較笨的交互系統(tǒng),又慢又傻。
所以,流式多模態(tài)我們一直覺得是非常重要的基礎(chǔ)能力,也是最不可替代的底層技術(shù)之一。
36氪:物理AI是一個萬億級市場,Om AI瞄準(zhǔn)的是哪一部分?
趙天成:如果用一句話來總結(jié)的話,我們瞄準(zhǔn)的是“從成熟硬件向新興本體縱深演進”的物理AI終端市場。我們是這么理解的,所有事情都得有基礎(chǔ),就如信息化沒做的時候一定做不了數(shù)字化。所以物理AI的成熟落地,和終端的商業(yè)化成熟度有正向的關(guān)系。比如攝像頭,在手機電腦等個人智慧終端,本體已經(jīng)很成熟了,但是現(xiàn)在沒有物理AI能力的。再往前走一點,到無人機或者機器狗,目前已經(jīng)在應(yīng)用但是屬于比較新興的終端,再往前,到真正的人形機器人,或者輕量級的可穿戴設(shè)備。Om AI對硬件終端的成熟度排序,與物理AI結(jié)合也是按照先成熟,后新興的落地順序排序。過去幾年我們跟IoT攝像頭、AI PC、個人終端這些成熟產(chǎn)品已經(jīng)開始結(jié)合,現(xiàn)在已經(jīng)開始向無人機和機器人布局。
這也是為什么我們覺得“一腦多形”的價值所在,因為“一腦多形”,才能把成熟的經(jīng)驗帶到新的本體里面去。比如機器狗,其實本身沒有什么數(shù)據(jù),但是可以把過去上百萬的攝像頭或者PC的經(jīng)驗延續(xù)到機器狗上,讓機器狗有個很好的起點,通過新的場景、新的數(shù)據(jù)反哺。市場爆發(fā)的點需要雙向奔赴,硬件成熟了,AI也成熟了,結(jié)合在一起就變成了一個真正的物理AI終端。
36氪:這次WAIC,Om AI的參展計劃和亮點是什么?
趙天成:此次重磅亮相的,是我們這次新發(fā)布的VLX模型系列。這也是我們過去一年多時間,最核心的技術(shù)突破。我們會同步展出在不同場景落地的終端產(chǎn)品。
36氪:VLX模型系列有非常多技術(shù)創(chuàng)新,實現(xiàn)了更小的模型更優(yōu)的效果,這種效果是架構(gòu)優(yōu)化后的必然結(jié)果?
趙天成:這是我們能做基礎(chǔ)模型架構(gòu)創(chuàng)新的優(yōu)勢,很多時候大家動不了架構(gòu),所以會被卡脖子,當(dāng)能動架構(gòu)之后,就可以做一些不一樣的事情。Om AI沒有針對某個領(lǐng)域去專門定制,而是做成了一個通用模型,讓模型能在多場景多領(lǐng)域泛化,但是對于某種特別需要的能力,我們會定制加強。比如老鷹捕獵和圖書管理員對眼睛的使用需求是不一樣的,OM AI很多模型架構(gòu)創(chuàng)新就是為了解決如何讓原生的架構(gòu)適合干物理AI的活,包括流式的快速理解,快速推理,都是為了讓模型原生的架構(gòu)天花板變得更高。
基于多模態(tài)訓(xùn)練方式,能帶來開放世界的泛化性
36氪:公司布局物理AI的契機是什么?
趙天成:第一個原點是2023年的時候,公司第三代模型出來。最早的時候,模型是基于大量的多媒體的數(shù)據(jù)去訓(xùn)練的,一開始的場景其實也是會偏媒體場景,比如視頻剪輯,編輯查詢等。2023年的時候有一個用戶,說他有很多監(jiān)控攝像頭是用來做衛(wèi)生管理的,能不能把數(shù)據(jù)接進來試試看。當(dāng)時我們不太看好,因為以前很多同行也做了很多,感覺沒什么好做了,但后來發(fā)現(xiàn),其實就是一個簡單的攝像頭識別下面場景,基于上一代計算機視覺技術(shù)的小模型思路和解決方案,泛化性很差,遠遠沒有想的滲透率那么高。我們嘗試了一下,發(fā)現(xiàn)當(dāng)時的模型泛化性已經(jīng)比小模型好很多了,所以我們意識到,基于多模態(tài)訓(xùn)練方式,真的能帶來一些開放世界的泛化性。這在廣闊的物理場景下面,就是一個剛性需求,我們也以這個為起點,做了很多模型的研發(fā)。
36氪:產(chǎn)品發(fā)布后,公司上線了產(chǎn)品體驗平臺,后續(xù)有開源計劃嗎?
趙天成:有的,我們對開源非常重視的。我在學(xué)生時代就做了很多開源的工作。開源非常有利于產(chǎn)品進步。開源一方面是對產(chǎn)品自信的表現(xiàn),說明產(chǎn)品進化速度很快,已經(jīng)有更好的東西在做了。用戶也會證明這是一個好東西,并為我們帶來更多正面的聲量。另一方面,用戶的反饋對我們也是很大的幫助,我們會了解他們的卡點是什么,產(chǎn)品應(yīng)該怎么更好地融合。總的來說,開源是一個非常好的機制,既帶來了口碑與共識,也帶來了反饋,也讓整個市場更信任我們。開源本身也是促使AI在早期實現(xiàn)快速發(fā)展的原因。
36氪:模型從實驗室到落地應(yīng)用過程中,有哪些有趣的故事?
趙天成:故事比較多,經(jīng)過了好多卡點。第一個階段就是解決市場教育問題,多模態(tài)模型本身是一個全新的概念,機器視覺或者視覺本身并不是以前沒有的東西,它也有上一代的技術(shù),但隨著通用多模態(tài)模型出來之后,以前很多不能干的事情,比如開放理解、總結(jié)報告輸出等,現(xiàn)在都能干。在用戶層面,一開始是完全無法理解,需要很多用戶教育。以前我們發(fā)明了很多概念,一句話生成一個算法、視覺大腦、萬物識別等等,各種名詞想辦法讓用戶更理解這個事情。
第二階段,實驗室里技術(shù)突破和用戶能驗收產(chǎn)品中間其實有很大的鴻溝。做學(xué)術(shù)的時候,從65分到70分,或者60分到80分就是重大突破或者革命性突破,但是到了用戶層面,可能會覺得沒有到95分都是垃圾,是沒有意義的事情。從0到60到90可能很快,但是最后的一節(jié),可能是最難的部分,需要很細(xì)致的模型訓(xùn)練方法改進,或者工程化的數(shù)據(jù)投入,才能把最后一節(jié)攻下來。本質(zhì)來說,還是要把硬骨頭啃下來,才能讓實驗室的模型過渡到產(chǎn)業(yè)級。
最后,還要實現(xiàn)產(chǎn)品理念的提升。很多模型還是模型,它是一個能力,是一個接口,是一個API,現(xiàn)在大家都說AI原生應(yīng)用,這句話非常重要,如果還是以前那套軟件后面加個能力,用戶是感受不到的,或者感知很弱。只有當(dāng)年ChatGPT出來后,創(chuàng)新了對話模式。多模態(tài)模型也是一樣,要更加AI原生,從產(chǎn)品層面就要以AI人才去牽頭做,才會讓用戶感受到產(chǎn)品的不一樣。現(xiàn)在我們走到產(chǎn)品層面,也得用新的思路去干,才能讓整個商業(yè)閉環(huán)走通。
36氪:公司主要落地了哪些商業(yè)化場景?
趙天成:我們的核心是“圍繞視頻密度高、硬件成熟度高的場景層層推進”。目前已經(jīng)有的板塊比如PC,通過賦能內(nèi)容創(chuàng)作者,他們有很多視頻剪輯編輯處理的需求;工業(yè)物聯(lián),讓以前普通的攝像頭,給它們裝上大模型大腦,變成物理智能體……已經(jīng)有很多的業(yè)務(wù)板塊,目前重點拓展的是圍繞具身智能場景,特別是機器狗、無人機等,本體已慢慢成熟,缺乏的是讓它變成自主行動自主決策的物理Agent。
未來海外市場也是我們重點拓展的方向之一,我們在海外展會發(fā)現(xiàn),中國的產(chǎn)品力非常強,特別是真正到端側(cè)多模態(tài),我們的模型有極大的優(yōu)勢。如果純數(shù)字空間和海外產(chǎn)品對比,大家都很強,但是到物理終端場景下面,中國反而有優(yōu)勢,這個方向是有可能做到業(yè)務(wù)全球化的。
36氪:在商業(yè)模式上你的思考是什么?
趙天成:AI是一個新東西,商業(yè)模式肯定不能套用過往的經(jīng)驗。我們現(xiàn)在也有很多創(chuàng)新的模式。比如模型更新很快,用戶是愿意付訂閱費的。再往前走,當(dāng)物理AI出來之后,也可以探索以結(jié)果付費的邏輯,產(chǎn)生了多少價值,賺/省了多少錢,采取分潤的模式。
36氪:當(dāng)前很多物理AI公司還未能完成PMF,公司如何做到已經(jīng)實現(xiàn)以億為單位的營收的?
趙天成:首先我們一直堅持初心還是有比較大的先發(fā)優(yōu)勢。可能國內(nèi)大部分的認(rèn)知到2024年的時候才知道有多模態(tài)模型這個事情,或者覺得這種技術(shù)路線是一件事,才有人去研究怎么用,怎么落地的事情。我們的研究會早很多,我從2018年已經(jīng)在做多模態(tài)的研究,回國后2021年開始做多模態(tài)模型訓(xùn)練,我們比別人會早個三四年,技術(shù)儲備、模型訓(xùn)練、應(yīng)用場景探索,甚至市場教育,我們的先發(fā)優(yōu)勢都是基于非常有價值的多年積淀。2024年,很大一批人拿大的模型去調(diào)試、測試,會發(fā)現(xiàn)很多如成本高、速度慢的問題,他們會認(rèn)為這個事情不能在物理AI場景應(yīng)用,但我們基于具備原生創(chuàng)新的技術(shù)能力,對技術(shù)的理解深度會深很多。我想這是我們非常重要的核心優(yōu)勢。
先把數(shù)據(jù)飛輪轉(zhuǎn)起來,在物理AI就是領(lǐng)先的
36氪:你如何看待未來的行業(yè)競爭?公司如何保持競爭優(yōu)勢?
趙天成:未來物理AI的場景肯定會越來越多人關(guān)注,競爭肯定會加劇,不管是新創(chuàng)立的企業(yè),還是大廠。對于我們來說,當(dāng)前技術(shù)還是一個高度變革的時期,方法完全沒有到收斂期,團隊還是很純粹地在做底層技術(shù)的研究,這也讓我們有非常大的人才吸引力,這點是未來要保持的。另一點是我們有比較好的先發(fā)優(yōu)勢,我們讓更多的終端先用先跑,這是一個非常大的護城河,因為物理AI的很多場景,大家都沒有過探索,先把數(shù)據(jù)飛輪轉(zhuǎn)起來,在這個板塊里面就是領(lǐng)先的。這也會產(chǎn)生一定的馬太效應(yīng),把更多的資源、數(shù)據(jù)、客戶,吸引過來。
36氪:公司有一段從技術(shù)到商業(yè)再回歸到技術(shù)的思路轉(zhuǎn)變,為什么?
趙天成:公司里面純粹搞研究的同學(xué),他們一直比較純粹,但是對我來說我得負(fù)責(zé)整體,就會遇到雙向的沖擊和輸入,是技術(shù)與市場預(yù)期之間的差距。所以市場化的過程中,好像模型也沒有很重要,好像引以為傲的技術(shù)在里面只占了30%或40%的感覺。但回過頭來看,這其實只是一個過渡期,客戶真正買單的還是為智能買單,最終還是依靠模型能力。如果你的模型能力不是最好、最強的,后面就會失去最核心的競爭力。領(lǐng)悟這點后,就會來到第三階段,上面的花架子也重要,但是不能沒有最核心的點,只有把最核心的點做到最強,才能把規(guī)模做大。
36氪:從校園到現(xiàn)在,有沒有哪個決策或時刻,你認(rèn)為比較具有轉(zhuǎn)折意義?
趙天成:第一個是畢業(yè)的時候,我研究做得很好,是當(dāng)時最優(yōu)秀的畢業(yè)生之一,不管是大廠做科研,還是去做教授其實是水到渠成的事情。但當(dāng)時特別想做產(chǎn)品做創(chuàng)業(yè),因為當(dāng)時覺得模型做了很多,論文發(fā)了很多,卻跟現(xiàn)實世界差距很遠。
第二個是回國之后,在美國創(chuàng)業(yè)就是常規(guī)邏輯,做SaaS產(chǎn)品和創(chuàng)業(yè)公司打通就可以,但是回來之后我想還是要跟中國比較有優(yōu)勢的行業(yè)做結(jié)合,所以當(dāng)時想是不是做點跟硬件結(jié)合的東西。于是我們就開始跟終端結(jié)合,現(xiàn)實的確做出一些在美國做不了的事情,當(dāng)然這個路肯定更苦一些。
第三個是2024年的時候,以前公司的日子過得挺好的,當(dāng)時也沒什么人做這個方向的探索,2024年競爭一下就起來了,各類模型都出來了,這個時候要決定到底專攻哪個點。比較了云端的模型,端側(cè)的模型,多模態(tài)的、語言的、視頻生成的,我們覺得還是要堅持在流式多模態(tài)上面持續(xù)專攻,這個跟別人是有差異性的。雖然說它定位到端側(cè)之后可能會有更多的挑戰(zhàn),不管是商業(yè)模式,還是軟硬件結(jié)合會有很多的挑戰(zhàn),但是我們決定保持初心,押注物理AI,把流式多模態(tài)做成最核心的能力。
36氪:是什么原因讓你一開始就堅定多模態(tài)這個方向?
趙天成:卡耐基梅隆?學(xué)語言技術(shù)研究所(CMU LTI)是做語言最出名的地方,我的導(dǎo)師90年代的時候做了第一個實用化的對話的智能體,它的第三代是我做的,2016年我把它從一個用了20年的神經(jīng)網(wǎng)絡(luò)系統(tǒng)替代成了一個生成式模型。在讀博過程中,雖然也做了很多對話的模型,但我感覺它只是交互場景,比如聊天、情感陪伴等,離我想要的“活的”AI差了點東西。只是對話不產(chǎn)生價值,2017年左右,雅虎又一個多模態(tài)智能體的項目給了CMU,這個項目讓我感覺到多模態(tài)價值上限會高很多。所以我覺得應(yīng)該投在多模態(tài),把視覺跟語言融合在一起。
跑得快、看得遠、守得住
就在6月27日至29日連續(xù)發(fā)布了VLX-Flow、VLX-Seek、VLX-Go系列模型后,7月10日,Om AI聯(lián)匯再次發(fā)布了VLX-Seek 1.5,這是專為無人機、機器人、機器狗、智能監(jiān)控等真實具身場景進化的版本,相比1.0版本,1.5版本在模型架構(gòu)、訓(xùn)練數(shù)據(jù)和推理效率上進行了系統(tǒng)升級,覆蓋多種參數(shù)規(guī)模,能夠兼顧輕量化端側(cè)部署與高性能應(yīng)用需求,在準(zhǔn)確性、效率、可靠性和部署靈活性方面實現(xiàn)全面提升。
![]()
VLX-Seek架構(gòu)圖
![]()
VLX-Go架構(gòu)圖
版本的連續(xù)發(fā)布,密集卻不倉促,因為每一代模型的升級,背后都是多年流式多模態(tài)技術(shù)積累的自然釋放。而從CMU的第三代對話系統(tǒng),到物理世界終端上跑通的VLX模型,趙天成用多年時間完成了一次完整的商業(yè)驗證:技術(shù)路線的選擇、產(chǎn)業(yè)拐點的預(yù)判、端側(cè)場景的深耕、數(shù)據(jù)飛輪的轉(zhuǎn)動——每一環(huán)都經(jīng)受了市場的檢驗。這個關(guān)于“判斷力+定力”的商業(yè)樣本,它的核心啟示或許很簡單:在瞬息萬變的AI時代,能夠抵達終局的人,不僅需要跑得快,更需要比市場更早看到未來,且從不偏離方向。
本文來自微信公眾號“36氪”,36氪經(jīng)授權(quán)發(fā)布。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.