![]()
智東西
作者 程茜
編輯 漠影
智東西7月23日?qǐng)?bào)道,7月21日,Mind Lab團(tuán)隊(duì)發(fā)布旗下首個(gè)正式版本MoE模型Macaron-V1,包含Macaron-V1-Venti、Macaron-V1-Tall兩個(gè)版本,專為Agent任務(wù)打造。
Macaron-V1-Venti:為748B參數(shù)的旗艦?zāi)P停?44B參數(shù)的基礎(chǔ)模型和4個(gè)1B參數(shù)的LoRA專家模塊組成,這也是首個(gè)在GLM-5.2上進(jìn)行二次訓(xùn)練的模型。
Macaron-V1-Tall:參數(shù)規(guī)模50B,由35B參數(shù)的基礎(chǔ)模型以及4個(gè)3.7B參數(shù)的LoRA專家模塊組成。該模型是在Qwen 3.6的基礎(chǔ)上進(jìn)行訓(xùn)練的,適用于本地部署。
![]()
通過引入LoRA架構(gòu),Macaron-V1系列模型在聊天、編程、智能體、GenUI任務(wù)上,尤其在長程自主智能體任務(wù)上,其綜合性能和國際頭部模型相當(dāng)。
與此同時(shí),Mind Lab今年7月開啟商業(yè)化,僅用時(shí)兩周,年化經(jīng)常性收入(ARR)便突破千萬美元量級(jí)。
Macaron-V1模型的所有變體都在Hugging Face的Macaron-V1集合中以開放權(quán)重的形式發(fā)布。
一、 綜合性能對(duì)標(biāo)國際頂尖模型,長程自主智能體能力成核心分水嶺
AI應(yīng)用已從靜態(tài)問答轉(zhuǎn)向長期自主的智能體應(yīng)用,這也意味著,其不再只比拼單個(gè)模型能力,而是覆蓋長周期記憶、工具調(diào)用、持續(xù)自我優(yōu)化、多任務(wù)協(xié)同、系統(tǒng)架構(gòu)、持續(xù)學(xué)習(xí)能力的系統(tǒng)能力。
這也是下一代模型缺的東西。根據(jù)昨晚流傳出的一份投資人會(huì)議錄音,DeepSeek創(chuàng)始人、CEO梁文鋒提到,下一代模型必須要有持續(xù)學(xué)習(xí)的能力。
他將AGI實(shí)現(xiàn)的路線比作爬樓梯,去年的階梯是CoT(思維鏈),今年的階梯就是Agent,再之后就是持續(xù)學(xué)習(xí)。這樣一來,模型可以完成人類能做的所有事情,包括自己開發(fā)更前沿的AI模型,AI加速AI的研究。
這與Macaron-V1的核心特性不謀而合。
Mind Lab認(rèn)為,未來AI的核心在于兩種能力互補(bǔ),一是持續(xù)學(xué)習(xí),通過訓(xùn)練后的遞歸自我改進(jìn)機(jī)制,模型能夠不斷生成經(jīng)驗(yàn)、從中學(xué)習(xí),從而改進(jìn)自身的行為;二是群體智能,依托統(tǒng)一共享的底層基座,多款專用模型可實(shí)現(xiàn)高效的多智能體協(xié)同作業(yè)。
其中最直接的體現(xiàn)就是模型在“個(gè)人智能”方面的能力,模型需要以單一用戶個(gè)體為中心,具備持久身份、長期記憶、持續(xù)適應(yīng)用戶偏好、跟隨用戶不斷演化。
不過目前通用任務(wù)基準(zhǔn)中,沒有專門針對(duì)個(gè)人智能任務(wù)的評(píng)分標(biāo)準(zhǔn),基于此Mind Lab開發(fā)了ChatBench和Macaron LivingBench。前者評(píng)估模型在復(fù)雜長篇對(duì)話中的能力,后者則是通過數(shù)周的互動(dòng)來評(píng)價(jià)智能體程序的性能。
結(jié)合第三方的公開測(cè)試集可以看到,Macaron-V1-Venti在聊天、編程、智能體、GenUI四項(xiàng)任務(wù)中的綜合能力都超過了GLM-5.2,相比全球頂尖大模型公司的GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro、MiniMax M3,僅在智能體、編程的少數(shù)幾個(gè)測(cè)試集中分?jǐn)?shù)略低。
![]()
綜合來看,Macaron-V1的優(yōu)勢(shì)體現(xiàn)在需要完成長周期、動(dòng)態(tài)環(huán)境、持續(xù)目標(biāo)的智能體任務(wù)中,在LivingBench及第三方測(cè)試系統(tǒng)PinchBench,其能力已經(jīng)與GPT、Claude等通用頂尖大模型相當(dāng)。
二、引入LoRA混合架構(gòu),整體成本僅需全參數(shù)微調(diào)的1/10
Mind Lab打造Macaron-V1的秘籍,就藏在其定位中,這是一款基于LoRA混合架構(gòu)構(gòu)建的智能體模型,原生面向持續(xù)學(xué)習(xí)與多模型協(xié)同設(shè)計(jì)。
上個(gè)月,其發(fā)布Macaron-V1-Preview時(shí),就引入了LoRA混合架構(gòu),為智能體和編程任務(wù)分別配備了獨(dú)立的LoRA專家模塊。此次V1正式版發(fā)布基于這一策略進(jìn)行了提升。
Macaron-V1采用Mixture-of-LoRA架構(gòu),依托PEFT(參數(shù)高效微調(diào))范式凍結(jié)基座模型,以大量獨(dú)立LoRA適配器作為可更新模塊,實(shí)現(xiàn)增量式持續(xù)學(xué)習(xí)、多任務(wù)與多模型協(xié)同,解決傳統(tǒng)全量微調(diào)難以支撐智能體持續(xù)演化的痛點(diǎn)。
根據(jù)其研究論文,PEFT不僅是一個(gè)注重預(yù)算控制的替代方案,實(shí)際上更是一種更強(qiáng)大的微調(diào)工具。其中的LoRA架構(gòu),可以通過共享的基礎(chǔ)模型提供通用能力,然后適配器承載某個(gè)具體實(shí)例的個(gè)性化行為,例如偏好、技能、工具使用習(xí)慣以及記憶存儲(chǔ)與迭代更新。
他們的愿景就是,讓強(qiáng)大的基礎(chǔ)模型來支持?jǐn)?shù)以百萬計(jì)的持久個(gè)人助手。Macaron-V1的誕生,正重新定義以LoRA方案為代表的高效參數(shù)微調(diào)的價(jià)值。
無獨(dú)有偶,前OpenAI CTO Mira Murati創(chuàng)辦的Thinking Machines Lab也押注了這一路線,Murati曾在社交平臺(tái)X發(fā)文稱,依托新實(shí)驗(yàn)與信息論推導(dǎo),他們認(rèn)為只要條件合適,LoRA完全可以達(dá)到和全參數(shù)微調(diào)同等的性能水平。
![]()
在此基礎(chǔ)上,我們可以通過Macaron-V1基于GLM-5.2二次訓(xùn)練的技術(shù)細(xì)節(jié),來進(jìn)一步明確LoRA方案的優(yōu)勢(shì)所在。
在V1-Venti的架構(gòu)中,IndexCache與LoRA混合專家各司其職:IndexCache屬于GLM-5.2基座模型原生能力,MoL是Macaron搭建在該基座之上的后訓(xùn)練與推理服務(wù)層。
在被凍結(jié)的GLM-5.2基礎(chǔ)上,其為V1-Venti配備了4名1B級(jí)別的LoRA專家。這樣一來,各個(gè)專家模塊都在LoRA空間內(nèi)運(yùn)行,這套架構(gòu)天然適配持續(xù)學(xué)習(xí)。其還可以通過即插即用的LoRA拓展全新能力,無需改動(dòng)、覆蓋基座模型已習(xí)得的知識(shí)。
![]()
與此同時(shí),Mind Lab還證明了在萬億參數(shù)稀疏MoE模型上,也能跑通LoRA強(qiáng)化學(xué)習(xí)。LoRA在這套系統(tǒng)中發(fā)揮了三方面作用:
第一,縮減可訓(xùn)練參數(shù),降低優(yōu)化器顯存與梯度通信壓力;
第二,允許多個(gè)強(qiáng)化學(xué)習(xí)任務(wù)、多個(gè)下游模型共用凍結(jié)基座,大幅攤薄超大模型成本;
第三,強(qiáng)化學(xué)習(xí)信號(hào)能夠同時(shí)影響全局推理與獨(dú)立專家模塊。
在Kimi K2系統(tǒng)中,該方案將算力與通信開銷降至傳統(tǒng)全參數(shù)強(qiáng)化學(xué)習(xí)方案的約10%,同時(shí)保留對(duì)萬億規(guī)模基座模型進(jìn)行適配優(yōu)化的能力。
![]()
在此基礎(chǔ)上,Mind Lab推出MindLab Toolkit(簡稱MinT),這是一套面向LoRA后訓(xùn)練與在線推理服務(wù)的托管式基礎(chǔ)設(shè)施系統(tǒng),能夠管理百萬級(jí)LoRA策略資源庫,在共享萬億參數(shù)級(jí)別基座模型的基礎(chǔ)上,完成指定版本適配器的訓(xùn)練與在線推理。
這套架構(gòu)恰好為持續(xù)學(xué)習(xí)提供了可行載體,持續(xù)學(xué)習(xí)需要實(shí)現(xiàn)經(jīng)驗(yàn)增量沉淀,又不能破壞模型原有基礎(chǔ)能力;而通過凍結(jié)基座、把所有新增技能與個(gè)性化狀態(tài)承載在獨(dú)立LoRA適配器中,既能持續(xù)拓展系統(tǒng)能力邊界,也能讓每一個(gè)用戶專屬智能體長期迭代進(jìn)化、互不干擾。
三、頭部實(shí)驗(yàn)室集體押注的路線,為何只有少數(shù)團(tuán)隊(duì)跑通?
這條前景廣闊的技術(shù)路線,如今已是眾多企業(yè)押注的賽道,但當(dāng)下真正跑通商業(yè)化閉環(huán)的仍然稀缺。
第一類玩家以Mind Lab、Thinking Machines Lab為代表,其也是全球唯二擁有能夠同時(shí)開機(jī)數(shù)百個(gè)萬億參數(shù)大模型強(qiáng)化學(xué)習(xí)訓(xùn)練的Infra的團(tuán)隊(duì)。
第二類玩家是發(fā)展處于早期的Fireworks AI、Together AI,F(xiàn)ireworks AI能夠在一個(gè)基座模型上托管數(shù)百個(gè)LoRA,并根據(jù)每次請(qǐng)求動(dòng)態(tài)選擇適配器,Together AI已將LoRA設(shè)為默認(rèn)微調(diào)方式。
雖然技術(shù)成熟度各有不同,但這些創(chuàng)企已然站在資本、產(chǎn)業(yè)的聚光燈下,估值飆漲。這進(jìn)一步證明,持續(xù)學(xué)習(xí)已成為下一代大模型不可或缺的核心底層能力,而LoRA架構(gòu),恰好為持續(xù)學(xué)習(xí)的工程落地提供了有效技術(shù)路徑。
但這一技術(shù)全鏈路的落地門檻很高。
其考驗(yàn)的是團(tuán)隊(duì)的綜合硬實(shí)力,從大模型RL工程、稀疏MoE優(yōu)化,到海量適配器調(diào)度、長時(shí)序訓(xùn)練、Agent系統(tǒng)一體化搭建等,每一環(huán)都需要依托團(tuán)隊(duì)的復(fù)合型人才建設(shè),以及長年累月的技術(shù)積累。
Mind Lab正是業(yè)內(nèi)為數(shù)不多率先跑通整套閉環(huán)體系的團(tuán)隊(duì)。
2023年,Mind Lab創(chuàng)始人Andrew Chen便與現(xiàn)任騰訊首席AI科學(xué)家的姚順雨聯(lián)合發(fā)表論文并提出FireAct,探索以強(qiáng)化學(xué)習(xí)方式提高大模型Agent能力。
到后面2025年10月Mind Lab成立,其接連發(fā)布專為超長上下文強(qiáng)化學(xué)習(xí)設(shè)計(jì)的LongStraw、Macaron-V1模型預(yù)覽版、基于MinT訓(xùn)練出來的模型Macaron-A2UI、針對(duì)個(gè)性化長期記憶微調(diào)的OpenClaw框架MindClaw、MinT。
如今最新的Macaron-V1模型便是其團(tuán)隊(duì)前期所有學(xué)術(shù)研究與工程成果的集大成之作。
在此之上,頂尖的模型能力并非只停留在紙面跑分與技術(shù)演示,Mind Lab獲多家頭部大廠注資以及快速?zèng)_高的ARR(年度經(jīng)常性收入),就是這套技術(shù)路線商業(yè)價(jià)值更直觀的印證。
今年6月,Mind Lab完成累計(jì)近5000萬美元(約合人民幣3.39億元)融資,投資方包括美團(tuán)、元禾璞華、韶音、變量資本等。
商業(yè)化數(shù)據(jù)方面,Andrew在WAIC上分享,7月開啟商業(yè)化后,該公司兩周內(nèi)就實(shí)現(xiàn)了1000萬美元ARR。其技術(shù)落地的轉(zhuǎn)化效率居于行業(yè)第一梯隊(duì)。
Mind Lab還具備國內(nèi)團(tuán)隊(duì)得天獨(dú)厚的優(yōu)勢(shì),那就是充分利用中國開源模型生態(tài)中大量頂尖的基礎(chǔ)模型,站在巨人的肩膀上進(jìn)行開發(fā)。
如今,其不僅聯(lián)動(dòng)字節(jié)、英偉達(dá)共建LoRA訓(xùn)練底座,還和韶音、AI硬件企業(yè)等建立合作。長遠(yuǎn)來看,Mind Lab提出了極具普惠性的愿景:希望訓(xùn)練模型這件事,最后能像調(diào)用模型一樣簡單,會(huì)用token就會(huì)訓(xùn)token。
現(xiàn)在行業(yè)里已經(jīng)形成了基礎(chǔ)模型+LoRA適配器+持續(xù)學(xué)習(xí)的全新產(chǎn)業(yè)鏈,而Mind Lab憑借全線技術(shù)成果,已率先打通了理論研究、底層系統(tǒng)基建、商業(yè)化模型交付的全鏈路閉環(huán),為整條產(chǎn)業(yè)賽道的規(guī)模化落地拓寬了邊界。
結(jié)語:里程碑落地!Macaron-V1將LoRA技術(shù)做成商用產(chǎn)品
Mind Lab Macaron-V1系列模型的正式發(fā)布,是以混合LoRA為核心的PEFT縮放范式從實(shí)驗(yàn)室理論走向規(guī)模化商用的里程碑。不同于單一參數(shù)堆疊的傳統(tǒng)大模型路線,這套“強(qiáng)共享基座+海量可演化輕量化適配器”架構(gòu),既大幅降低企業(yè)開發(fā)、算力、存儲(chǔ)成本,又依托多模塊協(xié)同實(shí)現(xiàn)群體智能與長期自主Agent能力。
未來AI落地,可能不會(huì)只有一個(gè)萬能大模型,而是無數(shù)依附共享基座、擁有獨(dú)立記憶與能力的個(gè)性化智能體共生。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.