北京
慕尼黑一座數據中心里，基準測試排行榜在凌晨被悄然改寫。德國人工智能協會牽頭的研究聯合體沒有掌聲，只是互相點頭——他們訓練的語言模型Soofi S，在英語和德語多項評測中同時壓過了OLMo 3 32B和Apertus 70B。更反常的是，這個總參數量達到316億的模型，每生成一個詞元實際只動用其中約32億個參數。
Soofi S本質上是一個混合專家模型。316億參數被拆分在不同專家模塊中，每次推理只激活一小部分，算力開銷更接近30億級別的模型，而非傳統意義上的300億大模型。
它直接沿用了英偉達Nemotron 3 Nano的混合架構，未做任何結構修改。這套設計最特別之處在于，在標準注意力層之間插入了Mamba?2層，整個模型52層中，僅有6層保留了傳統Transformer用來緩存先前詞元的KV緩存。
緩存的大幅削減，直接改寫了長文本下的性能天花板。當上下文長度拉到4萬個詞元、同時處理32個并發請求時，Soofi S每塊GPU每秒生成的詞元數，大約是參數量在140億至240億之間稠密模型的8倍。
更關鍵的是，從4000個詞元一直到256000個詞元的超長上下文窗口，Soofi S的生成速率近乎一條直線，幾乎沒有下降。研究團隊展示的測量圖表中，唯一出現類似行為的，是阿里旗下同樣采用混合架構的Qwen3.5 35B?A3B。
這種穩定性根植于訓練環節的數據策略。團隊總共處理約27萬億個詞元，分三個階段推進。第一階段用約20萬億個詞元打底，混合了網絡文本、代碼、數學和專業語料，讓模型掌握語言基本模式。第二階段補充約6萬億個更高質的詞元，打磨已學到的規律。最后一段短訓練專門擴展上下文窗口，讓模型啃下數十萬詞元長度的超長文檔。
三個階段中，德語語料的配重都被有意加重。研究方明確表示，這是一次圍繞德語場景的重新配重。
這一側重迅速投射在榜單上。根據預訓練報告，Soofi S在德語、英語以及編程相關的基準測試中，均拿到當前完全開源模型里的最高分。這里強調的“完全開源”，指的是訓練數據、權重和代碼全部公開的那一類選手。把所有信息攤在桌面上的模型里，Soofi S已經超過了眾多參數規模大一倍以上的對手。
還有一個容易被忽略的背景：Soofi S是第一批完全在德國電信位于慕尼黑的工業AI云上跑完訓練全流程的大型語言模型之一。從數據清洗、分階段預訓練到最終評測，全都在同一套基礎設施上完成。協調方KI Bundesverband正是德國人工智能協會，這種電信運營商提供算力、行業協會統籌、多所研究機構參與的模式，已經把最新技術態的開源模型推到了英德雙語的最前排。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
