安徽
電腦這東西玩久了，有時候真覺得挺無聊的。顯卡年年換代，跑分軟件里的數字漲得挺歡，可日常用起來，體感提升遠沒那么刺激。尤其是AI這波，云端模型確實強，可自己的數據不敢往上放，離線又跑不動，不上不下的很難受。
所以看到技嘉這個叫AI TOP ATOM的小鐵盒時，我第一反應不是興奮，而是困惑。這玩意兒長得跟之前的NUC幾乎一個模子，150毫米見方，比手機寬不了多少，銀灰色金屬殼，磨砂面，沒有任何燈效，放在桌上不注意還以為是外置硬盤。技嘉管它叫“個人AI超級電腦”，說實話我對“超級”這詞已經免疫了。
但真正用起來之后，事情變得有點不一樣了。
這個產品其實是NVIDIA那個DGX SPARK的定制版，但技嘉把張揚的土豪金換成了低調的銀灰色，我覺得這步走對了，辦公室或實驗室里放個金光閃閃的主機多少有點浮夸。接口都在背面：三個USB-C、一個萬兆網口、一個HDMI，還有個特別的NVIDIA ConnectX-7接口，能把兩臺機器連在一起，算力和顯存直接翻倍，跑4000億參數的大模型。這個設計思路有意思，需要的時候加一臺就行，不用一次性買個巨無霸回來。
真正讓我覺得這東西有料的，是它的心臟——它沒用常見的酷睿或銳龍，而是一塊NVIDIA的GB10 Grace Blackwell芯片。這塊芯片把ARM架構的CPU和Blackwell架構的GPU封裝在一起，中間用NVLink-C2C互聯，帶寬是普通PCIe 5.0的五倍。臺積電3納米工藝，功耗控制在140瓦，這就解釋了為什么這么小的機身不需要夸張的散熱，靠金屬外殼和幾個柵格出風口就能壓住。
最核心的是128GB統一內存，注意，這不是傳統意義上給CPU用的內存或顯卡的顯存，而是兩者共享的一塊高速內存池，沒有數據來回拷貝的瓶頸。那些動不動幾百億參數的大模型，以前得靠機架式服務器才能塞得下，現在這個小盒子就能裝。在NVFP4精度下能跑2000億參數的模型，算力有1000 AI TOPS。
開機之后最讓我省心的是它預裝了趨境的系統。很多AI PC買回來就是個空殼子，要自己裝驅動、配環境、拉模型，沒點Linux功底根本玩不轉。這臺機器開機進系統，瀏覽器里輸個IP地址加端口就能用，后臺管理界面是圖形化的，GPU占用率、顯存用了多少、生成了多少Tokens，一目了然。GLM 4.5 Air 106B這種千億參數的大模型已經給你裝好了，直接加載就行。我還試著導了一個Qwen 2.5 7B模型進去，把文件放到指定文件夾，點個導入就完事了。
性能方面，在GLM 4.5 Air 106B模型下，寫300字左右的回答，平均速度能達到20個Tokens每秒以上，體感就是打完問題它幾乎沒有停頓就開始往外蹦字，就算把提示詞加到500字，速度也就降到20.6Tokens每秒左右，很穩定。跑這個千億大模型的時候，顯存占用大約68GB，還不到128GB的一半，也就是說還有余量干點別的。并發測試我也做了，4個線程以內推理速度都能維持在10Tokens每秒以上。
當然它也不是完美的，完全沒接觸過Linux的話，剛開始設置網絡可能會花點時間。生成的長文確實有點模板化，深度洞察還得自己來。
但瑕不掩瑜，它讓私有化AI部署從“折騰”變成了“使用”。你不需要是算法工程師，不需要懂分布式訓練，甚至不用敲多少命令行，它把數據中心級別的算力放到了桌面上，并且用一套成熟的軟件生態把這套算力真正用了起來。對AI開發者來說是本地測試平臺，對科研人員是數據不出門的實驗環境，對工作室或小企業是成本可控的私有知識庫。它不是魔法，但確實是目前把硬件算力和本地化AI應用結合得最完整、最省心的方案之一。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
