劉永謀：這么講AI基本技術原理，大約高中畢業生都能聽懂了

*中國人民大學吳玉章 講席教授劉永謀首發于微信公眾號，保留一切知識產權，侵犯必究。

昨天講座，要給社會上學員講AI基本技術原理。如何讓完全不做這行的外行聽懂呢？我琢磨了好一會，后來是這么講的，感覺大家都聽明白了。

普通老百姓用豆包、千問這些APP，感覺很神奇，甚至覺得它們和人一樣有思想、有觀點、有見識了。實際上，大模型的原理非常簡單，基于統計學概率預測來輸出內容的。

首先，我要告訴大家：AI不等于大語言模型。上個世紀五六十年代AI誕生后，幾起幾落，推出過不少拳頭產品。比如，上一波熱潮主要是DSS即決策支持系統，用來給決策者提供一些參考方案。大模型是這一波AI熱潮對標志性產品，因為它能生成內容所以這一波AI熱潮又被稱為生成式AI熱潮。

這里講AI基本技術原理，實際說的是大語言模型基本技術原理。這個原理是什么呢？我一步步解釋。

我們想象一下：給不識字的猴子一臺打字機，讓它亂敲，敲出來的東西肯定是亂七八糟、沒有含義的。但是，它敲多了，很有可能敲出“我愛你”這么一句有意義的話。當然，即使猴子敲出這句話，它并不知道什么意思，談不上理解。

如果猴子夠多，打字機夠多，亂敲的時間夠長。從理論上說，它們是有可能碰巧敲出《莎士比亞全集》。對不對？只不過這種可能性即概率趨向于無窮小了。

從根本上說，豆包說話就是這么亂說出來的，即排列組合出有意義的話。但是，它不是簡單地“碰巧”，因為這么做耗不起時間啊。據說，有人算過一只猴子亂敲敲出《莎士比亞全集》所需要的時間，超過了現在宇宙存在的時間。怎么減少時間呢？大模型不光亂敲，而是對人類語言規則有些了解，這樣敲出的話首先就合乎人說話的基本規則。

有人設想了“中文屋實驗”，說的是AI不需要理解，也可以和人說話。這個實驗說的是：屋子里有幾個不懂中文的人，但是他們有關于中文如何組織的各種規則。外面有人用中文問問題，中文屋中的人可以根據中文規則排列組合漢字輸出內容與外面的人交流。但是，中文屋根本不知道自己輸出的漢字是什么意思。

接下來的問題是，

怎么知道這些規則呢？通過“學習”人類的語言材料。顯然，學得越多就越清楚這些規則。所以，大模型要“大”。再一個，所謂大“語言”模型，說的就是就是網上的人類數據語言，不光是文字，圖片、語音這些都可以歸在語言的范圍。

海量學習之后，大模型對人類語言關聯關系知道得很多了，知道“我愛”之后很可能是“你”。這個可能性可以進行統計的，某個連接方式有個概率數字。也就是說，豆包說話的方式是：某個字之后，最可能是什么，就跟上概率最大的那個字。當然，“字”并非豆包分析概率的基本單位，這個單位是Token。Token可能是一個字、一個標點、一個像素內容……總之是大模型運作的最小單位。

顯然，以最大概率方式組合Token，很可能完全牛唇不對馬嘴。為了減小混亂，大模型要考慮上下文來讓預測更準確。比如，“我×你”，×是什么？如果光是“我×”預測就很難，有了“你”之后，×很可能是“愛”“恨”，預測就容易一些了。這個“你”就是下文。

考慮上下文的預測，是在一個更大的范圍來處理，雖然準確不少，但是需要更多的計算。太長了，隨著計算量指數型增長，我們會陷入“維數災難”。所以，只能適可而止。于是，這樣排列組合的話，永遠都是可能出錯。換言之，我們常聽到的隨機鸚鵡和AI幻覺從根本上是不可避免的。

總之，通過海量學習，我們建立一些預測、推斷和規劃的規則，這就是大語言模型的“模型”。這些模型是可以進行認為調整的，尤其是考慮到大模型輸出的內容可能與人的目標不一致，更要進行符合我們價值觀的調整，此即所謂對齊。

綜上所述，我們明白了：大語言模型根本沒有理解或思考，更沒有心靈，完全是一架概率輸出機器。很多人覺得豆包是人，原因在于人身上而不是豆包身上。人很容易把物當成人來思考問題，這叫擬人論思維。比如，天上打雷好害怕，不懂，想象有個雷公。在AI和機器人領域，更是如此，這就是AI擬人論思維支配下的伊利扎效應。

上述原理很簡單，但是可以把它一遍兩遍三遍……疊床架屋地搞得非常復雜。比如，僅僅回答一下“今天吃什么”就把網上所有的東西都學習了。有人將大模型稱之為“暴力計算”產生的智能，就是這個意思。復雜性增加之后，大模型出現一些沒有預計到的性能，有人稱之為“涌現”，好像大模型發生了質變。我不同意這種夸張的說法，大模型很多問題沒搞清楚，主要原因不是涌現，而是大家沒有花精力研究這些科學問題。為什么？這一波生成式AI熱潮主要是AI企業而非學院科學家掀起的，AI企業考慮是賺錢，對破解所謂“AI黑箱”之類的科學問題投入非常不夠。

“暴力計算”還產生重大的生態風險。一個簡單的事情都要海量計算，這嚴重耗能，耗能就耗水——因為耗能計算機溫度升高要降溫，就要水來降溫。所以，大模型發展的物理學瓶頸主要是電和水的消耗。

這么說，是不是非常好懂了？