冪律分布的數學機制--隨機過程 v.s 優化原理｜陶如意

導語

冪律分布是自然界和社會中一種普遍存在的統計模式，但其起源機制一直是科學界爭論的焦點。本文追溯并對比了兩位思想巨擘——赫伯特·西蒙（Herbert Simon）和伯努瓦·曼德布羅特（Benoit Mandelbrot）——對此提出的兩種根本對立的解釋范式。西蒙的“優先連接”模型代表了基于隨機過程、歷史依賴和微觀因果的生成論視角；而曼德布羅特的“信息優化”模型則代表了基于全局約束、均衡態和目的論的設計論視角。本文將通過數學形式精確闡述兩種模型的內核，并深入探討其在哲學層面上的本質差異，最終論證這兩種看似矛盾的理論在現代復雜性思維中如何共存并相互補充。

關鍵詞：隨機過程、歷史依賴、微觀因果、生成論、全局約、均衡態、目的論

陶如意丨作者

無處不在的冪律

這場爭論的核心是齊普夫定律（Zipf's Law），一種特殊的冪律分布。齊夫定律最初由語言學家喬治·金斯利·齊普夫（George Kingsley Zipf）在20世紀40年代推廣，他發現，在任何足夠長的語料庫中，將單詞按其出現頻率排序，則一個單詞的頻率與其排名（rank）成反比。例如，最常見的詞的頻率大約是第二常見詞的兩倍，是第三常見詞的三倍，以此類推。用數學形式表示就是：

其中 f(r) 是排名為 r 的單詞的頻率，指數 α 約等于1。這種“排名-頻率”的冪律關系后來在城市人口、公司規模、網站訪問量、個人財富等眾多社會經濟現象中被反復發現，引起了科學家們的極大興趣：為什么如此不同系統會涌現出如此相似的統計規律？這種簡潔的數學形式背后，是否隱藏著深刻的原理？對于冪律的起源，赫伯特·西蒙和伯努瓦·曼德布羅特在上世紀中葉提出了兩種截然不同的解釋，這場曠日持久的智力交鋒，至今仍在塑造我們對復雜世界的理解。

西蒙模型：歷史、機遇與“富者愈富”

赫伯特·西蒙是一位典型的大雜家，是經濟學家、計算機科學家、心理學家、社會學家。1975年圖靈獎得主，同時也是1978年諾貝爾經濟學獎得主，在AI教父Hinton之前，西蒙是歷史上唯一一位同時獲得諾貝爾獎和圖靈獎的跨界天才。他是“有限理性”（Bounded Rationality）和人工智能的先驅。

赫伯特·亞歷山大·西蒙，美國經濟學家、政治科學家、認知心理學家、和計算機科學家（詳情請見集智百科https://wiki.swarma.org/index.php/%E8%B5%AB%E4%BC%AF%E7%89%B9%C2%B7%E4%BA%9A%E5%8E%86%E5%B1%B1%E5%A4%A7%C2%B7%E8%A5%BF%E8%92%99_Herbert_Alexander_Simon）

1955年，西蒙發表了著名論文《On a Class of Skew Distribution Functions》，提出了一個模型漂亮地給出了齊普夫定律的解釋機制，后來被稱為西蒙模型（Simon Model）或者優先鏈接（Preferential Attachment）。

西蒙的解釋是一個關于過程（Process）的故事。他認為，冪律分布是特定隨機過程隨時間演化的必然產物。他的模型，是一個動態的、具有歷史依賴性的生成模型。讓我們以城市人口增長為例來精確描述這個過程。假設我們有一個不斷增長的城市系統：

1. 新成員的加入： 在每個時間步 t，一個“新公民”進入系統。

2. 定居決策：

• 以一個固定的、很小的概率 p，該公民會選擇建立一個全新的城市（即一個規模為1的新類別）。

• 以概率 1-p，該公民會選擇遷入一個已經存在的城市。

優先連接法則： 當選擇遷入舊城市時，選擇某個特定城市的概率，正比于該城市已有的人口規模。

這里我們稍微給出更嚴格的數學形式，但跳過這部分也不影響對全文的定性理解。

令Nk(t)為在時間t時，人口規模為k的城市數量。在下一個時間步t+1，總人口從t 變為 t+1。考慮一個規模為k的城市，其人口發生變化的可能性有兩種：

• 人口增加（k→k+1）： 一個新公民遷入。發生這種情況的概率正比于該城市的人口k和系統中所有這樣城市的數量Nk(t)。總概率為

• 原始的西蒙模型并沒有考慮人口減少的情況

可以構建主方程來刻畫不同規模的城市數量變化：

其中 δk1 是 Kronecker delta函數，用來區分K=1（新城市的誕生）和K>1（舊城市的人口變化）的兩種情況。

西蒙證明了：當 t→∞ 時，人口為 k 的城市所占的比例 滿足：f(k)∝k?α，其中指數。特別地，當新城市出現的概率 p 非常小時（p→0），α→1。而這恰好完美解釋了齊普夫定律。

西蒙模型的本質主要是三點：

• 歷史依賴性（Path Dependence）： 一個城市早期的偶然成功會自我加強，使其在未來吸引更多資源。系統的最終形態嚴重依賴于其演化路徑。

• 微觀因果（Micro-causality）： 模型提供了一個清晰的、一步一步的因果鏈條：個體基于局部信息（城市規模）做出決策，宏觀的冪律分布是這些微觀行為累積涌現的結果。

• 隨機性中的結構： 隨機性并非完全均勻。它被“優先連接”這一規則所結構化，創造了不平等

曼德布羅特模型：效率、約束與“最優設計”

無獨有偶，伯努瓦·曼德布羅特 (Benoit Mandelbrot）也是一位涉獵廣泛的大雜家，他是數學家，同時也是IBM研究員，而他最具有代表性的貢獻，就是提出了“分形”這一概念，被稱為“分形幾何學之父”。貫穿他研究生涯的思想核心是尺度不變性（Scale Invariance）和優化（Optimization）。所以和西蒙不同，曼德布羅特傾向于從一個全局的、靜態的、甚至帶有目的論色彩的視角來尋找普適的數學結構。

伯努瓦·曼德爾布羅，分形幾何創始人

曼德布羅特在他的博士論文和隨后的論文《An Informational Theory of the Statistical Structure of Language》中，首次對齊夫定律提出了一個基于優化的解釋。他將語言視為一個通信系統，并假設其演化遵循“效率最大化”原則。

具體來說，他假設人類在交流時，會下意識地在信息傳遞量最大化和編碼/解碼成本最小化之間取得平衡。他構建了一個模型，其中單詞的“成本”與其長度或發音難度有關。然后，他使用拉格朗日乘子法進行約束優化，發現在給定平均成本的約束下，要使信息熵（即信息量）最大化，單詞的頻率分布必須是冪律分布。這個解釋非常優雅，它將齊夫定律歸因于最大化通信效率的結果。

所以，與西蒙的過程論不同，曼德布羅特的解釋是一個關于狀態（State）的故事。他認為，冪律分布是系統在特定約束下達到最優均衡態的標志。他的經典模型將語言視為一個經過優化的通信代碼。

同樣的，我們在這里給出更嚴格的數學形式化：

假設一個詞匯表包含 M 個單詞，第 i 個單詞的使用頻率為 pi，其“成本”（如長度、發音難度等）為 Ci。曼德布羅特的目標是：在總平均成本固定的約束下，最大化語言的信息熵。

1. 信息熵 (H): 衡量信息量或不確定性。

2. 成本約束 (C): 總平均成本為一個常數C0

3. 概率歸一化約束:

這是一個經典的約束優化問題，可以使用拉格朗日乘子法解決。我們構造拉格朗日函數 L：

對任意 pi 求偏導并令其為零 ，可得：

這表明，最優頻率 pi 隨成本 Ci 指數衰減。這還不是冪律。曼德布羅特接著做了一個關鍵假設：成本與排名（rank）的關系。他認為，一個高效的編碼系統會把最低的成本分配給最常用的詞。他假設成本 Ci 與其頻率排名 ri 的對數成正比，即Ci∝log?ri。這個假設本身也源于信息論中的編碼思想。將 Cr=Alog?r+B（r為排名）代入，我們得到：

令α=λA，我們就得到了一個標準的冪律分布：

同樣的，我們可以總結一下曼德布羅特模型的本質：

• 目的論（Teleology）： 模型假設系統存在一個“目標”——效率最大化。分布形式是實現該目標的結果，而非無意識的演化產物。

• 全局優化（Global Optimization）： 它描述的是整個系統在所有可能性中找到的一個最優靜態解，不關心達到這個解的具體動態過程。

• 普適性原理： 冪律的出現被歸因于一個普適的經濟學/物理學原理（在約束下最大化某個效用函數），而非特定系統的歷史偶然。

二人之爭

盡管曼德布羅特比西蒙要年輕幾歲，且二人關于冪律的模型提出之時，西蒙已經是一位頗具盛名的經濟學家，但曼德布羅特可能由于年輕氣盛，對西蒙的模型非常不屑，并主動發起“進攻”，最終引起了二人在期刊information and control上精彩的“對決”。

因為這一過程非常有趣，請允許我列一下這幾篇論文的標題讓大家感受下

• Benoit Mandelbrot (1959)："a Note "on a class of skew distribution functions:analysis and critique of a paper by H.A. simon"

• Herbert A. Simon(1960)："Some Further Notes on a Class of Skew Distribution Functions "

• Benoit Mandelbrot (1961): "Final Note on a Class of Skew Distribution Functions: Analysis and Critique of a Model Due to H. A. Simon"

• Herbert A. Simon(1961): Reply to "Final Note" by Benoit Mandelbrot》

• Benoit Mandelbrot, 1961: "Post Scriptum to "Final Note""

• Herbert A. Simon(1961): "Reply to Dr. Mandeibrot's Post Scripture"

這場明面上的爭論以information and control的編輯似乎不想再攪混水為節點告一段落，但兩人的學術觀點本質上并未達成共識。文章的語氣越到后面措辭越不客氣。細品一下二人在最后一篇文章的態度，兩個人的摘要都只有一句話，這可以說已經是勢不兩立的狀態了。

Benoit Mandelbrot：My criticism has not changed since I first had the privilege of commenting upon a draft of Simon (1955). Herbert A. Simon：Dr. Mandelbrot has proposed a new set of objections to my 1955 models of the Yule distribution. Like his earlier objections, these are invalid.

而且我個人的觀感是，曼德布羅特確實有點挑刺的意味，西蒙一開始確實是在認真回應曼德布羅特的質疑，尤其是甚至會據此擴展他的模型。而曼德布羅特根本不買賬，會在新的note提出全新的質疑。且Simon在自己自傳中還提到過這段有趣的辯論，而曼德布羅特則絲毫未提及。

回到二人的分歧所在，曼德布羅特認為西蒙的解釋是“特定情況下的”和“平庸的”。他嘲諷道：“你可以通過假設一個冪律過程來‘解釋’一個冪律結果，但這并沒有真正解釋任何東西。” 他認為西蒙只是把冪律現象直接編碼到了模型的假設中，因為“選擇概率正比于出現次數”本身就是一種冪律傾向。

而西蒙則反駁說，他的模型基于一個非常簡單、直觀且在社會學中廣為人知的機制（馬太效應），它是一個因果機制，解釋了分布是如何一步步演化而來的。而曼德布羅特的優化模型，雖然數學上很漂亮，但卻像一個“黑箱”，它假設系統達到了一個最優的“平衡態”，卻沒有說明系統是如何達到這個狀態的。它更像一個“目的論”的解釋（為了達到某個目的），而不是一個“因果論”的解釋。

而用當今的眼光去看二者的理論，我們會發現，歷史并沒有宣布一個唯一的勝利者。相反，它揭示了這兩種思想范式的價值和適用范圍。在很長一段時間里，由于曼德布羅特在數學界的聲望和他后來在分形幾何上的巨大成功，他的觀點似乎更受物理學家和數學家的青睞。而西蒙的模型則在社會科學、計算機科學，尤其是后來的網絡科學中找到了深厚的根基。

1999年，物理學家Barabási和Albert“重新發現”了優先連接機制，并用它來解釋復雜網絡（如萬維網、社交網絡）的無標度（Scale-free）特性。之所以說“重新發現”，是因為他們并沒有引用西蒙的文章，而后續有人指出，他們提出的BA模型本質上就是西蒙模型在網絡圖論上的一個變體。這使得西蒙的“過程”思想在21世紀初的復雜性科學中獲得了巨大的復興和成功。如今，“優先連接”已成為解釋各種增長現象的標準模型。

而曼德布羅特的“優化”和“尺度不變性”思想，則成為了分形理論、混沌理論以及金融市場分析（如多重分形模型）的基石。他的思想強調了系統在不同尺度上展現出的自相似結構，這種視角在物理學和許多自然科學中至關重要。

因此，西蒙與曼德布羅特的爭論，最終并未以一方的勝利告終。相反，它為我們這些后來的探索者留下了兩套強大的思想工具。面對一個冪律現象，我們既可以追問：“它是如何一步步變成這樣的？”（西蒙的問題），也可以追問：“它這樣存在是否滿足了某種最優原則？”（曼德布羅特的問題）。這場爭論的意義并不在于告訴我們“誰對誰錯”，而在于它清晰地展示了科學解釋的兩種路徑：過程驅動的、歷史性的解釋 vs. 狀態驅動的、普適性的解釋。而這兩條路徑，共同構成了我們理解這個由隨機與秩序交織而成的復雜世界的完整圖景。

參考資料

1. Herbert A. Simon. On a Class of Skew Distribution Functions. Biometrika, 1955, 42(3/4): 425-440

2.Mandelbrot, B. An Information Theory of the Statistical Structure of Language. Communication Theory, 1953, 84: 486-502

3.

4.

5.

6.

7.

8. pdodds.w3.uvm.edu

城市科學讀書會

隨著工業化和現代化的發展，世界范圍內的城市化率不斷提高，越來越多的人口聚集在城市，使得交通擁堵、環境污染、資源短缺等城市問題日益嚴峻。 我們迫切需要對城市的基本運行規律有科學的認知。 近十幾年來，智能手機、物聯網、衛星遙感可以幫助獲取高精度的城市數據； 機器學習、人工智能的發展，為處理大規模多源異構數據提供了技術手段。 此外，復雜科學從演生視角，在不同時空尺度上研究城市現象的基礎規律，豐富了城市科學的理論框架； 基于復雜系統的模擬方法也在實踐中有廣闊的應用前景。

在這個大背景下，集智俱樂部由北京大學助理教授董磊聯合明尼蘇達大學助理教授朱遞、中南大學地球科學與信息物理學院教授李海峰、北京航空航天大學計算機學院博士寄家豪共同發起，分享、討論和梳理“城市作為復雜系統”的理論、研究方法及應用，希望促進相關領域學者的交流，推動交叉學科間的合作，促進城市科學的發展和研究。讀書會已完結，現在報名可加入社群并解鎖回放視頻權限。

詳情請見：

1.

2.

3.

4.

5.

6.

7.