熵的前世今生丨陳關榮

導語

熵最初作為熱力學第二定律中的核心概念，用來刻畫熱物理過程中的不可逆性與系統走向平衡態的趨勢。隨著物理學的發展，它逐漸從宏觀熱力學走向微觀統計物理學，被賦予事件概率與系統微觀狀態數目的深層含義。到了20世紀后，熵進一步被推廣到信息論、量子力學與天體物理之中，形成馮·諾依曼熵、香農熵以及貝肯斯坦-霍金熵等重要概念。同時，在數學領域，柯爾莫哥洛夫-西奈熵與拓撲熵等理論的發展，使熵成為刻畫動力系統復雜性與信息增長速率的重要工具。最終，熵的概念還延伸至生命科學與非平衡態熱力學，成為理解生命維持有序結構與宇宙演化方向的重要描述工具。

關鍵詞：熵、熱力學第二定律、信息熵、馮·諾依曼熵、黑洞熵、KS熵、拓撲熵、負熵、耗散結構、復雜系統

陳關榮丨作者

趙思怡丨編輯

熵的起源

熵（Entropy）這個名詞最早由德國物理學家魯道夫·克勞修斯（Rudolf J. E. Clausius，1822-1888）于1865年在熱力學的研究中提出。詞源來自希臘文 en+τροπ?，意為“內在的變動”。當時克勞修斯用它來形式化熱力學的第二定律，并以簡潔的形式描述了熱物理過程的不可逆性。他說：“宇宙的熵趨于極大”。在克勞修斯之前，法國數學和物理學家拉扎爾·卡諾（Lazare N. M. C. Carnot，1753-1823）在1803年以及他的兒子、工程師薩迪·卡諾（N. L. Sadi Carnot，1796-1832）在1824年就研究過熱機的效率和損耗，其工作為克勞修斯的理論奠定了基礎，只是他們沒有使用“熵”一詞。

后來，到了1870年代，德國物理學家路德維希·玻爾茲曼（Ludwig Boltzmann，1844–1906）和美國機械工程師威拉德·吉布斯（J. Willard Gibbs，1839-1903）在數學物理學中賦予熵以統計力學的表達和解釋。

信息、量子與黑洞：熵在現代物理學中的深化

1923年5月25日，德國物理學家馬克斯·普朗克（Max K. E. R. Plank，1858-1947）在中國講學，時任南京高等師范學校和國立東南大學教授兼物理系主任的胡剛復（1892-1966）為其擔任翻譯。胡剛復是江蘇無錫人，早年考取首批庚款留美資格，1918年獲哈佛大學物理博士學位，回國后成為中國近代物理學事業奠基人之一。當普朗克講到“Entropy”這一概念特別是其物理定義dS = dQ/T時，胡剛復遇到了難題：中文里沒有現成的對應詞語。詩書滿腹的胡剛復靈機一動造了個新字——熵。他的構思極為精妙：新字取義于商，因為根據普朗克的數學定義，Entropy（S）在可逆過程中的微小變化是熱量Q的微小變化除以溫度T的商；加火字旁，是因為這一物理概念源于熱力學；不僅如此，熵字的讀音也與商相同，達到了形音義的完美統一。

1927年，匈牙利裔美國數學和物理學家約翰·馮·諾依曼（John von Neumann，1903-1957）引入了“馮·諾依曼熵”。它是量子信息論中的一個核心概念，用于量化一個量子態所包含的“不確定性”或“混合程度”。馮·諾依曼熵不僅是量子統計力學的基礎，也是量子信息、量子計算、量子熱力學和量子引力等領域的主要數學工具。

1948年，美國數學家和電氣工程師克勞德·香農（Claude E. Shannon，1916-2001）在他奠基性論文《通信的數學理論》（A mathematical theory of communication）中將熵這一概念引入到信息論，提出了“香農熵”的概念。它用于量化通信系統中一個離散隨機變量的“不確定性”或它所包含的“平均信息量”：

（1）不確定性度量：熵越大，變量的結果越難預測（例如，均勻分布時熵最大，而熵為0意味著變量是確定性的）；

（2）信息量度量：熵是多次觀察該變量后獲得的平均信息量（即不確定性消除的程度）；

（3）編碼長度下限：在無損數據壓縮中，香農第一定理（信源編碼定理）表明，平均碼長不可能低于信源的熵。

香農熵是信息論、統計學、計算機科學等領域的一個基本概念。在可比較的條件下，香農熵一般都大于或等于馮·諾依曼熵，并且依賴于測量基的選擇。

到了近代，熵的概念在理論物理學和天體物理學均有長足的發展。在天文學中，以前黑洞被視為僅由質量、電荷和角動量三個參數決定的天體，結構非常簡單。不過該理論有一個嚴重問題：如果把一個攜帶大量物理熵的物體（如一杯熱水）或一個大量信息熵的物體（如一本百科全書）扔進黑洞，物體的熵似乎就在宇宙中消失了，但這直接違反熱力學第二定律，即孤立系統的熵永遠不會減少。

1972年，以色列裔美國物理學家雅各布·貝肯斯坦（Jacob D. Bekenstein，1947-2015）提出了革命性的猜想——黑洞本身必須具有熵。他認為，當一個物體落入黑洞時，黑洞的熵會增加，且增加量至少等于物體消失的熵，從而使得“外部世界熵+黑洞熵”的總和不會減少。他進一步猜想，黑洞的熵與其事件視界的面積成正比。1974年，起初并不贊同貝肯斯坦猜想的英國物理學家史蒂芬·霍金（Stephen W. Hawking，1942-2018）運用彎曲時空量子場論進行分析之后，得出一個驚人的結論：黑洞并非全“黑”，它會因為量子效應在視界附近輻射粒子。這就是著名的“霍金輻射”。這一發現不僅證明了黑洞具有溫度，也為貝肯斯坦的熵公式提供了嚴格的理論基礎，因為一個具有溫度的物體必然有熵。

后來，該熵公式被命名為“貝肯斯坦-霍金熵”。貝肯斯坦-霍金熵指出，一個黑洞的熵極其巨大，它與其事件視界的面積而不是與黑洞的體積成正比。后來，貝肯斯坦-霍金熵成為連接宏觀與微觀、時空與量子、信息與引力的一個關鍵，是通往更深層物理理論即量子引力理論道路上最重要的路標。然而，貝肯斯坦-霍金熵引發了著名的“黑洞信息悖論”：如果黑洞通過輻射完全蒸發，那么最初形成它的物質所攜帶的信息就永遠消失了，這違反量子力學信息守恒的基本原理。

數學中的熵結構：KS熵和拓撲熵

上面提及的都是物理學背景引進的熵。在數學領域則有“度量熵”，特別是由蘇聯數學家安德雷·柯爾莫哥洛夫（Andrey N. Kolmogorov，1903-1987）和俄裔美國數學家雅科夫·西奈（Yakov G. Sinai，1935-）引進的“柯爾莫哥洛夫-西奈熵”，簡稱KS熵。它用以刻畫給定測度下的平均信息產生速率，可以視為香農信息熵在動力系統中的推廣。KS熵可以用于刻畫一個確定性動力系統在演化過程中表現出的混亂程度或信息產生速率。兩個共軛或同構的動力系統的KS熵相同。因此，KS及其他度量熵可用于區分不同類型的動力系統。

數學領域中的另一個重要概念是“拓撲熵”。在動力系統理論中，它用來量化一個動力系統在迭代過程中其軌道隨時間演化的復雜性或混亂程度。與度量熵不同，拓撲熵只依賴于系統的拓撲結構，而不依賴于任何特定的度量或概率測度。最早的拓撲熵由美國數學家羅伊·阿德勒（Roy L. Adler，1931-2016）、美國計算機科學家艾倫·康海姆（Alan G. Konheim，1934-2019）和英國數學家麥克安德魯（M. H. McAndrew，劍橋大學1960年數學博士）于1965年引入，稱為“AKM 拓撲熵”，后來經其他一些數學家用開覆蓋的語言給出更通用的定義。拓撲熵的基本思想是動力系統中分離軌道的增長速度。具體地說，考慮一個動力系統在相空間中兩條從不同起點出發的軌道，它們在初始時刻可以如此接近以至難以區分，但如果經過 n 次迭代后，其軌跡會逐漸清晰地分離開來，則可認為它們攜帶有不同的信息。拓撲熵粗略地表示為隨著 n 的增長，長度為 n 的可分辨軌道的指數增長率。

拓撲熵在現代數學中有很多形式，也有很多應用。在混沌理論中，正拓撲熵是 Li-Yorke 混沌的充分但非必要條件。拓撲熵可以用來區分不同復雜度的動力系統，特別是符號動力系統和雙曲型耗散系統。在分形幾何與熱力學中，通過拓撲熵引入壓力概念，可以刻畫分形維數與測度的復雜性。在組合優化與元胞自動機理論中，有限自動機生成的子移位熵由其語言增長率的對數來量化表達。

今天，各種熵用作復雜系統里的無序性、不確定性和不可逆性的統一概念和量度。物理和數學中常用的熵綜合在表1里。

表1 ：各種物理熵和數學熵的簡要比較

香農的信息熵：通信、信息與不確定性的量化

下面，我們來談談香農的信息熵，它是現代計算技術、生物物理和社會科學領域中使用得最多的熵。

前面說過，1948年，香農把熵這一概念引入到信息論中。后人把他定義的信息熵稱為“香農熵”。香農研究了“一句話最少需要多少個符號來表達”這類信息理論問題。他在通信領域的研究中，建立了包括信源、發送器（編碼器）、信道、接收器（解碼器）、信宿以及噪聲源組成的通信系統模型。其中，信息量就是解除信源不確定性程度所需信息的度量。

香農以概率論和數理統計為工具，提出了一個計算信息不確定性的數學公式（見表1）。該數學公式應用于由隨機事件組成的離散型信源時，隨機事件出現的信息不確定性程度用其出現的概率來描述：事件出現的可能性越小，概率就越小，而所含信息不確定性則越大；相反，事件出現的可能性越大，概率就越大，而所含信息不確定性則越小。因此，香農的信息熵被用于量化通信系統中一個離散隨機變量所包含的“信息不確定性”：熵值越大，信息越不確定。例如，當我們對某事件一無所知時，信息熵最大；當我們已完全知曉事件內容和規律時，信息熵為零。

具體地說，香農熵定義為一個隨機變量所有可能取值的信息量的期望值（見表1）：

其中，單個隨機事件的信息量（自信息量）用公式

來計算，單位為“比特”（bit），滿足：

概率p(x) = 1（事件必然發生）→ 自信息量 S(x) = 0 （信息完全可以確定）

概率 p(x) = 1/2（拋硬幣）→ 自信息量 S(x) = 1（信息在一半程度上可以確定）

概率p(x) = 0（事件必不發生）→ 自信息量S(x)=∞（對應的熵沒有意義）

這里，對數的使用為表達和計算自信息量帶來了方便：

其中 1 比特 = 一次公平的“是/否”判斷所代表的信息量。

值得注意的是，香農熵用來衡量隨機變量整體的不確定性，因此“單個事件的自信息量”（例如上面說的“單個事件必然發生”和“單個事件必不發生”的信息量）可以計算，但“單個事件的熵”是沒有嚴格數學意義的。

香農的信息熵也可以看成是廣義熵，或稱為泛熵，用來廣泛描述物質運動（包括生命現象）的混亂度或無序度。其對立面信息量，俗稱為“負熵”，則是有序度或組織結構復雜程度的表示：生物系統的復雜化或有序化，對應信息論的熵減。今天，香農熵被廣泛應用于數據壓縮、密碼學、機器學習、統計推斷、生物信息學、經濟學以及復雜網絡等諸多領域。

熵：宇宙熵增和生命負熵

下面，我們來細說“熵增”和“負熵”這兩個饒有趣味也至關重要的論題。

（1）宇宙熵增定律

熱力學有三條基本定律。熱力學第一定律是能量守恒定律在熱力學系統中的具體表述。它指出能量既不會憑空產生，也不會憑空消失，它只會從一種形式轉化為另一種形式，或者從一個物體轉移到另一個物體，而在轉化或轉移的過程中，能量的總量保持不變。

熱力學第二定律，又稱“熵增定律”，是一條與能量守恒有同等重要地位而又十分有趣的基本定律。能量守恒定律是描述自然界普遍適用的定律，而熵增原理僅適合于熱力學孤立體系。熵增原理指出，在孤立系統中，如果變化過程是可逆的，則熵不變；如果過程是不可逆的，則熵增加，并且當熵增加到最大時，系統處于一種平衡態。熵增刻畫了系統從有序向無序的演化：熵越高，系統越無序；熵越低，系統越有序。

生活經驗告訴我們，熱不可能自發地、毫無損失地從低溫物體轉移到高溫物體，也不可能從單一熱源取熱而把它全部變為功卻不產生任何其他影響。早在1850年，物理家克勞修斯就指出：在自然條件下熱量只能從高溫物體向低溫物體轉移，而不能由低溫物體自動向高溫物體轉移；也就是說，在自然條件下，這個轉變過程是不可逆的。要使熱傳遞方向逆轉過來，只有靠消耗功來實現?？藙谛匏怪赋觯骸坝钪娴撵刳呌跇O大”。具體地說，在一個孤立系統里，熵總是在增大的，直到不能再增大為止。這時，系統內部達到一種完全均勻的熱動平衡狀態，不會再發生任何變化，除非外界對系統提供新的能量。因此，如果認為宇宙是自我封閉而不存在“外界”的話，那么宇宙一旦到達熱動平衡態，就會完全死亡。這種情景稱為“熱寂”。

生活經驗也告訴我們，正如房間里的空氣分子，常態下它們是均勻地分布在整個空間里的，不會全部一起擠逼在某個角落而在其他地方留下真空?？茖W測量表明，空氣分子的數量越多，這種散亂分布的可能性或者說概率就越大，大到幾乎是必然的，這時它們的熵達到最大值。這個過程就是熵增過程，期間空氣分子的運動是一種“混沌”狀態，它具有正的熵。熵值越大，運動狀態就越混沌。在極限情形，熵值最大，對應著完全的無序、均勻、死寂——沒有溫度差、沒有密度差、沒有任何可做功的梯度；一切可能的結構、信息、模式都徹底消失，那是一種完全混沌的狀態。打趣地說，在這個極限狀態下，熵變成了“殤”。

不過要注意，熱力學第二定律本質上是統計規律，適用于由很大但有限數目分子所構成的獨立系統及有限范圍內的宏觀過程，因此不能簡單直接地應用到無限的宇宙，而需要通過所謂的“視界熵”和整體演化才能作適當的推廣。

熱力學第二定律還有一個重要的不可逆性。1851年，英國數學物理學家、工程師、第一代開爾文男爵（Lord Kelvin）威廉·湯姆森（William Thomson，1824-1907）指出，在有限空間和時間內，一切和熱運動有關的物理及化學過程都具有不可逆性。他論證了，自然界中任何形式的能都會很容易地變成熱，而反過來熱卻不能在不產生其他影響的條件下完全變成另一種形式的能。他還說明了，這種轉變在自然條件下也是不可逆的。今天，從統計力學的角度來看，這種不可逆性源于系統微觀狀態數目的差異。熵增的方向是系統從概率較小的有序狀態向概率更大的無序狀態發展的方向。逆過程在原則上雖然概率不為零（如漲落），但隨著系統粒子數增多，發生的概率極低，宏觀上可以忽略不計。

在1890年代，德國邏輯學家和數學家恩斯特·策梅洛（Ernst F. F. Zermelo，1871-1953）與奧地利物理學家路德維?！げ柶澛↙udwig E. Boltzmann，1844-1906）爆發過一場關于熱力學第二定律的持久公開的大辯論。當年還是物理學家普朗克博士研究生的策梅洛在《物理學紀事》（Annalen der Physik）雜志發表了一篇論文，向資深的物理學家玻爾茲曼關于熱力學第二定律的統計理論提出了挑戰，引起了一場曠世辯論。當時爭論的核心是能否從經典力學推導出上面所說的不可逆性。辯論的結果澄清了熱力學不可逆性的統計本質，促進了熱力學從經典力學到統計力學的范式轉變，成為熱力學與統計物理學發展史上的一個里程碑。

關于熱力學第二定律，愛因斯坦在1949年出版的《自述》一書中說：“這是唯一具有普遍內容的物理理論。我確信，在其基本概念的適用框架內，它將永遠不會被推翻?！?/p>

熱力學還有第三定律，它指出不可能通過有限步驟將任何系統的溫度降低到絕對零度。因為通過測量物質從接近絕對零度到有限目標溫度的熱容量便可算得相應的熵值，所以熱力學第三定律的各種表述均與絕對零度及其熵的不可達性有關。

（2）生命以負熵為生

奧地利物理學家埃爾溫·薛定諤（Erwin Schr?dinger，1887-1961）于1944年出版了《生命是什么》（What is life?）一書，那是一部從物理學視角審視生物學的經典著作。該書基于他本人1943年的一次演講，運用熱力學和量子力學理論，提出了“非周期性晶體”（遺傳物質基礎）和“負熵”（生命維持機制）等核心概念，預言了遺傳密碼的存在，對分子生物學的誕生和DNA的發現產生了深遠影響。

薛定諤在《生命是什么》 中說：“人活著就是在對抗熵增定律，生命以負熵為生?！?/p>

從物理學的角度來說，對抗熵增的有效途徑是通過各種“耗散結構”進行的。這是比利時裔美國物理化學家伊利亞·普里高津（Ilya Prigogine，1917-2003）提出的理論。他說的耗散結構是一個“不封閉、能自己保持有序”的系統，它有四個主要特征：開放性、非線性、遠離平衡態、漲落觸發。前面提到，熵增是在封閉（或說孤立）系統內部發生和進行的。開放系統允許與周邊環境溝通交互，使得它有機會吸收負熵。此外，封閉系統內部熵增的結果是熵趨于極大從而系統趨于平衡態。因此，對抗熵增就要遠離平衡態。此外，遠離平衡態的耗散結構總是通過某種非線性的“突變”現象而發生的。事實上，突變臨界值的存在是耗散系統的主要特征。最后，隨機的微小擾動（漲落）在合適條件下會被放大，從而觸發系統躍遷到新的有序態。

普里高津把經典熱力學平衡態推廣到非平衡態，將封閉系統熵的概念擴展到開放系統，從而建立了非平衡態熱力學。他指出：“非平衡是有序之源”，即非平衡的不可逆性是形成有序結構過程中不可或缺的因素。普里高津的新理論包括熵的平衡方程、非平衡線性區的最小熵產生定理以及遠離平衡區域的耗散結構。他的理論超越了經典熱力學范疇，在其他學科領域中也有許多應用。

地球上的生物系統是一個開放系統，它通過從環境中攝取低熵物質（有序高分子）和向環境釋放高熵物質（無序小分子）來維持自身處于低熵有序的狀態。上面提到，每個孤立系統和封閉過程，都在朝著“熵增”的方向發展，一步步走向“熱力學平衡”的“衰退”直至“死亡”。那么，生命有機體是如何避免或延遲衰退的呢？答案是讓自身系統開放，與環境交互，通過吃、喝、呼吸，即新陳代謝，來對抗熵增。通過物質交換和化學反應，生物體產生能量，并不斷與環境進行交流互換，源源不斷地獲取負熵。這里，負熵的定義并非正熵的簡單直接的相反量，而是泛指生命系統通過代謝、攝取能量等方式“輸入秩序”，即減少系統內部的混亂程度，借以維持自身結構的有序性。這一過程可理解為“汲取負熵”，是一個熵減的過程，它消耗能量或資源，即進行減熵，讓生命體從無序變得有序，并通過這個過程來維持生命。

圖1 ：霍金《時間簡史：從大爆炸到黑洞》

霍金在其暢銷書《時間簡史：從大爆炸到黑洞》（A brief history of time: From the big bang to black holes，圖1）中說：“混亂度或熵的增加，正是區分過去與未來的所在，它為時間賦予了方向。”或許我們可以說，熵也為復雜系統的演化賦予了方向。

筆者感謝中央財經大學梁超教授對文稿的細致評閱和修改意見

文章轉載自“集智俱樂部”公眾號