詞向量：詞為什么要變成一串?dāng)?shù)字？

來源：市場資訊

（來源：圖靈人工智能）

“向量”是一串有固定順序的數(shù)字；

“詞向量”就是用一串有固定順序的數(shù)字表示一個詞。

下面是斯坦福大學(xué)發(fā)布的GloVe詞向量模型中的一個真實例子。該模型把每個詞表示成50個數(shù)字；也有100維、200維和300維的版本（參考文獻[1]）。

英語單詞 king（國王） 被表示成下面這串?dāng)?shù)字：

[0.50451，0.68607，-0.59517，-0.022801，0.60046，
-0.13498，-0.08813，0.47377，-0.61798，-0.31012，
-0.076666，1.493，-0.034189，-0.98173，0.68229，
0.81722，-0.51874，-0.31503，-0.55809，0.66421，
0.1961，-0.13495，-0.11476，-0.30344，0.41177，
-2.223，-1.0756，-1.0783，-0.34354，0.33505，
1.9927，-0.04234，-0.64319，0.71125，0.49159，
0.16754，0.34344，-0.25663，-0.8523，0.1661，
0.40102，1.1685，-1.0137，-0.21585，-0.15155，
0.78321，-0.91241，-1.6106，-0.64426，-0.51042]

第一次看到詞向量，最自然的反應(yīng)大概是：

“國王”明明是一個人人都懂的詞，為什么到了計算機里，卻變成了這樣一串莫名其妙的小數(shù)？

這些數(shù)字對人來說并沒有清晰含義。不能說第一個數(shù)字表示權(quán)力，第二個數(shù)字表示男性，第三個數(shù)字表示統(tǒng)治者。假如換一個模型，同一個詞會得到另一串完全不同的數(shù)字。

單獨看這50個數(shù)，幾乎什么也看不出來。它們只有和同一模型中的其他詞放在一起比較時，才開始發(fā)揮作用。例如，把 king、queen、man、woman 的向量放在同一個空間中，它們之間會呈現(xiàn)出某些有規(guī)律的位置關(guān)系。從 man 指向 king 的方向，與從 woman 指向 queen 的方向大致平行。也可以寫成：

king ? man ≈ queen ? woman

所以，詞向量真正值得追問的，不是：

這50個數(shù)字分別是什么意思？

而是：

一個詞原本已經(jīng)有寫法、有讀音、有詞典解釋，為什么還要用數(shù)字給它安排一個位置？
把詞變成一串?dāng)?shù)字以后，計算機究竟多獲得了什么能力？

要搞清楚這個問題，不妨先從一次普通的買衣服說起。

一、當(dāng)“查找”變成“選擇” —— 為什么需要向量？

對商店來說，組織上千上萬件衣服，最簡單的辦法，是先給衣服打上各種特征標(biāo)簽：

• 男裝還是女裝；

• 襯衫、外套還是羽絨服；

• 黑色、白色還是藍色；

• 什么尺碼；

• 什么價格。

這些信息放進數(shù)據(jù)庫后，就可以準(zhǔn)確查詢（定位）：

找出價格低于800元的黑色女式羽絨服。

這是典型的符號計算。每件衣服屬于什么類別、具有什么屬性，都被明確記錄下來；計算機只需按條件查找。

但現(xiàn)實中的選擇往往沒有這么簡單。

你真正考慮的可能是：

• 穿去上班，還是參加婚禮；

• 天氣冷不冷；

• 是否適合自己的年齡和身材；

• 是不是太張揚；

• 能不能和已有的鞋子、褲子搭配；

• 穿起來是否舒服；

• 價格雖然稍高，是否仍然值得。

這時，問題已經(jīng)不再是：

哪件衣服完全符合條件？

而變成了：

假如沒有一件衣服完全符合要求，哪一件衣服總體上感覺最合適？

解決這個問題，當(dāng)然可以繼續(xù)在數(shù)據(jù)庫中增加字段，編寫更多規(guī)則：

• 婚禮要穿正式的衣服；

• 冬天要保暖；

• 年長者不宜過于鮮艷；

• 上班穿著不能太隨意。

但是，規(guī)則很快就會越來越多，而且互相牽連。

正式一點的衣服可能不夠舒適；保暖的衣服可能顯得臃腫；顏色雖然合適，款式卻不適合這個場合。每個因素都不是簡單的“有”或“沒有”，而是有程度差別；不同因素的重要性還會隨著人和場合變化。

符號方法擅長處理界限清楚的問題：

是不是黑色？
價格是否低于800元？
是否屬于羽絨服？

卻不擅長直接回答：

在多大程度上合適？
兩件衣服哪一件更接近我的需要？

問題從“逐項查找”變成了“綜合比較”。這時，向量化的思想便自然出現(xiàn)了。

二、向量化究竟增加了什么能力？

我們可以把一件衣服放到若干連續(xù)的尺度上考察：

• 正式程度；

• 保暖程度；

• 鮮艷程度；

• 寬松程度；

• 運動感；

• 價格水平。

例如，一件衣服可以粗略表示為：

[正式8，保暖6，鮮艷2，寬松5，運動感1，價格7]

這串?dāng)?shù)字不是衣服的編號。這串?dāng)?shù)字描述的是一件衣服在多個方面所處的位置。

同樣，“某個人在冬天參加一場正式晚宴”也可以形成一組對衣服的需求：

[正式9，保暖7，鮮艷3，寬松5，運動感1，價格6]

現(xiàn)在，選擇衣服的問題就發(fā)生了變化：

不必為每一件衣服編寫一套規(guī)則，只需比較每件衣服與這組需求總體相差多少。

差得越少，通常就越合適。

向量化最重要的地方，不是“把幾個特征寫成數(shù)字”，而是把所有對象放進同一個空間。每一件衣服在這個空間中都有一個位置；人的需要和使用場合，也可以在同一個空間中形成一個位置。原本復(fù)雜的“是否合適”，便轉(zhuǎn)化為“兩個位置相距多遠”。

符號表示主要回答：

它是什么？具有什么明確屬性？

向量表示進一步回答：

它與另一個對象有多接近？
在沒有完全相同對象時，哪一個最相似？
在多種因素互相沖突時，哪一個總體上更合適？

這就是向量方法的核心優(yōu)勢：它特別適合處理連續(xù)的、模糊的、多因素共同決定的、無法窮舉全部規(guī)則的問題。

更進一步說，符號系統(tǒng)往往需要逐條記錄關(guān)系：

A和B相似；
A和C不太相似；
B比C更適合某種場合。

對象一多，關(guān)系就會急劇增加。

向量則把大量難以窮舉的關(guān)系壓縮進每個對象的空間位置中。

只要知道兩個對象的位置，就可以計算它們的遠近，而不必事先把每一對關(guān)系都列出來。

三、為什么自然語言中的詞語也需要向量化

詞語知識可以放進數(shù)據(jù)庫。

詞典可以記錄：

• “蘋果”是名詞；

• “蘋果”是一種水果；

• “蘋果”可以食用；

• “蘋果”和“梨”屬于同類；

• “高興”和“快樂”是近義詞；

• “高興”和“悲傷”是反義詞。

對于清楚、固定的知識，這種符號表示十分好用。

可是，語言中的關(guān)系遠不止這些。

“高興”“快樂”“興奮”“欣慰”“滿意”“得意”都有聯(lián)系，卻不是簡單的相同或不同。它們在感情色彩、程度、產(chǎn)生原因、使用對象和適用場合上各有差異。

我們很難逐條寫出：

“高興”和“快樂”有多接近；
“欣慰”在哪些方面接近“高興”；
“興奮”為什么在這個句子里合適，在另一個句子里卻不合適。

語言表達的組合更是無法窮舉。

一個人搜索：

飯卡丟了怎么辦？

學(xué)校網(wǎng)站上的通知可能寫著：

校園卡遺失補辦辦法。

從字面看，“飯卡”不等于“校園卡”，“丟了”不等于“遺失”，“怎么辦”也不等于“補辦辦法”。按照符號進行精確匹配，可能什么也找不到；但人一看就知道，這兩個表達說的是同一件事。

這正是詞語需要向量化的原因。

如果把詞放進一個“語言空間”，使用方式相近、經(jīng)常出現(xiàn)在相似環(huán)境中的詞，可以處在相近位置；差異較大的詞，則處在較遠位置。這樣，計算機就不必只判斷兩個詞是否完全相同，還可以計算它們在語言使用中有多接近。

詞向量因此能夠幫助計算機處理：

• 近義表達檢索；

• 語義相似判斷；

• 自動推薦；

• 文本分類；

• 翻譯；

• 根據(jù)上下文選擇更合適的詞。

這種思想并不限于詞。

語素可以向量化，詞可以向量化，句子、段落乃至整篇文章也都可以向量化。這樣一來，一條問題和一篇答案、一段新聞和另一段報道、一份材料和用戶的查詢，都可以放進某個共同空間中進行比較。

對象一旦向量化，就獲得了一種統(tǒng)一的計算方式：

不再只問“是否相同”，還可以問“相似到什么程度”。

所以，詞向量真正完成的是一次重要轉(zhuǎn)換：

普通的符號化的編碼，告訴計算機“這是哪個詞”（符號編碼化）；
詞典和數(shù)據(jù)庫記錄已經(jīng)明確規(guī)定的屬性與關(guān)系（特征化）；
詞向量表示則進一步將詞語之間模糊、復(fù)雜而難以窮舉的關(guān)系，轉(zhuǎn)化為空間中的位置、距離和方向（向量化）；

詞向量，就是詞在一個可計算的語言空間中的位置（詞語世界地圖中的GPS精準(zhǔn)定位）——需要用一串長長的數(shù)字表示，數(shù)字越長，表示能力就可以越精細，從而讓詞語能夠被比較、在復(fù)雜場景下依據(jù)語境約束選擇如何使用。

參考文獻

[1] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. “GloVe: Global Vectors for Word Representation.” *Proceedings of EMNLP 2014*, 1532–1543.