情感識別不再是分類題：EmotionThinker讓SpeechLLM 學會解釋情緒

語音情感識別（Speech Emotion Recognition, SER）在過去基本遵循同一種范式：輸入語音，輸出情緒標簽。這種設(shè)定在工程上有效，但在認知層面卻過于簡化。

在人類交流中，情緒判斷從來不是一個 “標簽選擇” 的過程，而是一種基于證據(jù)整合的推理行為。我們會綜合語調(diào)變化、音高起伏、語速快慢、重音位置、語義內(nèi)容，以及說話人的身份特征，去解釋 “為什么” 這是憤怒、“為什么” 這是失落。

因此，一個更根本的問題浮現(xiàn)出來：

SpeechLLM 是否具備像人類一樣解釋 “為什么” 做出情緒判斷的能力？

為此，研究團隊提出了EmotionThinker—— 首個面向可解釋情感推理（Explainable Emotion Reasoning）的強化學習框架，嘗試將 SER 從 “分類任務(wù)” 提升為 “多模態(tài)證據(jù)驅(qū)動的推理任務(wù)”。

• 論文標題：EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning

一、從 “情緒分類” 到 “情感推理”

EmotionThinker 首先對語音情感識別任務(wù)本身進行了重定義，將其擴展為情感推理任務(wù)（Emotion Reasoning）。在新的設(shè)定下，模型不僅需要預(yù)測情緒標簽，還需要生成一段解釋，明確指出：

• 哪些聲學線索支持這一判斷
• 哪些語義線索起到關(guān)鍵作用
• 這些線索如何共同構(gòu)成最終結(jié)論

這種范式轉(zhuǎn)變意味著，模型輸出從 “標簽” 升級為 “標簽 + 基于證據(jù)的推理”。

它的意義并非簡單延長輸出，而是對優(yōu)化目標的重寫。模型不再只需 “預(yù)測正確”，而必須學習如何整合韻律、語義與說話人屬性等多模態(tài)信號，并在解釋中體現(xiàn)證據(jù)對齊過程。情緒識別由此從判別問題轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化推理問題。

二、EmotionThinker：

面向可解釋情感推理的框架

EmotionThinker 的目標并不局限于提升最終準確率，而是同時提升三方面能力：

（1）更高的情緒識別準確率

（2）更強的情緒線索整合與推理能力

（3）更細粒度的音頻描述能力，覆蓋說話人特征、韻律線索與語義信息

為了支撐這一目標，研究團隊首先構(gòu)建了EmotionCoT-35K。這是一個包含 35,000+ 條樣本的 Chain-of-Thought 風格數(shù)據(jù)集。與傳統(tǒng) SER 數(shù)據(jù)不同，它不僅提供情緒標簽，還提供細粒度韻律描述與結(jié)構(gòu)化推理解釋。

這些樣本明確標注了音高、能量、語速、重音、語調(diào)輪廓等線索如何支持情緒判斷，使模型能夠?qū)W習到 “證據(jù) — 推理 — 結(jié)論” 之間的對應(yīng)關(guān)系。

與此同時，研究團隊觀察到：若模型的韻律感知能力不足，其情感推理能力將受到系統(tǒng)性限制。因此，研究團隊進一步構(gòu)建了一個 EmotionThinker-Base。EmotionThinker-Base 通過監(jiān)督微調(diào)增強模型對音高變化、能量波動、語速模式與重音等結(jié)構(gòu)的感知能力，從而為后續(xù)的推理優(yōu)化提供穩(wěn)定基礎(chǔ)。

三、GRPO-PTR：

讓強化學習真正優(yōu)化 “解釋能力”

在將語音情感識別重定義為情感推理之后，一個新的優(yōu)化難題隨之出現(xiàn)：如何在開放式生成場景中，對 “推理質(zhì)量” 進行穩(wěn)定強化學習？直接將推理獎勵與情緒預(yù)測獎勵簡單疊加，會帶來明顯的噪聲問題。一方面，模型可能生成語言上看似合理但與最終情緒判斷不一致的解釋；另一方面，在訓練初期，模型尚未形成穩(wěn)定的聲學 — 語義對齊能力，過強的推理獎勵容易放大早期隨機偏差，導(dǎo)致策略梯度震蕩。為此，研究團隊提出了 GRPO-PTR（Progressive Trust-aware Reasoning）。

首先，研究團隊采用了漸進式推理獎勵調(diào)度。在訓練初期，優(yōu)化重點放在情緒預(yù)測的穩(wěn)定性上；隨著模型策略逐步收斂，逐步提高推理獎勵權(quán)重，使模型從 “預(yù)測正確” 過渡到 “解釋合理”。這種 reward scheduling 降低了早期高方差信號對訓練穩(wěn)定性的影響。

其次，研究團隊引入基于一致性的可信度加權(quán)機制。當模型生成的推理與最終情緒預(yù)測保持一致時，推理獎勵按完整權(quán)重計入；當二者存在沖突時，推理獎勵自動衰減。該機制有效緩解了開放式生成任務(wù)中常見的 reward misalignment 問題，使解釋優(yōu)化始終服務(wù)于情緒判斷本身。

從優(yōu)化角度看，GRPO-PTR 解決的是一個更一般的問題：如何在 “預(yù)測 + 解釋” 的多目標生成任務(wù)中，使結(jié)構(gòu)化推理與最終決策保持對齊，并在強化學習框架下穩(wěn)定收斂。

四、實驗結(jié)果與研究啟示

在多個標準語音情感識別基準上，EmotionThinker 同時實現(xiàn)了：

• 更高的情緒識別準確率
• 更優(yōu)的解釋質(zhì)量
• 更穩(wěn)定的韻律線索整合能力

更重要的是，我們觀察到一個關(guān)鍵現(xiàn)象：當模型被顯式訓練去對齊聲學線索與情緒判斷時，其在復(fù)雜情緒場景下的魯棒性顯著增強。這說明，情感理解的瓶頸并不僅僅在語義層面，而在于聲學與語義信號的協(xié)同建模能力。換句話說：如果模型不能準確理解 “怎么說”，它就無法穩(wěn)定理解 “是什么情緒”。

結(jié)語

EmotionThinker 并不僅僅是在情感識別任務(wù)上提升準確率，而是在任務(wù)定義層面完成了一次轉(zhuǎn)變。

情緒識別不應(yīng)只是標簽預(yù)測，而應(yīng)是基于多模態(tài)證據(jù)的結(jié)構(gòu)化推理過程。從 “分類” 到 “解釋”，從 “標簽” 到 “證據(jù) — 推理 — 結(jié)論” 的一致性對齊，情感理解正在進入一個強調(diào)可解釋性與結(jié)構(gòu)協(xié)同的階段。

當模型學會解釋情緒時，它不僅在給出判斷，也在展示其如何整合聲學與語義線索。

這或許是多模態(tài)大模型邁向真正情感理解能力的重要一步。

作者簡介

本文第一作者為王丁冬，香港中文大學博士生，研究方向為語音大模型的口語理解，對話與推理 (Reasoning)，導(dǎo)師為 Helen Meng 教授。本文在微軟劉樹杰博士與Jinyu Li博士的共同指導(dǎo)下完成。