OpenAI再開源：用語音開站會的Realtime Demo

大家好，我是 Ai 學習的老章

OpenAI 又開源了一個項目，叫 openai-realtime-meeting-assistant

第一眼看到這個名字我以為又是個會議紀要工具，點進去發現完全不是

這是個用語音操作 Kanban 看板的 demo——一群人開會，對著麥克風說話，看板上的卡片自己動

OpenAI 用它來演示 Realtime API + WebRTC + function calling 怎么組合出一個多人語音 Agent

Kanban 截圖 它到底是什么

技術棧很硬核：

• 后端 ：Go 語言

• WebRTC ：Pion WebRTC 庫

• 音頻編解碼 ：Opus

• WebSocket ：Gorilla

• AI 接入 ：OpenAI Realtime API（WebRTC 集成方式）

• 觸發 Kanban 更新 ：function calling

工作流是這樣的：

1. 多個用戶加入同一個 WebRTC 房間

2. 服務器把所有參與者的音頻混合（mix）

3. 混合后的音頻實時送給 OpenAI Realtime peer

4. 模型聽懂之后通過 function call 修改看板

5. 看板變化廣播給房間所有人

一句話：站會語音指揮

?? 項目自己也明說了：沒有內置鑒權，誰能訪問 URL 誰就能進會議室——還是個 demo，別拿去生產

怎么跑起來

前置條件：Go 1.24 以上 + Opus 庫（用 pkg-config 找）

# 1. 拿到 API Key
export OPENAI_API_KEY= 
        

 # 2. 克隆
git clone https://github.com/openai/openai-realtime-meeting-assistant.git

 # 3. macOS 裝依賴
brew install opus pkg-config

 # 4. 跑
go run .

默認監聽 http://localhost:3000，要換端口：

go run . -addr :8080

注意它不讀 .env 文件，只讀環境變量

Realtime Meeting 流程 演示流程

啟動后，看板里會預置一些 WebRTC 相關的卡片

打開瀏覽器，點 Join room，允許攝像頭麥克風，然后對著麥克風說人話就行

官方給的幾個示例：

• "I started the ICE restart handling ticket"（我開始做 ICE 重啟了）

• "The DTLS cleanup work is blocked on a transport shutdown issue"（DTLS 清理被卡住了）

• "We shipped the RTP HEVC packetizer"（HEVC 打包器發版了）

• "Create a ticket to add subscription controls for simulcast forwarding"（建一個新卡片）

• "Add the bandwidth tag to the simulcast card"（給卡片加標簽）

• "Delete the packet retransmission buffer ticket"（刪卡片）

講完之后看板自動更新，房間里所有人同步看到

?? 戴耳機或者把音量調小——背景音會被算進會議混音里，可能被當成新指令

為什么這個 demo 值得看

老實說，Kanban 不是重點，重點是它示范了三件事：

第一，Realtime API 真的能多人用

之前 Realtime 的 demo 基本是一對一，這個項目把多個參與者的音頻在服務器端 mix 成一路再喂給模型，給「會議場景接入大模型」鋪了路

第二，function calling 在 Realtime 里也能用

不是只能聊天，是真的可以讓語音流觸發結構化的 action——這是 Voice Agent 的核心模式

第三，Go + WebRTC + Realtime 全棧代碼全開源

很多想做語音 Agent 的同學卡在 WebRTC 那一層，這個 repo 直接把 Pion + Opus + Realtime 的膠水代碼給你了，照著改就能做行業版

適合誰

• 想做 會議機器人 的：把 Kanban 換成你的業務對象，加個鑒權就能上

• 想做 語音操控工具 的：參考 function call 的接法

• 想學 WebRTC 實戰 的：這是少見的「混音 + 轉發 + AI 接入」全棧示例

不適合誰：

• 想拿來直接當產品的（沒鑒權）

• 想要一鍵部署的（要自己裝 Go、Opus、配 Key）

• 想要中文/多語種特化的（demo 沒做語言路由）

OpenAI 這次開源比起放新模型更像放教材——把多人語音 + Realtime + function calling 這條鏈路完整跑通，給開發者一個能改、能學、能拆的樣板

對想入局語音 Agent 的人來說，這玩意兒值 100 個抽象文檔

項目地址：github.com/openai/openai-realtime-meeting-assistant

制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！