Google OpenRL 是一個(gè)用于大型語(yǔ)言模型（LLM）后訓(xùn)練微調(diào)的實(shí)驗(yàn)性自托管 API

作者 ｜ Sergio De Simone

譯者 ｜ 平川

谷歌 GKE Labs 推出 了 開源項(xiàng)目 OpenRL，為在標(biāo)準(zhǔn) Kubernetes 集群上對(duì)大型語(yǔ)言模型（LLM）進(jìn)行后訓(xùn)練和微調(diào)提供一個(gè)自托管 API。

谷歌表示，OpenRL 將強(qiáng)化學(xué)習(xí)（RL）基礎(chǔ)設(shè)施從 AI 研究中抽象出來，使機(jī)器學(xué)習(xí)團(tuán)隊(duì)能夠直接在自己的集群上擴(kuò)展后訓(xùn)練工作流。

據(jù)谷歌工程師稱，在大型語(yǔ)言模型（LLM）上進(jìn)行基于代理的強(qiáng)化學(xué)習(xí)時(shí)，“極易因系統(tǒng)復(fù)雜性高而陷入困境”。即使是一個(gè)簡(jiǎn)單的強(qiáng)化學(xué)習(xí)循環(huán)，也需要同時(shí)處理許多環(huán)節(jié)：數(shù)據(jù)準(zhǔn)備與清洗、環(huán)境選擇、訓(xùn)練循環(huán)調(diào)試、獎(jiǎng)勵(lì)設(shè)計(jì)、處理推理不一致問題、硬件配置以及底層基礎(chǔ)設(shè)施管理。

這些都是棘手的問題。但真正讓情況變得更加復(fù)雜的是，在當(dāng)今的工具和框架中，AI 研究與基礎(chǔ)設(shè)施問題緊密地交織在一起。

谷歌工程師認(rèn)為，通過將基礎(chǔ)設(shè)施與 AI 研究分離，這些挑戰(zhàn)將變得更易于應(yīng)對(duì)，使專業(yè)團(tuán)隊(duì)能夠?qū)Ｗ⒂诟髯缘念I(lǐng)域，這與 Kubernetes 通過實(shí)現(xiàn)基礎(chǔ)設(shè)施抽象化，從而為應(yīng)用程序開發(fā)人員和可靠性工程師簡(jiǎn)化工作流的方式如出一轍。

OpenRL 提高訓(xùn)練后微調(diào)效率的方式之一，是在你的基礎(chǔ)設(shè)施上運(yùn)行多個(gè)強(qiáng)化學(xué)習(xí)任務(wù)，借此提高整體的 GPU 利用率。據(jù)谷歌研究人員稱，傳統(tǒng)的強(qiáng)化學(xué)習(xí)循環(huán)是嚴(yán)格按順序執(zhí)行的，這往往導(dǎo)致 GPU 在等待 CPU 或網(wǎng)絡(luò)受限任務(wù)（尤其是獎(jiǎng)勵(lì)計(jì)算）完成時(shí)處于空閑狀態(tài)。

此外，谷歌指出，OpenRL 通過明確劃分職責(zé)來提升用戶體驗(yàn)：研究人員可以專注于開發(fā)強(qiáng)化學(xué)習(xí)循環(huán)，而工程師則負(fù)責(zé)執(zhí)行和擴(kuò)展訓(xùn)練后微調(diào)工作流。

在進(jìn)行研發(fā)時(shí)，你無需直接在配備 GPU 的機(jī)器上運(yùn)行強(qiáng)化學(xué)習(xí)循環(huán)，而只需在 Mac 上運(yùn)行強(qiáng)化學(xué)習(xí)循環(huán)，并將其指向在 Kubernetes 集群或虛擬機(jī)上運(yùn)行的訓(xùn)練 API 即可。

OpenRL 代碼庫(kù)中還包含一個(gè)autoresearch方案，演示了如何在 Gemma 模型的 text-to-sql 工作流中，針對(duì)參數(shù)掃描運(yùn)行并行實(shí)驗(yàn)并優(yōu)化獎(jiǎng)勵(lì)信號(hào)。除了實(shí)際的應(yīng)用價(jià)值外，谷歌還將其作為自動(dòng)化如何簡(jiǎn)化并擴(kuò)展 AI 研究的范例做了重點(diǎn)介紹。

OpenRL 可以在 macOS、Nvidia GPU 和 GKE 上輕松使用。此外，得益于其與 Tinker 端點(diǎn)的兼容性，它還能與 Tinker-Cookbook 集成。

OpenRL 并非唯一致力于通過更好的分離關(guān)注點(diǎn)來簡(jiǎn)化訓(xùn)練后微調(diào)的嘗試。例如，F(xiàn)eynRL 確保了微調(diào)方案與系統(tǒng)邏輯的分離，這不僅使研究人員能夠更輕松地開發(fā)和測(cè)試新方法，還能借助 DeepSpeed、Ray 和 vLLM 等工具實(shí)現(xiàn)這些方法的規(guī)模化應(yīng)用。

https://www.infoq.com/news/2026/06/google-open-rl-fine-tuning/

聲明：本文由 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。