面向實時倉儲分揀機優化的貝葉斯上下文老虎機比較研究

A Comparative Study of Bayesian Contextual Bandits for Real-Time Warehouse Sorter Optimization

面向實時倉儲分揀機優化的貝葉斯上下文老虎機比較研究

https://arxiv.org/pdf/2606.23977

摘要

自動化物料搬運系統（MHS）的高效分揀機分流控制對于優化大規模倉儲環境中的運營效率至關重要。在本研究中，我們以高吞吐量電商倉庫的入庫接收分揀機作為主要用例，該場景下的分揀機分流系統依賴于具有靜態權重配置的成本函數，這些函數無法適應高度動態的系統上下文，例如單量模式、擁堵程度、設備物理狀態以及上下游依賴關系。為了應對這一實時分揀機分流優化挑戰，我們對三種候選混合機器學習框架進行了比較研究：結合梯度下降優化的線性回歸（LR+GDO）、結合貝葉斯優化的XGBoost（XGB+BO）以及貝葉斯上下文老虎機（BCB）。通過利用高保真物理感知仿真器來支持模型訓練和評估，以克服冷啟動問題并實現從離線學習到在線學習的安全過渡。我們進行了全面的評估，包括獎勵模型預測精度、上下文敏感性、動作分布和預估獎勵提升。我們的結果表明，雖然基于樹的獎勵模型提供了略強的預測能力，但BCB框架實現了整體更優的性能，相較于啟發式基線取得了2.03%的獎勵提升。此外，BCB展現出幾個優越的特性，例如由Bang-Bang控制理論支持的明確的時間最優策略、持續的在線學習能力、探索與利用之間的策略平衡，以及顯著更短的推理延遲。這些結果證明了BCB框架在大規模倉儲環境中進行實時控制優化的潛力，推動了面向實際運營部署的進一步研究。

索引詞——貝葉斯上下文老虎機，倉儲自動化，實時優化，在線學習，成本函數調優。

I. 引言

在電商倉庫環境中，部署了各種分揀機以管理入庫物品向各自目的地的分流。每臺分揀機都利用一個定制的成本函數來決定入庫物品的分流方向。該成本函數通過實時計算多個成本因素的加權和，為每個可能的分流方向計算出一個復合成本得分。對于每個入庫物品，分揀機會評估所有可能分流方向的成本得分，并選擇得分最低的方向。該成本函數針對每個站點每臺分揀機的具體特征進行了定制，綜合考慮了分揀機類型、站點物理布局、分流選項數量、可用傳感器及系統指標等因素。盡管每個成本函數的具體組成部分可能有所不同，但其一般形式可表示為：

倉庫是一個高度復雜的系統，具有相互關聯且隨時間演變的上下游流程，這要求分揀機分流系統能夠適應并做出最優的分流決策。然而，當前的局限性在于，成本函數中的權重配置歷來都是靜態的。固定的配置可能導致次優的分流決策，從而引發高回流、擁堵和運營效率降低。為了解決這個問題，我們提出了一種混合機器學習框架，該框架在給定的系統上下文下自動推薦最優權重。該框架包含了離線模型初始化和在線連續學習階段。

開發此類框架的一個關鍵挑戰是冷啟動問題。歷史運營數據缺乏成本權重值的變化，不足以訓練一個魯棒的優化模型。為了緩解這一問題，我們利用了一個高保真物理感知仿真器。通過在仿真器中以編程方式給成本權重分配隨機值并記錄相應的系統結果，我們準備了模擬數據集，這些數據集捕捉了系統動態（上下文）、成本權重（動作）和最終性能指標（獎勵）之間復雜的隱藏關系。

在本文中，我們對分揀機優化解決方案的三種候選算法架構進行了比較研究：

? 線性回歸 + 梯度下降優化（LR+GDO）

? XGBoost + 貝葉斯優化（XGB+BO）

? 貝葉斯上下文老虎機（BCB）

我們以高吞吐量訂單履行環境中的入庫接收分揀機作為主要用例，通過運行仿真器收集了5000個訓練樣本。在離線初始化階段，我們利用這些樣本訓練一個獎勵模型，以學習系統狀態、控制動作與最終運營結果之間的關系。隨后，我們通過為預留的系統狀態生成動作，并利用學習到的獎勵模型作為替代模型來估算相應的獎勵，從而在離線狀態下評估訓練好的策略，并將其與同一數據集中記錄的啟發式基線進行對比。我們從離線預測精度、仿真結果、模型復雜度、持續在線學習潛力以及實時推理延遲等方面對這三個候選模型進行了比較。最終結果表明，貝葉斯上下文老虎機（BCB）為各種分揀機應用場景在性能與在線學習能力之間提供了最穩健的平衡。

II. 相關工作

許多關于倉庫分揀機優化問題的現有研究都采用傳統的運籌學（OR）方法來解決。這些工作應用啟發式算法來做出確定性的分配或調度決策，并通常利用混合整數線性規劃（MILP）在已知參數的基礎上最小化移動時間或最大化吞吐量[1]–[4]。然而，在高度動態的倉庫分揀機環境中，隨著系統自身的演變并變得越來越隨機，簡單的啟發式規則很難隨時間推移而一直適用。更重要的是，作為高度依賴上下文且相互關聯的系統的一部分，最優的分揀機配置依賴于高維的系統上下文輸入，這使得傳統運籌學模型在應對“維度災難”和高推理延遲時面臨困難，從而無法滿足實時分流的需求。

其他一些研究采用數據驅動策略，通過訓練監督學習（SL）模型來預測未來的單量、擁堵或設備故障，隨后結合基于規則的或運籌學模型（如線性規劃）來進行推薦[5]。盡管這些模型在預測某些作為求解器輸入的參數時可以達到很高的精度，但它們通常被實現為缺乏實時自適應反饋回路的開環系統。我們提出的解決方案建立在優化與學習緊密集成的閉環架構之上。

上下文老虎機已成功應用于許多不同的領域，包括教育（[6]）、醫療（[7]，[8]）、旅游（[9]）以及數字營銷（如廣告投放和新聞推薦）（[10]）。在工業場景中，與已知需要大量數據且需要數十萬個樣本進行訓練的“黑盒”多步深度強化學習相比，貝葉斯上下文老虎機（BCB）正作為一種樣本高效的單步老虎機模型嶄露頭角，它通過湯普森采樣提供了一種透明的不確定性量化機制[11]。

雖然現有研究已經探索了使用上下文老虎機進行倉庫優化，但它們主要集中在宏觀物流和靜態離散動作規劃問題上，如訂單合并、揀貨優化和存儲分配[12]。相比之下，我們的研究超越了簡單的離散分配，并使用貝葉斯上下文老虎機框架來解決在關鍵但尚未充分探索的高頻倉庫分揀機控制領域中的連續成本權重優化問題。

III. 系統建模：上下文空間、決策變量和目標函數

在介紹算法設計之前，我們首先對我們正在解決的這個優化問題進行數學公式化。在本節中，我們以入庫接收分揀機為例，定義系統上下文向量、決策變量和獎勵函數。

A. 系統上下文表示

系統上下文可以表示為一個數值向量，包括系統吞吐量、上游掃描計數、目的地區域滿度、回流率、控制干預率等特征。一些特征被包含為前一個?T滾動窗口內的聚合總和或平均值，而其他一些特征則被包含為時間序列，以提供時間信息來增強模型的預測能力。 ? 聚合特征包括：吞吐量、回流率、控制干預率、路由違規率、目的地區域滿度。這些特征捕捉了分揀機周圍的系統動態，并在前一個?T時間窗口內進行聚合。滾動窗口聚合過濾了瞬態噪聲，并提供了對真實底層系統狀況的穩定表示。 ? 時間序列特征包括：按輸入類別分類的上游掃描單量。這些特征提供了對上游系統吞吐量的深入了解，這對于預測未來的分揀機到達單量很有用。在上下文向量中包含預測的未來到達單量有助于動作推薦。我們沒有構建單獨的單量預測模型，而是直接將原始的上游吞吐量信號包含在上下文向量中，使模型能夠內化上游單量與未來獎勵之間的時間關系。

B. 決策變量

決策變量是分配給成本函數中成本因素的權重，該成本函數用于做出實時的分揀機分流決策。為了能夠將產生的獎勵正確歸因于其對應的成本權重，成本權重應在相當長的一段時間（例如幾分鐘）內保持特定值，以便系統能夠對其做出反應并在系統指標上積累一些可靠的影響。因此，在仿真階段，我們選擇每隔?時間窗口擾動一次成本權重的值，在在線學習階段，我們也讓模型每隔時間窗口生成一次新的權重推薦。

C. 獎勵設計

有幾個系統性能指標是我們希望通過該優化解決方案來改善和平衡的。因此，我們采用了一個復合獎勵得分，該得分被定義為多個運營關鍵績效指標（KPI）的加權和：

IV. 算法設計：優化框架候選方案與公式表述

本節討論了針對分揀機分流優化問題的三種候選優化框架的算法架構和設計細節。

A. 線性回歸 + 梯度下降優化 (LR+GDO)

其中 n n 是訓練樣本的數量， α α 是正則化參數。

一旦獎勵模型訓練完成，它將被用于指導動作推薦的優化搜索。我們利用 PyTorch 框架進行高效的梯度下降優化。我們從回歸模型中提取學習到的系數，并將它們移植到一個可微的 PyTorch 包裝器中，該包裝器在其計算圖內重建獎勵模型，以便它可以使用該獎勵模型作為其目標函數來搜索全局最優解。最優解需要滿足單純形約束：

B. XGBoost + 貝葉斯優化 (XGB+BO)

XGB+BO 框架由兩個關鍵組件組成：一個基于樹的獎勵模型和一個貝葉斯優化求解器。XGBoost 獎勵模型最初是在模擬數據上訓練的，能夠根據當前的上下文和成本權重預測系統性能結果。

其中
表示上下文向量和權重向量的拼接。

該獎勵模型用于指導實時優化求解器的最優搜索，該求解器隨著系統上下文的演變動態生成權重推薦。我們選擇貝葉斯優化（Bayesian Optimization, BO）作為我們的實時求解器，是因為它具有顯著的優勢：1) 我們基于樹的獎勵模型是不可微的，而 BO 可以構建一個高斯過程（Gaussian Process, GP）代理模型以允許進行全局最優搜索；2) BO 過程具有極高的樣本效率，并且能很好地處理這種評估代價高昂的目標函數；3) BO 在其預測中提供了不確定性量化。貝葉斯優化利用 GP 過程對目標函數進行建模：

作為一個提議的擴展，一旦優化求解器過渡到在線設置，就可以收集真實世界的數據以形成反饋回路，從而實現持續學習和適應性。一個獨立的離線流水線將負責定期（例如每小時、每天）重新訓練 XGBoost 獎勵模型，方法是逐漸用實時運營數據替換模擬數據。在每次重新訓練周期后，更新后的獎勵模型即可供實時優化求解器使用，以做出更明智的決策。這種方法使獎勵模型能夠適應數據分布的偏移和新的運營模式。

C. 貝葉斯上下文老虎機（BCB）

BCB 框架的一個核心優勢在于，它通過學習獎勵函數的概率信念而不是點估計，從而在探索（exploration）和利用（exploitation）之間進行內在的平衡。獎勵函數的形式為：

由于這種閉環設計，BCB 能夠在持續收集在線反饋的同時實時更新其策略，并且能夠迅速適應不斷演變的系統動態，例如機械磨損、地面條件變化、傳感器漂移或新的運營模式。

V. 仿真實驗與對比性能分析

我們以選定的大規模電商倉庫中的入庫接收分揀機作為主要用例，通過評估相應獎勵模型的準確性、動作分布、樣本效率以及高保真仿真返回的預估獎勵提升幅度，對這三種候選優化框架進行了比較。

A. 仿真器數據收集

B. 獎勵模型效能分析

所有三個候選框架都包含獎勵預測和動作推薦組件。我們首先使用兩個指標評估它們各自的獎勵預測模型性能：均方根誤差（RMSE）和平均絕對百分比誤差（MAPE）。我們將數據樣本按80%用于訓練、20%用于測試進行劃分，然后使用從10%到100%遞增比例的訓練數據來訓練每個模型，并在同一組預留數據上進行測試。最后，我們將這三個獎勵模型與一個樸素均值基線進行比較。如圖1所示，隨著訓練數據量的增加，XGB+BO和BCB的RMSE和MAPE均有所改善，且邊際收益遞減。曲線在數據量達到約70%后開始趨于平穩，表明這些模型具有樣本高效性且模型性能正在收斂。相比之下，LR+GDO在所有訓練規模下都保持著持續較高的錯誤率，表明其無法有效地從數據中學習。

表 I 展示了使用 100% 訓練數據集訓練的模型的最終評估結果。所有三個機器學習（ML）獎勵模型的表現均優于基線，其中 XGB+BO 框架取得了最高的性能得分，其次是 BCB，而 LR+GRO 產生的結果最差。這種性能排名在 RMSE 和 MAPE 這兩個指標上是一致的。鑒于 LR+GDO 有限的學習能力以及在這兩個指標上持續較差的性能（相較于基線分別提升了 44.87% 和 48.09%，而另外兩個模型的提升均超過 49%），我們研究的剩余部分將專門集中于比較 XGB+BO 和 BCB，因為它們展現出了足夠的預測能力，足以作為可靠的獎勵代理模型。

C. 特征重要性與動作敏感性分析

通過分析訓練好的 BCB 獎勵模型的系數和 XGBoost 模型的特征重要性，我們驗證了該優化問題背后的兩個關鍵假設：1) 成本權重確實對獎勵有影響，2) 最優成本權重確實隨系統上下文的變化而變化。這兩個模型是互補的，因為它們從不同的角度描述了物理系統：XGBoost 識別系統環境中影響最大的因素，而 BCB 揭示系統如何響應成本權重，以及權重的影響如何在不同的系統上下文中發生變化。

在 BCB 返回的排名靠前的系數中（表 II），大多數是上下文與動作之間的交互項，這證實了最優權重對系統狀態高度敏感。例如，路由相關動作權重的影響取決于上游單量指標和運營績效指標，負的交互系數表明在高負載時期增加該權重的收益會遞減。對于 XGBoost，我們利用 SHAP（SHapley Additive exPlanations，沙普利加性解釋）將特征影響分解為主效應和交互效應，從而分離出動作-上下文敏感性。我們在表 III 中報告了每個特征的歸一化強度得分（相對于最大值的平均絕對 SHAP 值）。兩個模型一致地將單量和負載相關特征識別為對獎勵結果影響最大的因素。

D. 動作分布分析

圖 2 和圖 3 中的直方圖對比了 XGB+BO 與 BCB 所推薦動作的分布?？傮w而言，兩個模型都有效地學會了給動作 2、4 和 5 分配較小的值。BCB 在動作 1 和 6 上表現出“U”形分布，識別出了必須將權重最大化以優化獎勵的特定上下文，而 XGB+BO 則顯示出更廣泛的動作分布，傾向于保守的中間立場。與保守的 XGB+BO 相比，BCB 表現出了一種更為果斷和反應靈敏的策略。

BCB 的雙峰分布（對于像動作 1 和 6 這樣的高影響力動作，在 0 和 1 之間突然切換）類似于 Bang-Bang 控制（邦-邦控制），這是一種在極端值之間切換而非中間值的反饋控制策略 [13]。雖然形式化的最優控制推導超出了本研究的范圍，但這種實證表現表明，在這種高頻控制場景中，果斷的修正可能比溫和的調整更有效。鑒于我們頻繁的模型推理周期，這種方法使得 BCB 能夠作為一個快速反饋控制器，在下一個推理周期之前盡可能快地施加最大力度來糾正系統偏差，而不是進行溫和的調整。

E. 獎勵提升預估

為了預估獎勵提升幅度，我們進行了基于Python的仿真，將候選框架與啟發式基線進行比較。啟發式基線被定義為一種固定的權重配置，該配置通過領域專業知識、運營工程師的迭代調優以及先前的運營研究確定，代表了在引入數據驅動優化框架之前已知的最佳靜態策略。該基線反映了一個有原則的、基于運營實際的參考點，而不是一個任意或樸素的選擇。在每次迭代中，我們為模型提供測試數據集中的一個上下文向量，并要求模型推薦最優權重，然后我們使用訓練好的獎勵模型來估算策略動作和基線動作的相應獎勵。我們使用相同的測試上下文向量來計算策略與基線的性能，以確保公平的比較。如表IV所示，這兩個模型均顯著優于基線，但BCB被證明更為優越，實現了2.03%的獎勵提升。

F. 實驗總結與框架推薦

盡管XGBoost獎勵模型報告了略低的MAPE，但BCB模型相較于啟發式基線實現了更高的最終獎勵提升，而這是主要的優化目標。我們推薦將BCB框架用于實時分揀機分流優化，這歸因于其獨特的優勢，總結如下：

? 卓越的在線學習能力：倉庫環境是高度動態的，隨著新設備和軟件的安裝或模式的變化，其底層系統可能會隨時間發生漂移。BCB通過貝葉斯不確定性巧妙地平衡了探索與利用。

? 上下文敏感性：我們的系數分析表明，BCB有效地捕捉了上下文與動作之間的交互作用，使最優權重對系統動態保持敏感。相比之下，XGB的特征重要性并不能證明其策略能夠利用環境與動作之間細微的關聯。

? 時間最優控制：BCB的雙峰動作分布允許進行果斷、及時的系統修正。 ? 運營效率：BCB具有極短的推理延遲（毫秒級），這有助于實現近乎瞬時的自適應。相比之下，XGB+BO流程每次推理平均需要18秒。

VI. 結論

這項工作的主要貢獻在于，我們將倉庫分揀機環境數學公式化為結構化的“上下文-動作-獎勵”表示，并對三種用于實時分揀機優化的端到端機器學習框架進行了全面的評估。貝葉斯上下文老虎機（BCB）脫穎而出成為更優的解決方案，相較于啟發式基線實現了2.03%的獎勵提升。鑒于其在經驗上與邦-邦控制（Bang-Bang Control）原理相契合，且具有顯著更高的計算效率、實用的樣本效率以及持續的在線適應能力，BCB模型是高度復雜、不斷演變的倉庫環境所需的高頻、上下文感知優化解決方案的更好選擇。未來的工作將通過閉環仿真器測試，結合重復的隨機試驗和統計顯著性分析，來驗證所報告的獎勵提升。

原文鏈接：https://arxiv.org/pdf/2606.23977