CGPO 框架通過混合評(píng)審機(jī)制和約束優(yōu)化器，有效解決了 RLHF 在多任務(wù)學(xué)習(xí)中的獎(jiǎng)勵(lì)欺騙和多目標(biāo)優(yōu)化問題，顯著提升了語言模型在多任務(wù)環(huán)境中的表現(xiàn)。CGPO 的設(shè)計(jì)為未來多任務(wù)學(xué)習(xí)提供了新的優(yōu)化路徑，有望進(jìn)一步提升大型語言模型的效能和穩(wěn)定性。
近年來，隨著大規(guī)模語言模型（LLMs）的發(fā)展，特別是通用大模型的應(yīng)用場(chǎng)景愈發(fā)廣泛，RLHF 逐漸成為調(diào)整和優(yōu)化語言模型輸出的主流方法。
盡管 RLHF 在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出色，但其在多任務(wù)學(xué)習(xí)（MTL）中的表現(xiàn)卻受限于「獎(jiǎng)勵(lì)欺騙」以及多目標(biāo)優(yōu)化中的矛盾問題。
傳統(tǒng)的 RLHF 方法依賴于線性組合的獎(jiǎng)勵(lì)模型，不僅需要人工調(diào)參，且容易導(dǎo)致模型被某一任務(wù)的獎(jiǎng)勵(lì)優(yōu)化「誤導(dǎo)」。
最近 Meta GenAI 和 FAIR 團(tuán)隊(duì)提出了一個(gè)全新的后訓(xùn)練范式 ——Constrained Generative Policy Optimization （CGPO），通過引入「混合評(píng)審機(jī)制」（Mixture of Judges, MoJ）與高效的約束優(yōu)化器，全面提升了 RLHF 在多任務(wù)環(huán)境中的表現(xiàn)。
實(shí)驗(yàn)結(jié)果表明，CGPO 能夠根據(jù)任務(wù)的不同需求靈活調(diào)整優(yōu)化策略，并通過多任務(wù)梯度累積來實(shí)現(xiàn)模型的更新，使其在處理不同任務(wù)時(shí)均能達(dá)到最佳表現(xiàn)。
CGPO 框架：打破 RLHF 瓶頸的全新設(shè)計(jì)
CGPO 的核心在于它突破了傳統(tǒng) RLHF 對(duì)多任務(wù)學(xué)習(xí)的局限性，尤其是在獎(jiǎng)勵(lì)優(yōu)化與任務(wù)目標(biāo)沖突之間找到了新的平衡。通過混合評(píng)審機(jī)制，CGPO 能夠有效識(shí)別并消除「獎(jiǎng)勵(lì)欺騙」行為，即模型在某些任務(wù)中過度優(yōu)化特定的獎(jiǎng)勵(lì)指標(biāo)，進(jìn)而導(dǎo)致其他任務(wù)的表現(xiàn)下降。
此外，CGPO 的約束優(yōu)化器具備自動(dòng)化調(diào)節(jié)能力，使其可以在不依賴人工經(jīng)驗(yàn)的情況下，找到不同任務(wù)間的最優(yōu)平衡點(diǎn)。
CGPO 采用了基于規(guī)則和 LLM 的雙重評(píng)審機(jī)制。在規(guī)則評(píng)審中，預(yù)先定義的規(guī)則能夠有效檢測(cè)出模型生成結(jié)果是否符合任務(wù)需求，如解決數(shù)學(xué)問題的正確性、代碼生成的準(zhǔn)確性等；而 LLM 評(píng)審則利用語言模型的內(nèi)在判斷能力，檢測(cè)生成內(nèi)容的事實(shí)性、響應(yīng)的安全性等，這對(duì)于處理復(fù)雜對(duì)話和開放性問題尤為重要。
CGPO 的設(shè)計(jì)從根本上解決了 RLHF 在多任務(wù)優(yōu)化中的兩大難題：
1. 獎(jiǎng)勵(lì)欺騙的防范
CGPO 通過混合評(píng)審機(jī)制，在模型生成的過程中持續(xù)監(jiān)控獎(jiǎng)勵(lì)欺騙行為，保證模型不會(huì)過度優(yōu)化某一任務(wù)的獎(jiǎng)勵(lì)，而犧牲其他任務(wù)的表現(xiàn)。不同于傳統(tǒng) RLHF 方法，CGPO 能夠智能檢測(cè)出不合規(guī)的生成內(nèi)容，并通過約束策略進(jìn)行調(diào)整。
2. 極端多目標(biāo)優(yōu)化問題的解決
多任務(wù)學(xué)習(xí)通常涉及多個(gè)甚至沖突的目標(biāo)，傳統(tǒng)的 RLHF 框架難以處理這些目標(biāo)之間的平衡。而 CGPO 通過為每個(gè)任務(wù)單獨(dú)設(shè)定評(píng)審和優(yōu)化器，確保各任務(wù)能夠獨(dú)立優(yōu)化其目標(biāo)，避免了不同任務(wù)目標(biāo)之間的相互妥協(xié)。最終，CGPO 為多任務(wù)學(xué)習(xí)提供了更優(yōu)的帕累托前沿解。
技術(shù)亮點(diǎn)：三大優(yōu)化器與多評(píng)審機(jī)制
CGPO 引入了三種主要的 RLHF 約束優(yōu)化器 ——Calibrated Regularized Policy Gradient（CRPG）、Constrained Regularized Reward Ranking Finetuning（CRRAFT）、Constrained Online DPO（CODPO），這些優(yōu)化器不僅有效解決了 RLHF 中的多任務(wù)優(yōu)化難題，還具備強(qiáng)大的擴(kuò)展性，適用于各種規(guī)模的 LLM 訓(xùn)練場(chǎng)景。
https://arxiv.org/pdf/2409.20370
1. CRPG 優(yōu)化器：通過結(jié)合獎(jiǎng)勵(lì)建模與約束調(diào)整，確保模型生成高質(zhì)量響應(yīng)，同時(shí)防止偏離既定約束。實(shí)驗(yàn)中，CRPG 在數(shù)學(xué)、編程等需要精確計(jì)算和邏輯推理的任務(wù)中表現(xiàn)尤為突出。
2. CRRAFT 優(yōu)化器：通過獎(jiǎng)勵(lì)排名策略，只保留滿足所有約束條件的生成結(jié)果，同時(shí)提升獎(jiǎng)勵(lì)值。該優(yōu)化器在真相問答、指令跟隨等任務(wù)中表現(xiàn)出色。
3. CODPO 優(yōu)化器：通過直接偏好優(yōu)化，使得高獎(jiǎng)勵(lì)值且符合約束的生成結(jié)果得以保留，提升模型整體表現(xiàn)。
CGPO 處理多任務(wù)場(chǎng)景
在多任務(wù)環(huán)境下，CGPO 通過“獎(jiǎng)勵(lì)模型 + 多任務(wù)判定器 (MoJs) + 優(yōu)化器”的組合，為每個(gè)任務(wù)提供量身定制的對(duì)齊指導(dǎo)，從而更好地適應(yīng)每個(gè)任務(wù)的獨(dú)特特性，增加實(shí)現(xiàn)最優(yōu)對(duì)齊結(jié)果的可能性。CGPO 框架的核心包括兩個(gè)部分：多目標(biāo)獎(jiǎng)勵(lì)建模和多專家對(duì)齊。
1. 多目標(biāo)獎(jiǎng)勵(lì)建模
CGPO 的多目標(biāo)獎(jiǎng)勵(lì)建模不同于傳統(tǒng) RLHF（在多目標(biāo)場(chǎng)景中的方法。傳統(tǒng)方法通常為所有任務(wù)使用統(tǒng)一的線性組合獎(jiǎng)勵(lì)模型，而 CGPO 則先將提示集 D 按照性質(zhì)分類為不同、不重疊的子集，即 D = {D1, D2,..., DL}，每個(gè)子集 Di 對(duì)應(yīng)一個(gè)特定任務(wù)，例如包含有害意圖的提示歸為“有害意圖”任務(wù)，而一般對(duì)話提示歸為「普通對(duì)話」任務(wù)。
然后，針對(duì)每個(gè)任務(wù)，選擇一個(gè)合適的獎(jiǎng)勵(lì)模型進(jìn)行訓(xùn)練，以確保每個(gè)任務(wù)在優(yōu)化過程中只關(guān)注自身的目標(biāo)指標(biāo)，避免其他任務(wù)目標(biāo)的干擾。通過這種分類和獎(jiǎng)勵(lì)模型定制，CGPO 能更好地排除不相關(guān)或相互矛盾的目標(biāo)，從而提高在每個(gè)任務(wù)中達(dá)成最優(yōu)結(jié)果的可能性。
2. 多專家對(duì)齊
多專家對(duì)齊是指為每個(gè)任務(wù)應(yīng)用定制化的多任務(wù)判定器（MoJs）、獎(jiǎng)勵(lì)模型和優(yōu)化器設(shè)置。在每個(gè)任務(wù)生成樣本后，使用專門為該任務(wù)定制的判定器來篩選不符合標(biāo)準(zhǔn)的生成結(jié)果。判定器的選擇因任務(wù)而異，以反映各獎(jiǎng)勵(lì)模型的具體缺點(diǎn)和對(duì) LLM 的預(yù)期標(biāo)準(zhǔn)。
例如，在「普通對(duì)話」任務(wù)中，判定器會(huì)專注于評(píng)估回復(fù)的真實(shí)性和拒答情況，從而提升模型的響應(yīng)性和可靠性。
而在「推理」任務(wù)中，則使用基于規(guī)則的數(shù)學(xué) / 編程判定器，以確保輸出的準(zhǔn)確性。在有約束要求且需要更廣泛探索的任務(wù)（如指令跟隨、數(shù)學(xué)和編程）中，CGPO 會(huì)采用較寬松的 KL 閾值，并允許每個(gè)提示生成更多的樣本；而在不需要廣泛探索的任務(wù)（如普通對(duì)話）中，則使用更嚴(yán)格的 KL 閾值，并減少生成樣本的數(shù)量。
CGPO 在每次迭代中處理各個(gè)任務(wù)，基于任務(wù)特定的提示集、獎(jiǎng)勵(lì)模型、判定器來計(jì)算更新的梯度，然后將所有任務(wù)的梯度累加，并結(jié)合預(yù)定義的任務(wù)權(quán)重更新模型參數(shù)。通過這種方式 CGPO 能在多任務(wù)、多約束的環(huán)境中高效地實(shí)現(xiàn)各任務(wù)之間的平衡與對(duì)齊，優(yōu)化每個(gè)任務(wù)的獨(dú)特目標(biāo)。
最終，CGPO 的設(shè)計(jì)使其能夠在多任務(wù)環(huán)境中更靈活地適應(yīng)不同任務(wù)的需求，達(dá)成更高效的對(duì)齊和優(yōu)化效果。
實(shí)驗(yàn)驗(yàn)證：CGPO 的顯著性能提升
在多項(xiàng)任務(wù)的測(cè)試中，CGPO 展現(xiàn)了顯著的性能優(yōu)勢(shì)。具體來說，在通用聊天任務(wù)（AlpacaEval-2）、STEM 問題解答任務(wù)（Arena-Hard）、指令跟隨（IFEval）、數(shù)學(xué)與推理（MATH 和 GSM8K）、編程任務(wù)（HumanEval）、以及知識(shí)問答（ARC Challenge）中，CGPO 均大幅超越現(xiàn)有的 RLHF 算法如 PPO 和 DPO。
實(shí)驗(yàn)數(shù)據(jù)顯示，CGPO 在 AlpacaEval-2 中相較 PPO 提升了 7.4%，在 Arena-Hard 中提升了 12.5%，而在數(shù)學(xué)推理任務(wù)（MATH 和 GSM8K）中，CGPO 表現(xiàn)穩(wěn)定，分別提升了 2%，在人類評(píng)估（HumanEval）中的編程測(cè)試上則提升了 5%。
此外，PPO 在編程任務(wù)中表現(xiàn)出獎(jiǎng)勵(lì)欺騙行為，導(dǎo)致模型在訓(xùn)練后期出現(xiàn)嚴(yán)重退化，而 CGPO 通過約束優(yōu)化有效避免了這一問題，確保模型表現(xiàn)穩(wěn)定。
在 CGPO 與 PPO 的性能對(duì)比中，CGPO 結(jié)合 CRPG 和 CRRAFT 優(yōu)化器在多個(gè)基準(zhǔn)測(cè)試中持續(xù)提升，尤其在 ARC Challenge、HumanEval、MBPP 等任務(wù)上表現(xiàn)出色。
相比之下，PPO 在編碼任務(wù)中出現(xiàn)顯著下滑，表明獎(jiǎng)勵(lì)欺騙問題嚴(yán)重。雖然 CODPO 優(yōu)化器表現(xiàn)稍弱，但總體上仍優(yōu)于 DPO 和 PPO，特別是在安全性任務(wù)中，CODPO 取得了最佳結(jié)果，展示了其在多任務(wù)微調(diào)中的卓越效果。
通過消融實(shí)驗(yàn)可以發(fā)現(xiàn) MoJs 不僅能防止在在編碼任務(wù)里的獎(jiǎng)勵(lì)欺騙，還顯著提升了模型在 MATH 和 GSM8K 中的表現(xiàn)。
結(jié)論：CGPO 為多任務(wù)學(xué)習(xí)的未來鋪路
CGPO 框架的提出，為強(qiáng)化學(xué)習(xí)與人類反饋在多任務(wù)學(xué)習(xí)中的應(yīng)用提供了革命性的新思路。
通過創(chuàng)新的混合評(píng)審機(jī)制與三大約束優(yōu)化器，CGPO 不僅有效解決了獎(jiǎng)勵(lì)欺騙和極端多目標(biāo)優(yōu)化的難題，還為大型語言模型的后訓(xùn)練提供了更穩(wěn)定和高效的優(yōu)化路徑。隨著研究的深入，未來我們有望看到更多基于 CGPO 的自動(dòng)化優(yōu)化方法，進(jìn)一步提升多任務(wù)學(xué)習(xí)的表現(xiàn)。
參考資料：
