RLHF（Reinforcement Learning with Human Feedback，基于人类反馈的强化学习） 是一种结合人类反馈和强化学习（RL）技术的算法，旨在通过人类的评价和偏好优化智能体的行为，使其更符合人类期望。这种方法近年来在大规模语言模型（如 OpenAI 的 GPT 系列）训练中取得了显著成果。
RLHF 的基本概念
-
目标
- 通过引入人类反馈，解决传统 RL 中奖励函数难以设计、表达复杂目标的局限。
- 在环境中训练智能体，使其输出更加符合人类的偏好或道德准则。
-
核心思想
- 利用人类对智能体行为的评价或对不同行为的偏好排序，构建或增强奖励函数。
- 使用强化学习算法基于这些奖励信号优化策略。
传统强化学习通常需要一个明确的奖励函数，而设计这样的函数在许多任务中非常困难。RLHF 通过直接从人类反馈中学习奖励信号，避免手动设计复杂的奖励函数。
- 人类反馈：由人类提供关于模型输出的偏好或质量评价。
- 学习奖励函数ÿ