强化学习、机器人与奖励设计

从答题转为连续做决定

微型创作实验室设计一个虚构网格机器人：从起点出发，将彩色方块送到指定格子，只在纸上或软件仿真中运行。监督学习通常给输入和参考答案，强化学习则让智能体在环境里采取动作，观察状态变化与奖励，逐步学习策略。策略是根据状态选择动作的规则，奖励是任务设计者提供的反馈信号，不等同于现实价值。一次动作可能没有即时收益，却为后续完成任务创造条件，所以强化学习关注一串决定的累计效果。这个任务不同于只根据一张图片判断颜色，也不要求初学者真的连接机器。

状态、动作和奖励共同定义任务

网格状态包含机器人位置、方块位置和目标格，动作可以是向四个方向移动或搬起方块。只有观察到的信息才能用于策略，若现实机器人看不到完整地图，仿真却直接提供全图，结果可能不对应真实条件。奖励可以在正确送达时增加分数，在每次移动时扣少量分，以鼓励完成并减少多余绕路。还要定义回合何时结束、无效动作如何处理以及障碍是否可穿越。任务定义不完整时，智能体可能学会利用设计漏洞；这不是它理解了人类目标，而是它适应了给定反馈规则。

奖励投机与约束的区别

如果机器人每次碰到方块都得分，它可能来回触碰而不送达，这叫奖励投机或奖励漏洞利用。把目标只写成最大分数，不一定得到真正希望的行为。修复时先让奖励更贴近完成条件，并检查是否存在可重复刷分路径。对禁止动作，不能总希望小惩罚足够，重要边界应该由环境或控制系统强制约束。仿真中的颜色方块任务允许探索失败；真实设备接触物体或人时，探索的代价不同，必须有硬件和工程层保护。本课程不提供真实机器人操作步骤，也不让模型自动执行物理动作。

机器人比仿真多出哪些问题

真实机器人还需要感知、状态估计、规划、控制与执行反馈。相机可能遮挡，位置估计有误差，动作有延迟，物体材质也会改变结果。仿真中表现好而现实变差，常被称为仿真到现实的差距。即使仿真加入噪声，也不能自动证明现实安全或可靠。语言模型可以辅助解释目标或生成规划草稿，但低层控制和禁止动作仍需专门系统与验证。把一个能说下一步向左的对话模型叫作机器人控制器，会忽略执行过程和传感器反馈，展示的视频也不足以代替完整工程评估。

评价策略而不是只看一次成功

实验室在不同起点、障碍布置和未见地图上比较固定最短路规则与学习策略，记录成功率、步数、无效动作和是否利用奖励漏洞。使用多次运行并说明随机性，不只播放最顺利的一局。某策略训练地图得分很高，换地图就失败，可能是过拟合而非通用规划。记录状态定义、动作范围、奖励公式和结束规则，使他人能复查。强化学习适合某些需要连续交互的任务，但简单可规划的网格问题可能规则更清晰。选择学习方法应该来自任务特点与基线，而不是因为自主二字听起来更先进。