1. 多目标强化学习与规划为什么值得啃透

第一次看到《A Practical Guide to Multi-Objective Reinforcement Learning and Planning》这个标题，我下意识以为又是一篇堆公式的综述。真正读进去才发现，它更像一份写给工程师的“落地手册”——把多目标强化学习（MORL）和多目标规划（MOP）这两个经常被混为一谈的方向，从问题定义、算法分类到实验设计，一条线捋清楚了。如果你正在做资源调度、推荐策略、机器人路径规划，或者任何需要同时权衡多个指标的决策系统，这篇内容基本绕不开。

多目标强化学习和单目标最大的区别，在于“最优”这个概念本身变了。单目标里，奖励是一个标量，谁大谁好，排序天然存在。多目标里，奖励是一个向量，比如同时考虑“耗时”和“能耗”，你没法说(3, 5)和(5, 3)哪个更好——它们可能都是帕累托最优解。这个看似简单的变化，直接导致策略空间从一条曲线变成一个高维曲面，算法设计、评估方式、甚至“什么叫收敛”都要重新定义。

这篇指南的价值在于，它没有停留在“帕累托前沿”这种概念层面，而是把当前主流方法拆成了几大类：基于单策略的、基于多策略的、基于分解的、基于偏好条件的。每一类都讲清楚了适用场景和代价。比如单策略方法把多目标压缩成加权和，跑得快但只能拿到前沿上的一个点；多策略方法能一次性逼近整条前沿，但计算开销和存储成本成倍上升。这种取舍在真实项目里几乎天天遇到，指南里给了很实用的判断依据。

我读这篇内容时最大的感受是，它把“偏好”这个模糊的东西工程化了。在MORL里，偏好就是你告诉算法“我更在乎哪个目标”，可以是一个权重向量，也可以是一条约束。指南里专门讨论了偏好如何注入训练过程——是在奖励函数里加权，还是在策略网络里做条件化，还是在回放缓冲区里做筛选。不同注入方式对最终前沿的覆盖度和均匀性影响很大，这部分是我认为最值得反复看的地方。

适合读这篇内容的人，我建议至少满足两个条件之一：要么你已经做过单目标强化学习项目，想扩展到多目标场景；要么你在做多目标优化，但想引入序贯决策的框架。如果两者都不沾，直接啃会有点吃力，因为里面默认你理解MDP、值函数、策略梯度这些基础概念。不过指南本身写得比较务实，公式推导不多，更多是讲“为什么这么设计”和“什么时候该用哪个方法”，所以有一定工程背景的人也能跟上。

2. 多目标问题的核心框架拆解

2.1 从单目标MDP到多目标MDP的关键变化

单目标MDP用一个五元组描述：(S, A, P, R, γ)，其中R是标量奖励。多目标MDP把这个R换成了向量R= (R₁, R₂, ..., Rₙ)，每个分量对应一个目标。这个改动看似只是把标量换成向量，但连锁反应很大。

首先是值函数的定义。单目标里，值函数V(s)是一个标量，表示从状态s出发的期望折扣回报。多目标里，值函数变成一个向量V(s) = (V₁(s), ..., Vₙ(s))，每个分量对应一个目标的期望回报。这时候比较两个状态的好坏，就不能用“大于”了，得用帕累托支配关系：如果V(s₁)在每个分量上都不差于V(s₂)，且至少有一个分量严格更好，才说s₁支配s₂。

其次是策略的优劣判断。单目标里策略π₁优于π₂，当且仅当V^π₁(s) ≥ V^π₂(s)对所有s成立。多目标里，一个策略可能在某些目标上更好，在另一些目标上更差，于是产生了“帕累托最优策略集”的概念。这个集合里的策略互不支配，最终选哪个取决于决策者的偏好。

注意：很多初学者会直接把多目标奖励加权求和变成单目标，然后用标准RL算法跑。这样做不是不行，但每次只能得到一个偏好下的最优策略，想覆盖整条前沿就得反复训练，成本极高。指南里明确把这种方法归为“单策略方法”，并指出了它的适用边界。

2.2 帕累托前沿与偏好空间的关系

帕累托前沿（Pareto Front）是多目标优化的核心概念，指的是所有帕累托最优解在目标空间里形成的曲面。在MORL里，这个前沿是由策略参数决定的，每个策略对应前沿上的一个点。

偏好空间则是决策者表达“我想要哪个权衡”的空间。最常见的偏好表示是权重向量w= (w₁, ..., wₙ)，满足wᵢ ≥ 0且Σwᵢ = 1。给定一个权重向量，标量化后的奖励是r = Σwᵢrᵢ，对应的最优策略就是前沿上在该权重方向上的“支撑点”。

这里有个容易踩的坑：均匀采样权重向量，并不一定能得到均匀分布的帕累托前沿点。当目标之间的尺度差异很大，或者前沿形状非凸时，均匀权重可能让大部分点挤在某一小段前沿上。指南里专门讨论了这个问题，并给出了几种改进策略，比如用切比雪夫标量化代替线性加权，或者在训练过程中动态调整权重采样。

2.3 多目标规划与多目标学习的边界

标题里同时出现了“Reinforcement Learning”和“Planning”，这两者在多目标语境下的边界值得说清楚。

多目标规划通常假设环境模型已知，比如状态转移概率和奖励函数都是显式给出的。这时候可以用动态规划、线性规划或者多目标进化算法来直接求解帕累托前沿。规划方法的优势是理论保证强，能精确刻画前沿的形状，但缺点是依赖模型，模型不准就全盘皆输。

多目标强化学习则不要求模型已知，通过与环境交互来学习策略。它的优势是适应性强，能处理复杂、未知的环境，但代价是样本效率低，前沿的逼近质量受探索策略影响很大。

指南里把这两者放在一起讲，是因为很多实际系统是混合的：一部分动态已知，可以用规划；另一部分未知，需要学习。比如机器人导航里，地图和运动学模型可能已知，但人类偏好和动态障碍物的行为未知。这时候就需要规划和学习协同工作。

3. 主流算法分类与选型逻辑

3.1 单策略方法与多策略方法的取舍

单策略方法的核心思想是把多目标压缩成单目标，然后用标准RL算法求解。最常见的压缩方式是线性加权：r = Σwᵢrᵢ。给定一个权重向量w，跑一次单目标RL，得到一个策略。想得到多个策略，就换不同的w反复跑。

这种方法的优点是实现简单，可以直接复用现有的单目标RL代码库，调参经验也能迁移。缺点是每次训练只能得到一个偏好下的解，而且当帕累托前沿非凸时，线性加权无法覆盖前沿的凹陷部分。

多策略方法则试图在一次训练中逼近整条前沿。典型代表包括：

• 多目标Q学习：维护一个向量值函数，用帕累托支配关系更新Q值。
• 多目标策略梯度：输出一组策略，每个策略对应不同的偏好条件。
• 进化算法结合RL：用种群搜索来探索策略空间，每个个体对应一个偏好。

多策略方法的优势是一次训练覆盖多个偏好，缺点是计算和存储开销大，而且随着目标数量增加，前沿的维度爆炸，逼近难度急剧上升。

实操心得：如果目标数量不超过3个，且计算资源充足，优先考虑多策略方法。如果目标数量超过5个，或者资源紧张，单策略方法配合合理的权重采样往往更实际。我试过在4目标场景下强行跑多策略，结果训练时间翻了6倍，前沿覆盖度还不如单策略跑20个权重。

3.2 基于分解的方法怎么用

基于分解的方法借鉴了多目标进化算法里的思想，把多目标问题拆成一组单目标子问题，每个子问题对应一个权重向量或参考点。然后并行或交替求解这些子问题，利用子问题之间的邻域关系来共享信息。

在MORL里，常见的分解策略包括：

• 加权和分解：每个子问题用不同的权重向量做线性加权。
• 切比雪夫分解：用最大偏差来定义子问题，能更好地处理非凸前沿。
• 边界交叉分解：适合目标数量较多的情况，能均匀覆盖前沿。

分解方法的优势是能并行化，而且子问题之间的信息共享可以加速收敛。缺点是子问题的数量随目标数量指数增长，需要合理设置邻域大小和更新频率。

指南里给了一个很实用的建议：先用少量子问题快速得到一个粗略的前沿估计，然后在前沿稀疏的区域增加子问题密度。这种自适应分解策略比均匀分解效率高很多。

3.3 偏好条件化策略网络的设计要点

偏好条件化是多策略方法里很优雅的一种思路：训练一个策略网络π(a|s, w)，输入状态s和偏好w，输出动作。这样一次训练就能覆盖整个偏好空间，推理时只需要改变w就能得到不同的策略。

设计这种网络时，有几个关键点：

• 偏好编码方式：w可以直接拼接在状态后面，也可以通过一个嵌入层映射到更高维空间。对于目标数量较多的情况，嵌入层能更好地捕捉偏好之间的非线性关系。
• 训练时的偏好采样：训练时w的采样分布直接影响前沿覆盖度。均匀采样简单但可能不够高效，可以结合前沿估计来动态调整采样密度。
• 网络容量：偏好条件化会增加网络的输入维度，需要适当增加隐藏层宽度或深度，否则不同偏好下的策略会互相干扰。

我踩过的一个坑是：偏好向量直接拼接时，如果不同目标的尺度差异很大，网络会偏向数值大的目标。解决办法是先对偏好做归一化，或者在网络里加一层可学习的缩放。

4. 实操流程与关键环节实现

4.1 环境搭建与依赖选择

要复现指南里的实验，环境搭建是第一步。我建议用Python生态，核心依赖包括：

pip install gymnasium numpy torch matplotlib

如果要做多目标规划部分，还需要：

pip install pymoo

pymoo是多目标优化库，提供了丰富的帕累托前沿计算和可视化工具。gymnasium是OpenAI Gym的维护版本，接口稳定，社区支持好。torch用于实现策略网络和价值网络。

注意：不要用太老的Gym版本，接口变动很大，很多教程里的代码跑不通。Gymnasium的API和旧版Gym基本兼容，但修复了不少bug。

4.2 多目标环境的定义与奖励设计

定义一个多目标环境，关键是设计奖励向量。以经典的“资源分配”场景为例：一个智能体需要把有限的资源分配给多个任务，每个任务有独立的收益曲线。

import gymnasium as gym from gymnasium import spaces import numpy as np class ResourceAllocationEnv(gym.Env): def __init__(self, n_tasks=3, total_resource=100): super().__init__() self.n_tasks = n_tasks self.total_resource = total_resource self.action_space = spaces.Box( low=0, high=1, shape=(n_tasks,), dtype=np.float32 ) self.observation_space = spaces.Box( low=0, high=1, shape=(n_tasks,), dtype=np.float32 ) self.state = np.ones(n_tasks) / n_tasks def reset(self, seed=None): super().reset(seed=seed) self.state = np.ones(self.n_tasks) / self.n_tasks return self.state, {} def step(self, action): action = np.clip(action, 0, 1) allocation = action / (action.sum() + 1e-8) * self.total_resource rewards = np.array([ np.log1p(allocation[i]) for i in range(self.n_tasks) ]) self.state = allocation / self.total_resource terminated = False truncated = False return self.state, rewards, terminated, truncated, {}

这个环境里，奖励是一个向量，每个分量对应一个任务的收益。收益函数用对数是为了模拟边际递减效应，这在资源分配里很常见。

4.3 单策略基线实现与权重采样

先用单策略方法跑一个基线。核心思路是：采样一个权重向量w，把向量奖励加权成标量，然后用PPO或DQN训练。

import torch import torch.nn as nn import torch.optim as optim class PolicyNet(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.net = nn.Sequential( nn.Linear(state_dim, 64), nn.ReLU(), nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, action_dim), nn.Softmax(dim=-1) ) def forward(self, x): return self.net(x) def scalarize(rewards, weights): return np.dot(rewards, weights) def train_single_policy(env, weights, episodes=500): state_dim = env.observation_space.shape[0] action_dim = env.action_space.shape[0] policy = PolicyNet(state_dim, action_dim) optimizer = optim.Adam(policy.parameters(), lr=1e-3) for ep in range(episodes): state, _ = env.reset() log_probs = [] rewards = [] for step in range(50): state_tensor = torch.FloatTensor(state) probs = policy(state_tensor) action = torch.multinomial(probs, 1).item() log_probs.append(torch.log(probs[action])) state, reward_vec, terminated, truncated, _ = env.step( np.eye(action_dim)[action] ) rewards.append(scalarize(reward_vec, weights)) if terminated or truncated: break returns = [] G = 0 for r in reversed(rewards): G = r + 0.99 * G returns.insert(0, G) returns = torch.FloatTensor(returns) returns = (returns - returns.mean()) / (returns.std() + 1e-8) loss = -torch.stack(log_probs) * returns optimizer.zero_grad() loss.sum().backward() optimizer.step() return policy

权重采样策略直接影响前沿覆盖度。我一般先用均匀采样跑一轮，看看前沿的大致形状，然后在稀疏区域加密采样。

def sample_weights(n_objectives, n_samples): weights = np.random.dirichlet(np.ones(n_objectives), n_samples) return weights

Dirichlet分布能保证权重和为1且非负，比手动归一化方便。

4.4 多策略偏好条件化网络实现

偏好条件化网络的关键是把偏好向量作为额外输入。网络结构上，我习惯用两个分支：一个处理状态，一个处理偏好，然后在中间层拼接。

class PreferenceConditionedPolicy(nn.Module): def __init__(self, state_dim, pref_dim, action_dim): super().__init__() self.state_net = nn.Sequential( nn.Linear(state_dim, 64), nn.ReLU() ) self.pref_net = nn.Sequential( nn.Linear(pref_dim, 32), nn.ReLU() ) self.fusion = nn.Sequential( nn.Linear(96, 64), nn.ReLU(), nn.Linear(64, action_dim), nn.Softmax(dim=-1) ) def forward(self, state, pref): s = self.state_net(state) p = self.pref_net(pref) x = torch.cat([s, p], dim=-1) return self.fusion(x)

训练时，每个episode采样一个偏好向量，然后跑完整的轨迹。损失函数和单策略类似，只是标量化时用的是当前采样的偏好。

def train_preference_conditioned(env, episodes=2000): state_dim = env.observation_space.shape[0] action_dim = env.action_space.shape[0] pref_dim = 3 policy = PreferenceConditionedPolicy(state_dim, pref_dim, action_dim) optimizer = optim.Adam(policy.parameters(), lr=1e-3) for ep in range(episodes): pref = np.random.dirichlet(np.ones(pref_dim)) state, _ = env.reset() log_probs = [] rewards = [] for step in range(50): state_tensor = torch.FloatTensor(state) pref_tensor = torch.FloatTensor(pref) probs = policy(state_tensor, pref_tensor) action = torch.multinomial(probs, 1).item() log_probs.append(torch.log(probs[action])) state, reward_vec, terminated, truncated, _ = env.step( np.eye(action_dim)[action] ) rewards.append(np.dot(reward_vec, pref)) if terminated or truncated: break returns = [] G = 0 for r in reversed(rewards): G = r + 0.99 * G returns.insert(0, G) returns = torch.FloatTensor(returns) returns = (returns - returns.mean()) / (returns.std() + 1e-8) loss = -torch.stack(log_probs) * returns optimizer.zero_grad() loss.sum().backward() optimizer.step() return policy

4.5 帕累托前沿的可视化与评估

训练完之后，需要评估前沿的覆盖度和均匀性。常用的指标有两个：

• 超体积（Hypervolume）：前沿与参考点围成的体积，越大越好。
• 间距（Spacing）：前沿上相邻点距离的标准差，越小说明分布越均匀。

from pymoo.indicators.hv import HV import matplotlib.pyplot as plt def evaluate_frontier(policies, env, n_weights=50): weights = np.random.dirichlet(np.ones(3), n_weights) front = [] for w in weights: state, _ = env.reset() total_reward = np.zeros(3) for step in range(50): state_tensor = torch.FloatTensor(state) pref_tensor = torch.FloatTensor(w) with torch.no_grad(): probs = policies(state_tensor, pref_tensor) action = torch.argmax(probs).item() state, reward_vec, terminated, truncated, _ = env.step( np.eye(3)[action] ) total_reward += reward_vec if terminated or truncated: break front.append(total_reward) front = np.array(front) ref_point = np.array([0, 0, 0]) hv = HV(ref_point=ref_point) hypervolume = hv(front) plt.scatter(front[:, 0], front[:, 1], c=front[:, 2], cmap='viridis') plt.colorbar(label='Objective 3') plt.xlabel('Objective 1') plt.ylabel('Objective 2') plt.title(f'Pareto Front (HV={hypervolume:.2f})') plt.show() return front, hypervolume

实操心得：超体积的参考点选择很关键。参考点太近，所有前沿点的超体积都差不多，区分度低；参考点太远，超体积数值很大但比较意义不大。我一般取所有前沿点在每个目标上的最小值再乘以0.9作为参考点。

5. 常见问题与排查技巧实录

5.1 前沿覆盖不均匀怎么办

这是多目标RL里最常见的问题。表现是：某些区域的帕累托前沿点很密集，另一些区域几乎空白。原因通常有三个：

• 权重采样不均匀：均匀采样权重向量，但前沿形状非凸，导致某些权重方向上的最优解挤在一起。
• 目标尺度差异大：某个目标的数值范围远大于其他目标，网络训练时被这个目标主导。
• 探索不足：策略网络陷入局部最优，无法覆盖整个偏好空间。

解决办法我试过几种，效果从好到差排列：

1. 自适应权重采样：先跑一轮粗粒度采样，估计前沿形状，然后在稀疏区域加密采样。实现上可以用核密度估计来判断稀疏区域。
2. 目标归一化：在计算标量化奖励之前，对每个目标的奖励做归一化，让它们的数值范围接近。归一化统计量可以用滑动平均来更新。
3. 增加偏好条件化网络的容量：如果网络太小，不同偏好下的策略会互相干扰，导致某些偏好被忽略。适当增加隐藏层宽度通常有帮助。

5.2 训练不收敛或震荡严重

多目标RL的训练稳定性比单目标差，因为奖励向量的不同分量可能给出冲突的梯度信号。常见表现是损失函数震荡，策略在几个极端偏好之间跳来跳去。

排查思路：

• 检查奖励尺度：如果某个目标的奖励范围是[0, 1000]，另一个是[0, 1]，梯度会被第一个目标主导。先做归一化。
• 降低学习率：多目标场景下，梯度冲突更严重，学习率通常需要比单目标小一个数量级。
• 使用梯度裁剪：限制梯度范数，防止某个目标的梯度爆炸影响整体更新。
• 增加批量大小：更大的批量能平均掉不同偏好下的梯度噪声，训练更稳定。

我踩过的一个坑是：用PPO跑多目标时，优势函数的估计用了标量化奖励，但不同episode的偏好不同，导致优势估计的基线漂移。解决办法是为每个偏好维护独立的基线，或者用偏好条件化的价值网络。

5.3 目标数量增加后的维度灾难

当目标数量超过5个时，帕累托前沿的维度急剧上升，逼近整条前沿所需的样本量呈指数增长。这时候多策略方法基本不可行，必须换思路。

指南里提到的应对策略包括：

• 降维：如果某些目标高度相关，可以合并或剔除。用主成分分析或者相关性分析来识别冗余目标。
• 偏好聚焦：不追求覆盖整条前沿，只关注决策者最关心的区域。用少量偏好向量引导训练。
• 分层优化：把目标分成几组，先优化组内，再优化组间。比如先分别优化“效率”和“公平”，再在两者之间做权衡。

注意：目标数量超过3个时，可视化前沿就很困难了。我一般用平行坐标图或者雷达图来展示高维前沿，比散点图直观。

5.4 常见问题速查表

6. 从指南到项目的落地建议

6.1 如何选择合适的算法起点

如果你刚开始做多目标RL项目，我建议按这个顺序试：

1. 单策略+线性加权：先用最简单的方案跑通流程，确认环境、奖励、评估都没问题。这一步的目的是建立基线，不是追求最优。
2. 单策略+切比雪夫标量化：如果发现前沿非凸，换切比雪夫标量化，通常能覆盖更多区域。
3. 偏好条件化多策略：如果计算资源允许，且需要覆盖多个偏好，上偏好条件化网络。
4. 分解方法：如果目标数量较多（3-5个），且需要并行加速，考虑基于分解的方法。

这个顺序的好处是每一步都有明确的对比基线，能清楚知道新方法带来了多少提升。

6.2 评估指标的选择与陷阱

超体积是最常用的指标，但它有两个陷阱：

• 参考点敏感：参考点稍微变一下，超体积数值可能差很多。报告结果时一定要说明参考点怎么选的。
• 不可比：不同环境、不同目标数量下的超体积没有可比性。只能在同一环境内比较不同算法。

除了超体积，我还建议看前沿覆盖率：在偏好空间里均匀采样一批偏好，看有多少偏好能找到对应的非支配解。覆盖率低说明前沿逼近不完整。

6.3 工程化落地的注意事项

把多目标RL用到真实系统里，有几个工程问题必须提前考虑：

• 偏好获取：真实场景里，决策者的偏好往往不是显式给出的，需要通过交互来推断。可以设计一个偏好 elicitation 模块，让决策者在几个候选策略里做选择，逐步缩小偏好范围。
• 在线适应：偏好可能随时间变化。偏好条件化网络天然支持在线切换偏好，但需要监控切换后的策略表现，防止突变导致系统不稳定。
• 安全约束：某些目标可能是硬约束，比如“能耗不能超过阈值”。这时候不能简单加权，要把约束目标单独处理，用拉格朗日乘子或者约束RL的方法。

我个人在实际项目里的体会是：多目标RL的算法部分其实只占工作量的30%，剩下70%都在处理偏好获取、评估设计和工程集成。指南里对算法讲得很透，但工程落地的细节需要结合具体场景来补。建议在项目初期就拉上领域专家一起定义目标和偏好，不然后面返工成本很高。

最后分享一个小技巧：如果目标数量是2个，可以直接用散点图看前沿，非常直观。如果是3个，用颜色编码第三个目标。如果是4个以上，用平行坐标图，每个轴代表一个目标，每条线代表一个策略。这种可视化方式在跟非技术背景的决策者沟通时特别有用，他们能一眼看出不同策略在各个目标上的权衡。