搞无人机物流路径规划，一开始我差点绕开Q-learning。毕竟这几年一说路径规划，大家上来就是深度强化学习、A*、RRT那一套，Q-learning听起来像上个时代的东西。但真正把问题摊开看：无人机物流的核心是离散格子地图、有限动作集、明确奖惩信号，恰好是Q-learning最舒服的射程范围。这篇东西我不打算只甩一份代码，而是把从问题建模到训练调参的完整链路过一遍——为什么状态要这样设计、奖励函数怎么写才不会让无人机原地画圈、训练到哪个指标才算收敛、哪些参数组合能让你少熬夜。适合对强化学习只有模糊概念、又想快速把算法落到实际场景里的研究者或工程师，也适合刚入门想找一个有明确业务含义的练手项目的人。

1. 为什么是Q-learning：无人机物流路径规划的问题本质与算法选型

1.1 无人机物流路径规划真正难在哪

无人机物流路径规划和地面车辆配送有个根本区别：地面车的路线受路网约束，只要在路网上选点连线就行；而无人机理论上三点之间直线飞过去，看起来更自由，实际约束全换了个维度。

首先是电量约束。多旋翼无人机的续航普遍在20到40分钟之间，载重上去之后续航还要打折。路径规划不只是找最短路径，而是要保证在返航电量阈值之前完成配送或到达充电点。这比地面车“多绕两步没事”要苛刻得多。

其次是三维移动空间。城市环境里无人机要避开建筑物、限高区域、禁飞区，飞行高度层也要区分。地图一旦从二维变成三维，状态空间的规模直接爆炸式上升，这对算法的设计和实现方式影响很大。

第三是动态性。风速风向变化影响能耗，临时禁飞区的出现意味着原来规划好的路径可能作废，同一个配送任务在不同时段、不同天气下的“最优路径”是完全不一样的。

这类问题本质上是一个序贯决策问题：无人机每一步都要根据当前位置、剩余电量、目标方位做出移动决策，而当前决策会影响后续所有状态。这正是马尔可夫决策过程（MDP）的标准结构，也是Q-learning能派上用场的根本原因。

1.2 为什么在备选算法里先挑Q-learning

动手之前我对比了几类常见做法，各有各的适用面，选型逻辑值得说清楚。

A*和Dijkstra这类经典图搜索算法，在静态、已知环境中确实是最优解的有力竞争者，计算效率也高。但它们依赖“已知全局地图”，一旦环境动态变化，就得重新规划；而且这类算法本身没有“学习”属性，环境模型一变，之前算好的路径就全废了。

遗传算法、粒子群这类元启发式算法，能优化一条完整路径（比如考虑多个配送点顺序），但它们更像“离线寻优工具”，很难在线实时决策。更关键的是，它们天然不适合带强随机性的动态环境——种群收敛需要时间，环境一变就得重跑。

深度强化学习（DQN、PPO等）功能强大，能处理高维状态和连续动作，但同时带来训练不稳定、超参数众多、计算资源消耗大等问题。如果一个网格地图（比如30×30）内的问题，用Q-learning就能在普通笔记本上几分钟内收敛，为什么一定要上深度强化学习给自己找麻烦？

Q-learning在这个场景下的价值很明确：

另外还有一个很实际的好处：Q-learning的Q表是可以直接打开看的。每个状态-动作对的价值是多少，无人机为什么在某处转弯，都能逐步追溯，这对调试和写报告帮助非常大。相比之下，神经网络里的梯度到底在学什么，很多时候只能靠可视化靠猜。

1.3 这个选型思路适用的场景边界

用Q-learning做无人机物流路径规划，我建议把握一个尺度：状态空间在经过合理抽象后不超过十万量级。具体来说，30×30大小的网格地图、加上有限的高度层和电量离散档位，这种规模用Q-learning训练性能完全够用。如果地图上万平方公里、细节要求到厘米级、还要加入多架无人机协同避让，那Q-learning的无尽探索就会变得低效，这时再考虑DQN或者更先进的多智能体强化学习才合理。

这篇文章里的Demo就是按“城市片区级配送”的规模来设计的，先把整个链路走通，再去考虑扩展。

2. 把城市三维空间塞进Q表：状态、动作与奖励函数的设计思路

2.1 网格地图离散化：从连续坐标到格子状态

要让Q-learning工作，第一步是把无人机的位置表示成离散状态。我用的方案是把目标区域划分成均匀网格，每个格子代表一个离散的位置状态。比如一个5km×5km的配送片区，每500m一个格子，地图就是10×10的网格，坐标（row, col）唯一确定无人机位置。

实际编码的时候，为了后续可视化方便，我用了一个简单的栅格地图矩阵来定义环境：

import numpy as np # 0 = 可通行空域，1 = 建筑物障碍，2 = 配送起点（仓库），3 = 配送终点（客户处） grid_map = np.array([ [2, 0, 0, 1, 0], [0, 0, 1, 0, 0], [0, 1, 0, 0, 3], [0, 0, 0, 1, 0], [0, 0, 0, 0, 0], ])

如果你要用真实地图数据，可以用栅格化工具把经纬度坐标映射到网格索引，同时把建筑物轮廓和禁飞区标成障碍格。这一步的质量直接决定算法能不能找到实际可飞的路径。

2.2 要不要把电量加进状态空间

只看位置的Q-learning规划的是几何路径，但无人机物流绕不开电量约束。我建议把电量也做离散化，作为一个额外维度加进状态。

电量按照百分比离散成若干个档位，比如10%一档。这样状态就从二维坐标变成了三维：(row, col, battery_level)。格子数10×10时，状态总数就是10×10×10=1000个。这个规模对Q表来说完全无压力，但对路径质量的影响却是质变——无人机学会在电量不足时提前返航，而不是硬着头皮往远飞。

2.3 动作空间：五动作还是八动作

动作空间我建议根据实际飞行能力来定，而不是越多越好。物流无人机虽然在理想情况下可以朝任意方向飞，但网格化之后，常见的选择是五动作或八动作：

• 五动作：上、下、左、右、悬停
• 八动作：五动作基础上加四个对角方向

对角动作能让路径更平滑，不那么像四方向“拐直角弯”，但代价是Q表更新时多出几个动作分支。我自己的经验是，在8×8到30×30的地图规模下，八动作和五动作对最终成功率影响不大，但五动作的收敛速度往往更快，所以这个Demo用了五动作（含悬停）。悬停动作实际意义是等待或空中停留，在风大或临时禁飞时可以当作安全兜底。

动作编码可以这样完成：

actions = { 0: (-1, 0), # 上 1: (1, 0), # 下 2: (0, -1), # 左 3: (0, 1), # 右 4: (0, 0), # 悬停 }

2.4 奖励函数设计：稀疏奖励还是密集奖励

这是最容易搞砸的地方。新手最常见的做法是：到达终点给+50，撞障碍物给-10，其它情况给0。这个设计不是不能用，但训练会非常慢，尤其在起点到终点路径较长的地图上，前期几乎没有任何有效反馈，无人机全靠随机游走碰运气。

我的做法是把奖励拆成三层：

前两项是稀疏奖励，后两项是密集奖励。密集奖励解决的核心问题是“学习信号稀疏”：如果只有终点才有反馈，随机探索可能需要几千轮才碰到一次成功，很多人等不到那一刻就放弃了。加入距离势能之后，无人机每走一步都能根据“离终点更远还是更近”获得即时反馈，学习效率肉眼可见地提升。

距离势能的计算方式是用曼哈顿距离（网格地图上不能用欧式距离，对角走要额外处理）：

def manhattan_distance(pos1, pos2): return abs(pos1[0] - pos2[0]) + abs(pos1[1] - pos2[1])

这里有个细节值得说明：势能引导的奖励幅度不能比终点奖励还大。否则无人机可能为了反复刷“接近奖励”而绕圈，反而不去终止任务。原则是：单步密集奖励 << 终点稀疏奖励。

2.5 模拟环境交互逻辑：一个step函数怎么设计

环境和智能体的交互逻辑统一走OpenAI Gym风格的接口，这是后续扩展DQN也不会白做的基础：

class DroneEnv: def __init__(self, grid_map, start, end, battery_max=10): self.grid = grid_map self.start = start self.end = end self.battery_max = battery_max self.state = None self.reset() def reset(self): self.state = (*self.start, self.battery_max) return self.state def step(self, action_idx): row, col, battery = self.state dr, dc = actions[action_idx] new_row, new_col = row + dr, col + dc # 电量消耗：悬停也耗电 battery -= 1 done = False reward = -0.1 # 每步时间/能量代价 if not (0 <= new_row < self.grid.shape[0] and 0 <= new_col < self.grid.shape[1]): # 越界，视为撞墙 reward = -10 done = True return self.state, reward, done if self.grid[new_row, new_col] == 1: # 撞建筑物 reward = -10 done = True return self.state, reward, done # 更新状态 self.state = (new_row, new_col, battery) if (new_row, new_col) == self.end: reward = 100 done = True return self.state, reward, done if battery <= 0: reward = -10 # 电量耗尽 done = True # 距离势能引导 old_dist = manhattan_distance((row, col), self.end) new_dist = manhattan_distance((new_row, new_col), self.end) if new_dist < old_dist: reward += 0.5 return self.state, reward, done

注意看这里的终止条件：撞障碍、越界、电量耗尽、到达终点四种情况都置done=True。一个是避免无人机在障碍边界来回蹭奖励，另一个是让“电量耗尽”作为失败终止信号进入训练，这样Q表会学会电量边界附近主动返航。

3. Q-learning核心机制逐项拆解：更新公式、探索策略与参数语义

3.1 Q值更新公式：一步一更新到底在算什么

Q-learning的核心是一张Q表，Q表里每个格子对应一个“状态-动作对”的价值估计。训练过程的关键就在于通过反复试错逐步逼近真实的价值函数。

更新公式是：

Q(s, a) ← Q(s, a) + α [ r + γ * max_a' Q(s', a') - Q(s, a) ]

这个公式里每个符号都有具体含义：

• Q(s, a)：当前状态下执行某个动作的价值估计
• α（学习率）：新信息对旧估计的修正幅度，推荐0.1到0.5之间。α越大收敛越快，但容易震荡；α太小则学习效率低
• r：执行动作后获得的即时奖励
• γ（折扣因子）：未来奖励折算到当前的价值权重，一般取0.9到0.99。γ越接近1，智能体越“目光长远”，但也越难训练；γ太小则容易只顾眼前
• max_a' Q(s', a')：下一个状态下所有动作中最大的Q值，代表着“未来最优继续下去的潜力”

用通俗的话说，这个公式是在做一件事：拿“实际拿到的奖励 + 未来收益的估计”去修正“对当前动作的旧估计”。和确认偏差纠正很像——如果实际结果比预期好，就上调Q值；比预期差，就下调Q值。

无人机物流场景里，γ的理解特别直观：γ接近1意味着无人机愿意绕远路去换一个更安全的后续路径，γ太小则无人机只顾眼前便宜，容易走进障碍包围的死胡同。

3.2 ε-greedy探索策略：机器人也必须“既要又要”

如果无人机永远选择当前Q值最大的动作，那它就只会沿着已知的最优路线飞，永远不会发现可能存在但尚未评估过的更好路径。这是强化学习里经典的“探索-利用困境”（Exploration-Exploitation Dilemma）。

ε-greedy策略的做法是：以ε概率随机探索，以1-ε概率选择当前最优动作。写法非常简单：

if np.random.uniform(0, 1) < epsilon: action = np.random.choice(list(actions.keys())) else: action = np.argmax(q_table[state])

关键在于ε怎么衰减。我见过最典型的问题是：把ε设成固定值0.1，训练500轮之后Q表还没稳定下来。原因很简单——后期仍然大量随机探索，会不断干扰已经学好的策略。

我的经验做法是“高开低走”：

实际代码里可以这样实现：

epsilon = max(0.05, 1.0 - episode / total_episodes * 0.95)

3.3 完整训练主循环：episode、step、epoch的关系梳理

很多初学者会把训练过程搞成一团浆糊，这里把名词先理清楚：

• step：无人机执行一次动作（走一格）
• episode：从起点出发直到遇到终止条件（到达终点、撞障碍、电量耗尽）的整个过程
• epoch：这里可以理解为一个episode，但在某些并行训练场景下，epoch指遍历一遍训练数据，和episode含义不同，建议在代码注释里写清楚

一次标准训练循环的骨架：

q_table = np.zeros((grid_map.shape[0], grid_map.shape[1], battery_max + 1, len(actions))) alpha = 0.3 gamma = 0.95 total_episodes = 1000 log_interval = 50 for episode in range(total_episodes): state = env.reset() total_reward = 0 done = False max_steps = 200 step_count = 0 epsilon = max(0.05, 1.0 - episode / total_episodes * 0.95) while not done and step_count < max_steps: if np.random.uniform(0, 1) < epsilon: action = np.random.choice(list(actions.keys())) else: action = np.argmax(q_table[state]) next_state, reward, done = env.step(action) best_next_q = np.max(q_table[next_state]) q_table[state][action] += alpha * (reward + gamma * best_next_q - q_table[state][action]) state = next_state total_reward += reward step_count += 1 if episode % log_interval == 0: print(f"Episode {episode}, Total Reward: {total_reward:.2f}, Epsilon: {epsilon:.3f}")

注意我加了一个max_steps=200的限制。没有这个限制时，无人机在空旷区域理论上可以无限绕圈，虽然每一步有-0.1的惩罚，但训练耗时会非常难看。加一个步数上限等于强制“超时就结束这一轮”，能显著加快训练速度。

4. Python代码落地：环境建模、训练主循环与可视化输出

4.1 代码结构：分模块而不是一锅炖

我建议把代码分成三个模块：环境模块（环境建模和交互逻辑）、智能体模块（Q表、动作选择策略）、训练模块（训练循环和结果可视化）。哪怕这是一个Demo，也要养成好习惯：

drone_q_learning/ ├── environment.py # 网格环境、奖励、状态转移 ├── agent.py # Q-learning智能体、ε-greedy策略 ├── train.py # 训练主循环、参数配置 └── visualize.py # 路径绘制、Q值热力图

环境模块在上面已经写过，下面把智能体模块补齐。

4.2 智能体封装：把Q表和策略绑在一起

class QLearningAgent: def __init__(self, state_size, n_actions, alpha=0.3, gamma=0.95): self.q_table = np.zeros((state_size[0], state_size[1], state_size[2], n_actions)) self.alpha = alpha self.gamma = gamma self.n_actions = n_actions def choose_action(self, state, epsilon): if np.random.uniform(0, 1) < epsilon: return np.random.choice(self.n_actions) return np.argmax(self.q_table[state]) def update(self, state, action, reward, next_state): best_next = np.max(self.q_table[next_state]) current_q = self.q_table[state][action] self.q_table[state][action] += self.alpha * (reward + self.gamma * best_next - current_q)

这里我把Q表定义成四维数组（行、列、电量、动作），和状态元组直接对应。这种做法的好处是后续np.argmax和np.max的索引非常自然，不用在字典和数组之间来回转换。

4.3 评估：训练完一定要用贪心策略跑测试

训练完的Q表能不能实际可用，必须用epsilon=0的纯贪婪策略重新跑测试集，这个步骤很多人会漏掉。训练过程因为带有随机探索，单看“训练奖励曲线”有可能被偶然性误导。

def evaluate(env, q_table, n_episodes=100): success = 0 total_steps = [] for _ in range(n_episodes): state = env.reset() done = False steps = 0 while not done and steps < 200: action = np.argmax(q_table[state]) state, reward, done = env.step(action) steps += 1 if state[0] == env.end[0] and state[1] == env.end[1]: success += 1 total_steps.append(steps) success_rate = success / n_episodes * 100 avg_steps = np.mean(total_steps) if total_steps else float("inf") return success_rate, avg_steps

注意一个关键点：测试时的Q表是训练好的，但地图如果加了随机扰动（比如随机封路），测试时每轮都要重新设置地图。如果评测时地图固定不变，高成功率不代表泛化能力强，只能说路径在这张特定地图上被记住了。

4.4 可视化：把路径画出来比看一万行日志都管用

路径可视化我用的是matplotlib，简单直接：

import matplotlib.pyplot as plt def plot_path(grid_map, path, start, end): fig, ax = plt.subplots() ax.imshow(grid_map, cmap="gray_r", alpha=0.7) # 绘制轨迹 path = np.array(path) ax.plot(path[:, 1], path[:, 0], color="tab:blue", linewidth=2.5, marker="o", markersize=6) ax.plot(start[1], start[0], "g*", markersize=18, label="Start") ax.plot(end[1], end[0], "r*", markersize=18, label="End") ax.legend() plt.show()

可视化有一个常被忽略的用处：判断动作方向是否正确。我第一次用matplotlib画路径时发现，无人机的路径往左飞但地图上的点往右画，折腾半天才发现是行列坐标和图像x/y坐标弄反了。这种问题看数字完全无感，画出来一眼就暴露。

5. 训练阶段最容易翻车的四个细节：收敛判断、奖励稀疏、Q表膨胀与参数敏感性

5.1 收敛判断：奖励曲线平了不等于学好了

训练完成后我会同时看三个指标：累计奖励曲线、成功率、平均步数。判断收敛的硬标准不是“奖励曲线不再上升”，而是“成功率连续50轮都是100%，且平均路径长度保持稳定”。

成功率这个指标很可靠的一点是，它不受奖励函数绝对值大小的影响——就算奖励权重设计得不合理，只要策略稳定，成功率就稳定。如果出现奖励曲线上升但成功率不升的情况，大概率是密集奖励设计过大，无人机学会了刷奖励但到不了终点。这种“自欺欺人”的收敛，是最值得警惕的。

5.2 奖励稀疏：Q表全零怎么办

新手常遇到的现象：训练了几百轮，Q表大部分还是0，成功率始终是0。问题几乎都出在奖励稀疏上。

解决路径按优先级排序：

1. 加每一步的移动惩罚（-0.1），让长路径和短路径在价值上产生区分
2. 加距离势能引导，方法见上面2.4节
3. 直接从终点附近的地图开始训练，前期先把“到达终点”这个经验灌进Q表，再扩展到全图
4. 最不济的办法：人工设计好的初始路径作为演示数据，给Q表一个基础价值（这叫Imitation Init，属于高级技巧）

不要一上来就把奖励全部调大，大幅度奖励会让Q值更新剧烈，训练震荡得更厉害。

5.3 Q表膨胀：状态空间组合爆炸的现实约束

网格10×10、电量10档、动作5个，Q表总共5000项，numpy一个float64数组也就40KB，毫无压力。但地图变成100×100、电量变成100档、动作8个，Q表直接飙到800万项，训练要面对的探索空间也随之指数级增长。

应对思路有三条：

• 下采样：把连续坐标按100m一个格子划分，降低空间分辨率。代价是路径粗糙，实际飞行时可能需要局部平滑
• 分层规划：宏观层面用Q-learning做区域级路径规划，微观层面用A*或纯几何方法做格内避障。这种“先粗后细”的思路在真实物流系统里很常见
• 特征泛化：把Q表换成函数逼近，也就是引入DQN的思路，这已经进入深度强化学习的范畴了

我个人的建议是：如果Q表超过50万项，先考虑分层设计，而不是硬扛。小步快跑永远比一步到位更有工程效率。

5.4 参数组合：一组可以直接抄的稳定配置

调参是Q-learning最劝退的部分。以下这组参数我在多种地图上测试过，成功率都能稳定在90%以上：

如果训练曲线震荡严重，优先调小α；如果成功率始终上不去，优先检查奖励势能方向有没有写反；如果收敛太慢，优先增大初始ε和训练轮数，而不是盲目加大奖励。

6. 从Q-learning出发：这套方案的现实局限与三种扩展方向

6.1 现实世界的“未知”才是真正的对手

说实话，Q-learning的Demo在仿真里跑通不算本事，真正难的是把它放进真实物流系统时暴露出来的问题。仿真环境里地图是静态的、障碍是固定的、风速是不存在的，但真实场景完全不是这样。

真实物流系统里，无人机飞行中面临的至少有三个不确定源：气象条件（风、雨、温度影响电池效率）、空域动态限制（限飞区变化）、机间冲突（多架无人机同时运行时的碰撞风险）。Q-learning的Q表基于静态MDP假设，遇到环境变化时，它不会自动适配，必须让模型定期重新学习或加入在线更新机制。

6.2 三种现实可行的扩展路径

从Q-learning这个起点出发，我认为最靠谱的扩展路径有三条，按性价比排序：

第一条：从离散状态升级到连续逼近（DQN方向）。Q-learning的Q表天然适合离散状态，但物流场景中状态往往连续（精确坐标、剩余电量百分比、风速等）。DQN用神经网络逼近Q函数，可以处理连续状态。算法框架、经验回放、目标网络这些概念从Q-learning出发理解成本很低，过渡平滑。

第二条：多无人机协同规划。单机路径规划只需要考虑自身状态，但多机协同要考虑机间避让、任务分配、充电桩共享等问题。多智能体Q-learning或基于中心化训练-去中心化执行（CTDE）的算法会更合适。

第三条：分层混合规划架构。宏观区域调度用强化学习，微观航线生成用几何或优化算法。这套方案在工程落地中往往比纯强化学习更稳定——强化学习负责不确定性的决策，传统算法负责确定性的路径平滑，两者互补。

6.3 给你的实操建议：先把基础打牢再谈扩展

如果你是从零开始接触这个方向，我的建议是：先把单机Q-learning在一个小地图上完整跑通，看清楚每一步的Q值是怎么变的，再谈其它。不要一上来就堆代码、上DQN、上仿真平台。我见过不少人在这一步跳得太快，结果连“Q表为什么不收敛”都没搞清楚，后面每一层都是夹生饭。

一个很好的练习方式是把地图改成自己生活的小区或学校区域，把配送点设成真实的收发室或门口快递柜。地图一旦换成自己熟悉的场景，调试时的直觉会准确得多——路径明显绕路了你能一眼看出来，是不是撞到了不该撞的障碍也心里有数。

训练完成后再做一件小事：把最终Q表对应每个格子的“最优动作”用一个箭头图画出来。这张图能直接展示无人机在整张地图上的“决策策略”，比单纯看一条路径信息量大得多。

我在实际测试中最意外的一件事是：单纯加大奖励数值并不能让训练变快，真正让收敛速度质变的是距离势能引导。后来回头看理论才明白，势能函数提供了一种“高维空间中的即时梯度信号”，比再来十个稀疏大奖励都管用。这个经验后来做DQN、做多智能体调度，都一直在复用。

如果把这篇文章浓缩成一句人话，那就是：算法真不挑新旧，关键看问题建模建得准不准；奖励函数设计对了，Q-learning三分钟出结果，奖励函数设计错了，DQN跑一晚上也是原地打转。希望这套完整链路能让你少走点弯路，也把Q-learning这个“入门级算法”用出实战价值来。