城市空气质量预测一直是个“看着简单、做好极难”的问题。你打开任何一款天气 App 都能看到未来几天的 PM2.5、 PM10、臭氧预报但很少有人追问这些数字背后模型到底是怎么处理监测站数据不连续、污染物扩散随时间变化、不同站点采样频率不一致这些问题的本文要分析的 AirFlow 模型恰好瞄准了空气质量预测中两个被长期忽视的痛点上下文信息保持和多速率状态建模。前者解决“监测数据缺失时如何不丢历史信息”后者解决“不同污染物的变化节奏不同如何统一建模”。这篇论文的思路对做时间序列预测、时空数据挖掘、环境智能的工程师都有参考价值。读完本文你会理解 AirFlow 的核心设计逻辑、它与常见时空预测模型的区别、它的适用边界以及如果要在自己的项目中复现或借鉴这套方法应该重点处理哪些工程细节。另外AirFlow 这个名字容易和 Apache Airflow 工作流调度工具混淆我也会专门做一个区分。1. 空气质量预测为什么难模型之外的真实约束很多做深度学习的人第一次接触空气质量预测时会觉得这不就是一个多变量时间序列预测问题吗拿过去 72 小时的 PM2.5、气象数据训练一个 LSTM 或 Transformer预测未来 24 小时完事。但真实场景远没有这么简单。这里有几个数据层面的硬约束直接决定了模型设计第一监测站数据存在大量缺失。空气质量监测站分布在城市各处受设备校准、通信故障、断电、维护等因素影响单站数据缺失率在真实系统中经常达到 10% 到 30%。如果直接把缺失时刻的数据置零或简单插值等于给模型灌入了大量错误信息。第二污染物变化的时间节奏不同。PM2.5 的浓度变化通常比较平缓受气象条件和区域传输影响呈现小时级甚至天级的持续性而臭氧O₃的日变化非常剧烈白天光化学反应强、浓度高夜间快速下降。用一个固定的时间步长去建模所有污染物本质上是把高频变化和低频变化强行塞进同一个尺度的状态更新里信息必然互相干扰。第三站点之间存在空间相关性但相关性随时间动态变化。邻近站点的数据确实有参考价值但风场、温度层结、地形会改变污染物传输方向。静态的图结构比如按距离建图无法表达这种动态耦合关系。这三个问题叠加导致一个现象很多论文里的模型在公开数据集上效果不错一旦部署到真实城市监测网络中性能就明显下降。原因不是模型本身不够深而是它对真实数据中的“上下文缺失”和“多速率变化”没有显式建模能力。AirFlow 论文的核心贡献就是针对后两个问题提出了一套可解释、可落地的建模方案。下面我们先拆解模型的名字Context Preserving 和 Multi-Rate State Modeling。2. 核心概念拆解Context Preserving 与 Multi-Rate 到底指什么2.1 Context Preserving上下文保持在时间序列预测中上下文Context指的是当前预测所依赖的历史信息窗口。常见的做法是滑窗用过去 T 个时刻的数据预测未来 H 个时刻。窗口之外的更长期历史信息以及在空间上距离较远的站点信息默认是不参与建模的。Context Preserving 的动机很直接空气质量监测数据经常出现连续缺失比如某个站点断电 6 小时这 6 小时的数据完全丢失。如果模型只依赖最近一个窗口的数据那么窗口被截断后模型就失去了长期趋势和周期性规律的参照。“保持上下文”不是简单地把历史窗口拉长而是设计一种机制让模型在数据缺失或噪声干扰下仍然能够维持对“当前环境状态”的稳定估计。打个比方你在看一部连续剧中间有几集因为网络问题没看到。Context Preserving 相当于一个有经验的观影者根据前后剧情、人物关系和故事套路自动补齐了缺失剧集的情节走向而不是把没看的几集当作“剧情空白”处理。在技术层面传统循环神经网络RNN/LSTM的隐藏状态本身就有一定的上下文承载能力但它的问题是当输入数据长时间缺失或异常时隐藏状态会被错误的输入更新污染导致误差累积。Context Preserving 的设计目标正是让状态更新对输入缺失更鲁棒。2.2 Multi-Rate State Modeling多速率状态建模Multi-Rate多速率是信号处理和控制系统中的一个经典概念。不同信号以不同频率采样比如温度传感器每分钟采样一次湿度传感器每十分钟采样一次系统需要在一个统一的框架下处理这些不同速率的信号。空气质量预测中的“多速率”体现在两个层面第一个层面是污染物本身的动态变化速率不同。有的污染物变化缓慢可以用小时级甚至天级的状态更新来建模有的污染物变化剧烈需要分钟级或短小时级的状态更新才能捕捉细节。第二个层面是观测数据的采样频率不一致。不同监测站点的设备型号不同上报频率可能不同。有些站是小时级上报有些是分钟级某些站点在特定时段上报频率更高。把所有数据强行重采样到同一频率要么丢失高频信息要么引入大量插值噪声。传统模型的问题在于它用同一个状态转移函数、同一个时间步长去更新所有变量的状态。这就像要求一个运动员用跑步的节奏去游泳节奏完全错位。Multi-Rate State Modeling 的直觉是为不同变化速率的变量配置不同的状态更新频率让每个变量在自己的时间节拍上更新然后通过一个状态融合机制把它们组合起来形成对整体空气质量状态的统一估计。这里的数学表达可以是假设有 N 个变量其中变量 i 的观测间隔是 τᵢ。模型不是强制所有变量在每一个时间步都更新状态而是为每个变量维护一个状态向量在观测到来时才更新在观测缺失时则通过状态转移函数外推。这样既保持了高频变量的细节又不会被低频变量的冗余观测干扰。2.3 与 Apache Airflow 的区分必须先说清楚一个问题论文里的 AirFlow 是 Air Quality Forecasting 的缩写核心是“空气质量预测模型”。Apache Airflow 是另一个完全不同的东西它是一个开源的工作流调度平台常用于数据管道的定时调度和任务编排。这两个名字放到一起非常容易混淆。实际上如果你在上述搜索引擎搜索 AirFlow大概率先看到的是 Apache Airflow 的安装部署教程。本文后续涉及到的“AirFlow”全部指空气质量预测模型如果你需要 Apache Airflow 的安装部署方法请在官方文档中查找那是一条完全独立的技术线。3. AirFlow 模型设计的整体思路从标题和这类论文的通行框架来看AirFlow 的架构可以概括为三个模块的协作上下文编码模块Context Encoder负责从历史观测序列中提取当前环境状态的表示这个表示要能抵抗输入缺失的干扰。多速率状态更新模块Multi-Rate State Updater为不同变化速率的变量分别维护状态并按照各自的节奏更新。预测输出模块Predictor将多速率状态融合为统一的预测表示输出未来多个时间步的污染物浓度。这个思路和经典的时空预测模型如 STGCN、Graph WaveNet、ASTGCN有本质区别那些模型通常先构建一个图结构再在图上做图卷积和时间卷积输入数据是规则的张量站点×时间×特征。而 AirFlow 的出发点是数据本身是不规则的、多速率的、有缺失的模型设计应该围绕数据的真实形态展开而不是先把数据强行捋成规则张量再交给模型。这也解释了为什么这类模型更适合称作“状态空间模型”的深度学习变体而不是单纯的序列模型。它更接近控制理论中的状态估计问题给定带噪声、不完整、不同步长的观测估计系统的真实状态并基于状态做未来预测。4. Context Preserving 的实现机制如何让模型记住该记住的Context Preserving 的关键不是“记住所有历史”而是“在输入缺失时仍然保持对状态的稳定估计”。这里比较常见的实现思路是引入状态门控机制。可以用一个简单的结构来说明这个思路。假设模型在时刻 t 的隐状态为 hₜ输入为 xₜ。在标准 GRU 中状态更新公式为hₜ (1 - zₜ) * hₜ₋₁ zₜ * h̃ₜ其中 zₜ 是更新门h̃ₜ 是候选状态由当前输入和上一时刻状态共同决定。问题在于如果 xₜ 是缺失值被填充为 0 或均值那么 h̃ₜ 就会包含错误信息并通过 zₜ 污染 hₜ。Context Preserving 的做法是增加一个“输入置信度”通道cₜ sigmoid(W_c * [xₜ, hₜ₋₁, mₜ] b_c) hₜ (1 - zₜ * cₜ) * hₜ₋₁ zₜ * cₜ * h̃ₜ这里 mₜ 是掩码向量表示 xₜ 中每个特征是否缺失。当某特征缺失时cₜ 对该特征的更新通道关闭模型更多依赖上一时刻的状态当数据正常时cₜ 接近 1正常更新。这个设计看似简单但效果显著它让模型在连续缺失场景下从“用假数据更新状态”变成“停止更新并保持状态”避免了误差的级联放大。在多头注意力架构中Context Preserving 的实现方式可以是对不同时间步的注意力权重做掩码约束让缺失时间步的信息不被过度加权。从论文标题推断AirFlow 很可能采用的是门控状态空间机制因为这与“多速率状态建模”天然契合每个变量有自己的状态和自己的更新门当观测到达时打开门观测缺失时关闭门。5. Multi-Rate State Modeling 的实现机制不同变量不同节奏Multi-Rate State Modeling 是 AirFlow 最核心的差异化设计。以下从数据结构到模型更新逻辑逐步说明。5.1 问题形式化假设有 N 个变量污染物指标和气象因子变量 i 的观测时间序列为 {(tᵢₖ, xᵢₖ)}其中 tᵢₖ 表示变量 i 的第 k 次观测时刻xᵢₖ 是观测值。注意不同变量的观测时刻集合不同。对于变量 i定义一个隐状态 sᵢ(t)表示变量 i 在时刻 t 的内部状态。在任意时刻 t模型维护一个全局状态集合 S(t) {s₁(t), s₂(t), ..., sₙ(t)}。5.2 状态更新逻辑变量 i 在收到一次新观测 (tᵢₖ, xᵢₖ) 时执行一次状态更新sᵢ(tᵢₖ) f_update(sᵢ(tᵢₖ₋₁), xᵢₖ, context(tᵢₖ))其中 context(tᵢₖ) 是从全局状态中抽取的上下文信息用来让变量 i 在更新时参考其他变量的状态。在两次观测之间状态按照动力学模型演化sᵢ(t) f_transition(sᵢ(tᵢₖ)), t ∈ (tᵢₖ, tᵢₖ₊₁)如果观测间隔较长状态可能需要多次演化如果观测间隔很短可能只需要一次演化。这个“演化次数”由观测间隔和基础时间步长的比值决定是实现多速率的关键。5.3 状态融合与预测输出在需要预测的时刻 t_pred模型将所有变量的隐状态融合S(t_pred) f_fusion(s₁(t_pred), s₂(t_pred), ..., sₙ(t_pred))融合后的全局状态再通过一个输出网络生成预测ŷ(t_pred) f_output(S(t_pred))5.4 与传统方法的对比对比维度传统时序模型LSTM/TransformerMulti-Rate 状态模型时间步长所有变量共享同一时间步每个变量有自己的更新频率缺失值处理填充后输入模型通过掩码控制状态更新状态更新每个时间步都更新全部变量观测到达时才更新对应变量长期依赖依赖注意力或门控机制保留通过状态演化显式建模计算效率高频变量拖累全模型稀疏更新计算更高效从工程实践看这种设计还有一个额外的好处天然支持流式推理。因为状态是逐变量维护的新数据到达时只需要更新对应变量的状态不需要重算整个历史序列。这对于部署在实时监测系统上的模型非常友好。6. AirFlow 模型的完整训练与预测框架基于上述模块分析可以给出一个完整的实现框架。以下代码用 PyTorch 风格的伪代码说明核心逻辑不依赖具体版本重点表达思路。6.1 模型整体结构# 文件路径airflow_model.py import torch import torch.nn as nn class ContextPreservingCell(nn.Module): 上下文保持的GRU风格更新单元 def __init__(self, input_dim, hidden_dim): super().__init__() self.hidden_dim hidden_dim # 标准GRU门 self.update_gate nn.Linear(input_dim hidden_dim, hidden_dim) self.reset_gate nn.Linear(input_dim hidden_dim, hidden_dim) self.candidate nn.Linear(input_dim hidden_dim, hidden_dim) # 输入置信度门控制缺失数据对状态的影响 self.confidence_gate nn.Linear(input_dim hidden_dim 1, hidden_dim) def forward(self, x, mask, h_prev): # x: 当前观测 [batch, input_dim] # mask: 观测掩码 [batch, input_dim]1表示有值0表示缺失 # h_prev: 上一时刻状态 [batch, hidden_dim] combined torch.cat([x, h_prev], dim-1) z torch.sigmoid(self.update_gate(combined)) r torch.sigmoid(self.reset_gate(combined)) candidate torch.tanh(self.candidate(torch.cat([x, r * h_prev], dim-1))) # 置信度计算基于输入、状态、缺失比例 missing_ratio 1.0 - mask.mean(dim-1, keepdimTrue) conf_input torch.cat([x, h_prev, missing_ratio], dim-1) c torch.sigmoid(self.confidence_gate(conf_input)) # 用置信度调制更新门 z_eff z * c h_new (1 - z_eff) * h_prev z_eff * candidate return h_new6.2 多速率状态更新逻辑class MultiRateStateUpdater(nn.Module): 多速率状态更新器每个变量维护独立状态 def __init__(self, num_vars, var_input_dims, hidden_dim): super().__init__() self.num_vars num_vars self.hidden_dim hidden_dim # 每个变量有自己的上下文保持更新单元 self.cells nn.ModuleList([ ContextPreservingCell(var_dims, hidden_dim) for var_dims in var_input_dims ]) # 状态演化网络用于观测间隔期间的预测 self.transition nn.ModuleList([ nn.GRUCell(hidden_dim, hidden_dim) for _ in range(num_vars) ]) # 状态融合网络 self.fusion nn.Sequential( nn.Linear(hidden_dim * num_vars, hidden_dim * 2), nn.ReLU(), nn.Linear(hidden_dim * 2, hidden_dim) ) def forward(self, var_inputs, var_masks, var_timestamps, pred_time): var_inputs: 每个变量的观测序列列表 var_masks: 每个变量的观测掩码列表 var_timestamps: 每个变量的观测时间戳列表 pred_time: 预测时刻 states [] for i in range(self.num_vars): x var_inputs[i] # [len_i, batch, input_dim_i] mask var_masks[i] # [len_i, batch, input_dim_i] timestamps var_timestamps[i] # [len_i] h torch.zeros(x.shape[1], self.hidden_dim) # 按时间顺序处理该变量的观测 prev_t timestamps[0] for t_idx in range(len(timestamps)): # 先进行状态演化模拟从上次观测到当前观测的过渡 h self.transition[i](h) # 再用当前观测更新状态 h self.cells[i](x[t_idx], mask[t_idx], h) prev_t timestamps[t_idx] # 演化到预测时刻 h self.transition[i](h) states.append(h) # 融合所有变量的状态 combined torch.cat(states, dim-1) fused self.fusion(combined) return fused, states6.3 预测输出层与整体模型class AirFlow(nn.Module): AirFlow: Context Preserving Multi-Rate State Modeling def __init__(self, num_vars, var_input_dims, hidden_dim, pred_len, num_species): super().__init__() self.updater MultiRateStateUpdater(num_vars, var_input_dims, hidden_dim) self.pred_len pred_len # 从融合状态生成未来多个时刻的预测 self.output_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim * 2), nn.ReLU(), nn.Linear(hidden_dim * 2, pred_len * num_species) ) def forward(self, var_inputs, var_masks, var_timestamps, pred_time): fused, _ self.updater(var_inputs, var_masks, var_timestamps, pred_time) pred self.output_layer(fused) # 重塑为 [batch, pred_len, num_species] pred pred.view(-1, self.pred_len, -1) return pred6.4 训练逻辑# 文件路径train.py import torch import torch.nn as nn import torch.optim as optim def train_one_epoch(model, dataloader, optimizer, criterion): model.train() total_loss 0.0 for batch in dataloader: var_inputs batch[var_inputs] # 字典或列表 var_masks batch[var_masks] var_timestamps batch[var_timestamps] pred_time batch[pred_time] targets batch[targets] # [batch, pred_len, num_species] optimizer.zero_grad() predictions model(var_inputs, var_masks, var_timestamps, pred_time) loss criterion(predictions, targets) loss.backward() optimizer.step() total_loss loss.item() * len(batch) return total_loss / len(dataloader.dataset)这里的核心设计是输入不再是规则的 [batch, seq_len, features] 张量而是每个变量的独立序列。这让数据预处理逻辑更复杂但换来了对真实监测数据更强的适应能力。7. 实验设计与验证模型到底该对比什么从这类论文的通行做法看实验设计通常包含几个层次。如果你的目标是复现或验证 AirFlow 的效果建议从以下维度设计实验。7.1 数据集选择空气质量预测论文常用的数据集包括北京空气质量数据集包含多个监测站点的 PM2.5、PM10、SO₂、NO₂、CO、O₃ 浓度以及气象数据。中国城市空气质量数据集覆盖多个城市时间跨度较长适合验证模型的泛化能力。自建数据集如果用于工业落地建议使用目标城市至少一年的历史数据覆盖不同季节和空气质量状况。无论选择哪个数据集都需要单独构造“人工缺失”的测试场景。做法是随机删除一部分时段的观测数据或者模拟某站点连续断电 6 到 24 小时的情况考察模型在真实缺失模式下的表现。这比单纯在完整数据上进行预测更能体现 Context Preserving 的价值。7.2 对比模型建议设置三组对比基线统计模型ARIMA、VAR。经典深度学习模型LSTM、GRU、TCN。时空图模型STGCN、Graph WaveNet、ASTGCN、DiffSTG。另外还可以做消融实验去掉 Context Preserving 门控、去掉多速率更新验证每个模块的贡献。消融实验是这类论文非常看重的部分也是判断模型设计是否成立的关键证据。7.3 评估指标空气质量预测领域常用的指标指标含义使用场景MAE平均绝对误差衡量预测值与真实值的平均偏差RMSE均方根误差对较大误差更敏感适合评估异常值MAPE平均绝对百分比误差直观反映相对误差但臭氧浓度接近 0 时不稳定R²决定系数衡量模型解释方差的比例FAC2预测值在真实值 0.5~2 倍范围内的比例空气质量预报中常用反映趋势把握能力特别要关注的是分时长评估预测未来 1 小时、3 小时、6 小时、12 小时、24 小时的表现。很多模型短期预测效果好但长期预测误差快速膨胀。Multi-Rate 机制理论上能延缓这种误差累积因为低频变量的状态演化不受高频噪声干扰。7.4 缺失场景的鲁棒性实验在测试集上人为构造不同缺失比例的变体观察模型性能变化曲线。一个设计良好的 Context Preserving 模型其性能随缺失比例上升的衰减速度应该明显慢于普通 LSTM。缺失比例普通 LSTM MAEAirFlow MAE说明0%完整数据12.511.8整体水平10%随机缺失14.212.1普通模型开始退化30%随机缺失18.613.0差距进一步拉大50%随机缺失25.315.4普通模型接近失效注意以上表格是示例数据不是论文结果。实际复现时应该用你自己跑出的结果填充。8. 常见问题与排查方法围绕这类状态空间模型的实现和训练实际工程中经常遇到以下问题。问题现象可能原因排查方式解决方案模型训练不收敛loss 震荡严重多速率更新的时间步长差异过大梯度尺度不均衡检查各变量状态更新的梯度范数对不同变量使用梯度裁剪将观测间隔归一化到 [0,1] 后再输入 transition 网络缺失值填充为 0 后模型崩溃掩码没有传入模型模型把 0 当作真实低浓度值检查数据加载逻辑中 mask 是否与输入同步确保 mask 和输入一起进入训练流程缺失值不能简单填 0短期预测效果好长期预测误差爆炸状态演化网络过于简单无法模拟长时间间隔的动态查看预测时长与误差曲线增加中间演化步数使用神经 ODE 或 ResNet 风格的跳跃连接不同变量状态尺度差异大融合效果差各变量原始量纲不同PM2.5 单位 μg/m³风速 m/s查看融合层输入分布对每个变量先做独立的归一化或使用 LayerNorm 后再融合训练速度慢每个变量独立维护状态导致序列无法并行检查 GPU 利用率对同一变量内部的时间步做并行化使用 torch.compile 或类似优化工具与 Apache Airflow 搞混名字相同搜索资料错乱确认论文来源和代码仓库搜索时加上“空气质量预测”“论文”等限定词9. 最佳实践与工程建议如果你打算把 AirFlow 的思想用到自己的项目中这里有几点真实的工程建议。9.1 数据管线设计要先于模型设计多速率模型的前提是数据管线能按“变量-时间戳-观测值”三元组组织数据。传统的关系型表格每行是时间戳每列是变量需要转换成更灵活的格式。建议使用以下结构# 文件路径data_structure.py # 推荐的数据组织方式 dataset { PM2.5: { timestamps: [...], # 时间戳列表 values: [...], # 观测值列表 station_id: S001 }, O3: { timestamps: [...], values: [...], station_id: S001 }, # 其他变量... }每个变量的序列长度、起止时间、缺失情况可能都不同。数据加载器要支持“按变量读取按批次返回”的模式而不是用一个固定尺寸的二维数组硬塞。9.2 缺失掩码要参与整个计算图很多实现把 mask 当作辅助信息只在损失函数中排除缺失位置却不让 mask 影响状态更新。这实际上是浪费了最有价值的信息。正确的做法是让 mask 作为模型输入的一部分通过置信度门控直接影响状态更新。9.3 状态维度的初始化要谨慎由于多速率模型中不同变量的状态更新频率不同初始状态对低频变量的影响会持续很长时间。建议在训练初期使用 warm-up 阶段让模型先用一小段完整数据初始化状态再开始正式训练。否则低频变量如 CO 浓度的前几次预测可能完全依赖随机初始状态。9.4 预测置信区间比点预测更有实用价值空气质量预测用于公共健康提醒时决策者更关心的是“未来 24 小时会不会出现重度污染”而不是精确的浓度数值。建议在输出层同时建模均值和方差例如使用 Gaussian NLL Loss输出预测区间。这在工程落地时非常受欢迎。9.5 注意 station 级别的区域差异一个城市内不同区域的污染传输机制差异很大。靠近工业区的站点受点源排放影响明显交通站则受机动车排放主导。最简单有效的做法是让每个区域使用独立的状态空间而不是全部站点共享一套状态。如果主要污染物浓度变化剧烈、数据缺失频繁、需要支持流式推理多速率状态建模的思路值得重点验证如果是周期性采集的完整规则数据传统时空图模型可能仍然足够。10. 总结与后续学习方向AirFlow 这个工作给时间序列预测带来的启发不在于某个新颖的网络层而在于视角转换从“把数据整理成模型方便的样子”转向“让模型适应数据本来的样子”。Context Preserving 承认监测数据会缺失于是设计门控机制让模型在缺失时保持状态Multi-Rate State Modeling 承认不同变量变化节奏不同于是让每个变量按自己的频率更新状态。这两点切中的都是真实系统中的核心痛点。如果你对这个方向感兴趣建议按下面的路径继续深入第一复现一个简化版本。先不管复杂的空间结构只用单站数据跑通 Context Preserving Multi-Rate 的核心逻辑对比普通 LSTM 在人工缺失数据下的表现。这一步能让你直观感受到门控机制带来的差异。第二研究状态空间模型与深度学习的结合。AirFlow 的设计和现代状态空间模型如 S4、Mamba 等在思想上高度一致用状态概括历史用输入驱动更新用演化模拟多时间尺度。理解这类模型的数学框架对阅读最新文献很有帮助。第三关注空气质量预测中的空间建模。AirFlow 解决了时间维度上的多速率问题但空间维度上的动态相关性依然依赖图模型、注意力机制或扩散模型。如果你做的是多站点预测需要思考如何把多速率状态和空间依赖结合起来。第四注意模型的可解释性和鲁棒性评估。空气质量预测是个典型的高社会敏感性场景模型不仅要准还要能解释“为什么预测重度污染”。建议训练阶段就加入误差分析工具按站点、季节、污染等级分组分析误差分布而不是只看一个总体的 MAE。AirFlow 这类模型短期内未必会取代成熟的时空图模型但它代表了一个重要的研究方向预测模型不再默认数据是规则完整的而是从真实世界的观测约束出发设计模型结构。这种思路对于工业界做时序预测的工程师尤其有参考价值——毕竟我们手里的生产数据从来没有像公开数据集那么干净过。建议收藏本文尤其是代码结构和实验设计部分。后续在数据组织、状态更新、缺失鲁棒性方面遇到问题时可以回来对照检查。