简介：这份资源面向深度学习与信号处理方向的研究者、研究生及工程实践者，聚焦压缩感知重构速度慢的痛点，提供将迭代收缩阈值算法（ISTA）与深度学习结合为LISTA的完整项目代码。包内共9个文件，以3个Python脚本为核心，分别实现ISTA与LISTA算法及主流程，另含2张训练损失与重构结果可视化图、2个编译缓存文件、1份依赖清单和1个工程配置，压缩包约688KB，结构紧凑便于直接运行。已有190人学习下载。读者可据此理解ISTA到LISTA的算法演进，掌握基于Pytorch的端到端训练与稀疏信号重构仿真方法，并通过损失曲线与重构对比图直观验证LISTA在速度与精度上的优势，为无线通信、医学成像等场景下的快速重构研究提供可复用的代码基础。

1. 从一次信号重建翻车说起：这套 LISTA 代码到底能干什么

去年帮一个做超声成像的团队看问题，他们用传统 OMP 做稀疏重建，单帧 512 点信号要跑 40 多毫秒，帧率死活上不去。我建议换成 LISTA（Learned ISTA），把迭代展开成网络用 PyTorch 训练，推理时固定层数前向传播，速度直接压到 3 毫秒以内。这就是深度压缩感知的核心思路——用可学习的网络替代传统迭代求解器，在保证重建质量的前提下把速度拉满。

这份「深度压缩感知与 LISTA 实现」代码包，就是围绕这个思路做的完整工程：包含压缩感知的观测矩阵生成、ISTA 迭代展开成网络层、PyTorch 训练脚本、以及重建质量评估。适合两类人：一是做信号处理想入门深度学习的工程师，二是做深度学习想切入压缩感知方向的研究者。如果你正在被 OMP、CoSaMP 这类传统算法的速度卡住，或者想搞明白 LISTA 到底怎么用 PyTorch 写出来，这份代码值得跟着跑一遍。

2. 压缩感知与 LISTA 的数学底子：为什么展开迭代能变成网络

2.1 压缩感知的三个核心假设

压缩感知不是玄学，它成立的前提很明确：信号在某变换域下稀疏、观测矩阵满足 RIP 条件、重建算法能利用稀疏先验。用数学语言说，给定原始信号 $x \in \mathbb{R}^N$，观测过程是 $y = \Phi x + n$，其中 $\Phi \in \mathbb{R}^{M \times N}$ 且 $M \ll N$。要从 $y$ 恢复 $x$，就得解一个欠定方程，传统做法是加稀疏正则：

$$ \hat{x} = \arg\min_x \frac{1}{2}|y - \Phi x|_2^2 + \lambda |x|_1 $$

这个式子的意思是：既要让重建信号和观测一致，又要让信号尽量稀疏。ISTA（Iterative Shrinkage-Thresholding Algorithm）就是解这个问题的经典迭代法，每一步做梯度下降再软阈值：

$$ x_{k+1} = \text{soft}\left(x_k + \frac{1}{L}\Phi^T(y - \Phi x_k),\ \frac{\lambda}{L}\right) $$

其中 $L$ 是 $\Phi^T\Phi$ 的最大特征值，soft 是软阈值函数。问题在于，ISTA 通常要迭代几百上千次才收敛，每次都要算矩阵乘法，速度上不去。

2.2 LISTA 的核心洞察：把迭代步展开成网络层

LISTA 的做法很直接：既然 ISTA 每步形式一样，那就把 K 步迭代展开成 K 层网络，每层的权重和阈值都变成可学习参数。第 k 层的计算变成：

$$ x_{k+1} = \text{soft}\left(W_{e,k} y + W_{t,k} x_k,\ \theta_k\right) $$

注意这里 $W_e$ 和 $W_t$ 不再绑定为 $\Phi^T$ 和 $I - \frac{1}{L}\Phi^T\Phi$，而是自由学习。这样网络只有 K 层，前向传播一次就出结果，K 通常取 10~20 就够，比 ISTA 的几百次迭代快一个数量级。

我一般会跟人说：LISTA 不是「用深度学习替代压缩感知」，而是「用网络结构编码迭代算法」。这个区别很重要——它保留了压缩感知的物理模型，只是把求解过程参数化了。

2.3 为什么用 PyTorch 实现

选 PyTorch 而不是 TensorFlow 或 NumPy 手写，理由有三个：一是软阈值函数需要自定义反向传播，PyTorch 的 autograd 处理起来最干净；二是观测矩阵可以作为 buffer 注册进模块，训练时自动搬到 GPU；三是训练完可以导出 TorchScript，部署时不需要 Python 环境。这份代码里观测矩阵就是注册成 buffer 的，不是普通参数，不会被优化器更新。

提示：观测矩阵 $\Phi$ 在训练中是固定的，不要把它设成 nn.Parameter，否则网络会「作弊」——直接学一个让重建变简单的观测矩阵，失去压缩感知的意义。

3. 把 LISTA 写成 PyTorch 模块：从观测矩阵到软阈值层

3.1 观测矩阵生成与稀疏信号构造

先解决数据从哪来。压缩感知常用随机高斯矩阵作为观测矩阵，信号用稀疏合成的方式生成。代码里这部分封装在data.py：

import torch import numpy as np def generate_observation_matrix(M, N, seed=42): """生成 MxN 高斯观测矩阵，列归一化""" rng = np.random.RandomState(seed) Phi = rng.randn(M, N).astype(np.float32) # 列归一化，保证每个原子能量一致 Phi = Phi / np.linalg.norm(Phi, axis=0, keepdims=True) return torch.from_numpy(Phi) def generate_sparse_signal(N, sparsity, batch_size, seed=None): """生成稀疏度为 sparsity 的 batch 信号""" if seed is not None: torch.manual_seed(seed) x = torch.zeros(batch_size, N) # 每个样本随机选 sparsity 个位置置为非零 for i in range(batch_size): idx = torch.randperm(N)[:sparsity] x[i, idx] = torch.randn(sparsity) return x

generate_observation_matrix里做了列归一化，这一步容易被忽略。如果不归一化，不同列的尺度差异会让软阈值的选择变得敏感，训练时 loss 震荡得厉害。generate_sparse_signal用randperm保证每个样本的非零位置不重复，randn给非零值，这样信号既稀疏又随机。

参数上，M 是观测数，N 是信号长度，压缩比 M/N 一般取 0.25~0.5。稀疏度 sparsity 取 N 的 5%~10%。batch_size 根据显存调，512 点信号用 128 或 256 都行。

3.2 LISTA 模块的 forward 实现

核心模块在lista.py，我把它拆成三部分看：

import torch import torch.nn as nn class SoftThreshold(nn.Module): """软阈值函数，支持自定义梯度""" def __init__(self, theta_init=0.1): super().__init__() self.theta = nn.Parameter(torch.tensor(theta_init)) def forward(self, x): # soft(x, theta) = sign(x) * max(|x| - theta, 0) return torch.sign(x) * torch.clamp(torch.abs(x) - self.theta, min=0) class LISTALayer(nn.Module): """单层 LISTA：x_{k+1} = soft(W_e y + W_t x_k, theta)""" def __init__(self, M, N): super().__init__() self.W_e = nn.Linear(M, N, bias=False) # 从观测到信号 self.W_t = nn.Linear(N, N, bias=False) # 从上一轮估计到当前 self.soft = SoftThreshold() def forward(self, y, x_prev): return self.soft(self.W_e(y) + self.W_t(x_prev)) class LISTA(nn.Module): """K 层展开的 LISTA 网络""" def __init__(self, M, N, K=16): super().__init__() self.layers = nn.ModuleList([LISTALayer(M, N) for _ in range(K)]) self.K = K def forward(self, y): x = torch.zeros(y.size(0), self.layers[0].W_e.out_features, device=y.device) for layer in self.layers: x = layer(y, x) return x

SoftThreshold把阈值 theta 设成nn.Parameter，每个通道共享一个阈值。如果想更细粒度，可以改成每个元素一个阈值，但参数量会涨，小数据集上容易过拟合。LISTALayer里W_e和W_t都是无偏置的线性层，因为 ISTA 的迭代式里没有偏置项。LISTA.forward初始估计设为零向量，这是标准做法，也可以改成 $\Phi^T y$ 作为初始值，收敛更快但代码稍复杂。

3.3 训练循环与损失函数选择

训练脚本train.py的关键部分：

def train_lista(model, Phi, train_loader, epochs=100, lr=1e-3): optimizer = torch.optim.Adam(model.parameters(), lr=lr) scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.5) criterion = nn.MSELoss() for epoch in range(epochs): model.train() total_loss = 0 for x_true in train_loader: y = x_true @ Phi.T # 观测 x_hat = model(y) # 重建 loss = criterion(x_hat, x_true) optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() scheduler.step() if (epoch + 1) % 10 == 0: print(f"Epoch {epoch+1}, Loss: {total_loss/len(train_loader):.6f}") return model

损失函数用 MSE 而不是 $\ell_1$，因为训练时我们已知真实信号 $x_{true}$，直接监督重建结果就行。如果只有观测没有真值，那就得用无监督方式，比如让 $|\Phi \hat{x} - y|_2$ 最小化，但那样效果会差一些。学习率用 Adam 默认的 1e-3，每 30 轮降一半。y = x_true @ Phi.T这行注意维度：x_true 是 (batch, N)，Phi 是 (M, N)，所以 Phi.T 是 (N, M)，乘出来是 (batch, M)。

注意：训练时观测矩阵 Phi 要放在和模型相同的 device 上，否则会报 device mismatch。代码里用Phi = Phi.to(device)统一处理。

4. 训练完怎么验证：重建指标与可视化排查

4.1 三个必看的重建指标

训练完不能只看 loss，得算具体指标。代码里evaluate.py提供了三个：

NMSE 是最直接的，小于 0.01 说明重建已经相当准。PSNR 在信号处理里常用，但要注意信号幅度归一化到 1 才有意义。支撑集恢复率是压缩感知特有的——就算数值有偏差，只要非零位置对了，很多应用就能用。

4.2 可视化对比：ISTA vs LISTA

光看数字不够直观，我习惯画三张图：原始信号、ISTA 重建、LISTA 重建。代码里用 matplotlib：

import matplotlib.pyplot as plt def plot_comparison(x_true, x_ista, x_lista, idx=0): fig, axes = plt.subplots(3, 1, figsize=(10, 6), sharex=True) axes[0].stem(x_true[idx].cpu().numpy(), label='Original') axes[0].set_ylabel('Amplitude') axes[0].legend() axes[1].stem(x_ista[idx].cpu().numpy(), label='ISTA') axes[1].set_ylabel('Amplitude') axes[1].legend() axes[2].stem(x_lista[idx].cpu().numpy(), label='LISTA') axes[2].set_ylabel('Amplitude') axes[2].legend() plt.tight_layout() plt.savefig('reconstruction_comparison.png', dpi=150)

stem画离散信号比plot更合适，能看清每个采样点。sharex=True让三张图对齐横轴，方便对比。我一般会挑一个 ISTA 重建效果一般的样本来看，这样 LISTA 的优势更明显。

4.3 推理速度实测方法

速度对比要控制变量：同一个信号、同一个设备、预热几次再计时。代码里用time.perf_counter()：

import time def benchmark(model, y, n_runs=100): # 预热，避免首次运行的额外开销 for _ in range(10): _ = model(y) torch.cuda.synchronize() if y.is_cuda else None start = time.perf_counter() for _ in range(n_runs): _ = model(y) torch.cuda.synchronize() if y.is_cuda else None end = time.perf_counter() return (end - start) / n_runs * 1000 # 毫秒

torch.cuda.synchronize()在 GPU 上必须加，否则计时的是 kernel 启动时间而不是实际计算时间。预热 10 次是为了让 cuDNN 选好算法。我实测过，512 点信号、16 层 LISTA，GPU 上单次推理 0.8ms 左右，CPU 上 3ms 左右，比 OMP 的 40ms 快很多。

5. 避坑指南：LISTA 训练中五个血泪教训

5.1 现象：loss 降到 0.1 就不动了，重建全是零

原因：软阈值初始值设太大。如果 theta_init 设成 0.5 甚至 1.0，第一层输出就被阈值砍成零，梯度传不回去，网络直接摆烂。

解决：theta_init 设 0.01~0.05，让初始阶段网络能输出非零值。或者用 warmup 策略，前 10 轮把 theta 固定在小值，之后再放开学习。

5.2 现象：训练 loss 正常，但测试 NMSE 比 ISTA 还差

原因：过拟合。LISTA 参数量是 $K \times (MN + N^2)$，K=16、M=128、N=512 时约 500 万参数，小数据集上很容易过拟合。

解决：三个手段——减小 K（10 层往往够）、加 weight decay（1e-5）、训练集至少 10000 个样本。如果数据实在少，可以冻结部分层的 W_t，只训练 W_e 和阈值。

5.3 现象：换一组观测矩阵，重建效果崩了

原因：训练时观测矩阵固定，网络学到了针对这个特定 $\Phi$ 的权重。换 $\Phi$ 相当于换了任务。

解决：如果应用场景中 $\Phi$ 会变，训练时要随机化——每个 batch 重新生成 $\Phi$，让网络学会泛化。代价是收敛慢一些，但鲁棒性大幅提升。

5.4 现象：GPU 显存爆了，batch_size 降到 1 还是爆

原因：LISTA 的中间激活值没释放。K 层展开意味着前向传播要存 K 份中间结果用于反向传播，显存占用是普通网络的 K 倍。

解决：用梯度检查点（torch.utils.checkpoint），用时间换显存。或者减小 K，16 层改成 8 层，效果降一点但显存减半。

5.5 现象：训练集上完美，换稀疏度就废

原因：训练时稀疏度固定，网络只见过这一种稀疏模式。

解决：训练时随机化稀疏度，比如在 5%~15% 之间均匀采样。代码里改generate_sparse_signal的 sparsity 参数为随机值即可。这样训练出的模型对稀疏度变化更鲁棒。

6. 进阶技巧：把 LISTA 推到实用边界的三个手段

6.1 用展开层数换质量：K 怎么选

K 不是越大越好。我做过一组对比实验，512 点信号、压缩比 0.25：

K 从 8 到 16，NMSE 降了一半多；从 16 到 24，只降了 7%。边际收益递减很明显。我一般选 12~16，在质量和速度之间取平衡。如果应用对延迟极敏感，K=8 也能用，NMSE 0.008 在很多场景下够了。

6.2 观测矩阵不理想时的补救：可学习观测

标准压缩感知用随机高斯矩阵，但实际硬件可能限制观测矩阵的形式（比如只能做部分傅里叶观测）。这时候可以把观测矩阵也变成可学习的，但加约束保持物理可实现性。代码里可以这样改：

class LearnableObservation(nn.Module): def __init__(self, M, N, init_Phi): super().__init__() self.Phi = nn.Parameter(init_Phi.clone()) self.M, self.N = M, N def forward(self, x): # 列归一化约束，防止退化解 Phi_norm = self.Phi / (self.Phi.norm(dim=0, keepdim=True) + 1e-8) return x @ Phi_norm.T

关键是列归一化那行——不加约束的话，网络会把 $\Phi$ 学成全零矩阵，观测全零，重建也全零，loss 反而很小，这是典型的退化解。加了列归一化，每个观测原子能量固定，网络只能调整方向。

6.3 从仿真到实测：域偏移怎么处理

仿真训练好的 LISTA，换到实测数据上往往掉点。原因是仿真信号和实测信号的稀疏结构、噪声分布不一样。我的习惯是：先用仿真数据预训练，再用少量实测数据微调。微调时只训练最后几层和阈值，前面的层冻结，学习率降到 1e-4。这样既保留了仿真学到的通用特征，又适配了实测数据的特性。

从那以后我每次做 LISTA 落地，都强制走一遍「仿真预训练 → 实测微调 → 指标验证」的流程，不再指望仿真模型直接上实测。希望帮到你。

本文还有配套的精品资源，点击获取