SAR图像里的建筑物检测，做过的人都知道有多头疼。光学图像上清清楚楚的楼顶轮廓，到了SAR影像里就变成一堆亮斑、叠掩和阴影的混合体，背景噪声大得离谱，直接套用常规的目标检测模型，漏检率和虚警率能让你怀疑人生。这个项目做的就是这件事：用YOLOv8做底座，针对SAR图像特性改造出旋转目标检测能力，最终落地到实际推理部署。我尽量把整个折腾过程里踩过的坑、试错的经验和最终可行的方案都摊开讲清楚，给准备碰这个方向的朋友一个参考。
1. 项目整体思路：为什么是YOLOv8，为什么要做旋转检测
1.1 SAR图像建筑物检测的特殊性
先把背景说透。SAR是合成孔径雷达，主动发射微波脉冲并接收地面反射回波来成像。这种成像方式和光学完全不同，带来几个直接影响检测结果的特性：
第一，相干斑噪声很重。SAR图像天然带有颗粒状的斑点噪声，同一片均匀区域里像素值也会剧烈抖动，这对特征提取极不友好。第二，建筑物在SAR图像上呈现的不是“轮廓”，而是“角反射器效应”——墙壁和地面形成二面角反射，会出现特别亮的点或线，加上叠掩（layover）效应，高楼顶部会“倒”向雷达一侧，看起来像建筑物朝着雷达方向倾倒了一样。第三，阴影区非常暗，和建筑物本体连在一起，边界区分困难。
这意味着什么？直接用Imagenet上预训练的光学模型权重来初始化和训练，特征是错位的。模型学到的“楼顶纹理”、“窗户结构”这些视觉特征，在SAR图像里根本不存在，需要重新适应完全不同的特征分布。
1.2 旋转目标检测的必要性
普通目标检测输出的是水平矩形框（HBB），用四个值描述：中心点坐标、宽、高。但SAR图像里的建筑物受成像几何影响，呈现明显的方向性分布，用水平框去框一个斜着的建筑物，会带入大量背景区域。当建筑物密集分布时，水平框之间严重重叠，后续的非极大值抑制（NMS）会误删正确结果。
另一个问题是精度评估失真。标注的时候建筑物是斜的，水平框的IoU计算本身就存在天然误差，框得不准，模型训练时的正负样本分配也跟着乱。旋转框（OBB）则输出带角度信息的五参数表示：中心点坐标、宽、高、角度，能够精准贴合建筑物的实际形态。
1.3 YOLOv8作为基座的考量
选YOLOv8做基座有实际原因。一是它的C2f结构和Anchor-Free设计在检测精度和速度上取得了一个比较好的平衡，二是Ultralytics框架的工程化程度高，数据加载、训练流程、导出部署一条龙都齐全，省去大量重复造轮子的时间。三是做旋转目标检测改造时，YOLOv8的解耦头结构比较清晰，修改起来容易下手。
因为标题里写了“基于CNN”，这里多提一句：YOLOv8本身就是纯CNN架构。虽然Transformer在视觉领域很火，但SAR图像数据量普遍不大，CNN的归纳偏置（局部性、平移等变性）在中小规模数据上依然有明显优势，这也是这个方案没有选择DINO、RT-DETR之类模型的原因。
2. 旋转检测头的改造：从HBB到OBB的核心变化
2.1 输出张量结构的变化
原始YOLOv8的检测头中，每个anchor位置会输出一个向量，内容是（x, y, w, h, class_scores），其中x、y、w、h是水平框的参数。改造为旋转框检测后，检测头输出的张量结构需要重新设计，每个位置输出的特征向量变成：((x, y, w, h, \theta, class_scores))。
就是多了角度这一项。但θ的表示方式需要仔细设计。工程上最常用的是OpenCV定义方式，角度范围在([-90^\circ, 0^\circ))，以x轴顺时针方向为正，这种表示在polygon转旋转矩形时很方便。而从数据标注转换过来的角度范围可能不一致，需要统一处理。
实践过程中发现一个关键问题：直接用回归头预测角度值，训练非常不稳定。因为角度的周期性（比如-90°和89°实际非常接近，但数值差距巨大），损失函数会出现剧烈的跳变。不同研究中给出的方案各异，我最终采用的是将角度预测转化为分类任务的做法：将180度的角度范围量化为180个类别（每个类别对应1度的间隔差），由分类头输出角度所属的类别。
2.2 角度分类与回归的取舍
之所以最终选了角度分类，是因为踩过回归的坑。最初我用的是带周期损失的回归方式，希望模型直接预测连续角度值，但训练时发现损失在角度经过边界时会产生异常跳动，比如真实角度是-90度，预测角度是89度，数值上差179度，但几何上其实只差1度。即便用了sin/cos变换来处理周期性，训练前期仍不太容易收敛。
改用角度分类后，边界被离散化，模型只需要判断角度落在哪个区间里，收敛速度明显加快。代价是角度精度硬上限就是1度（类别粒度为1时），但对SAR建筑物检测来说，1度的精度误差完全不影响实际应用。
分类分支输出的结果是180个类别的概率分布，取最大概率类别索引乘以角度粒度就得到预测角。后处理时再配合置信度阈值过滤低质量预测框。
2.3 损失函数的调整
旋转检测的损失函数设计要更细致。原始YOLOv8中，回归损失一般用CIoU或DFL（Distribution Focal Loss）。但CIoU是针对水平框设计的，不能直接用在旋转框上。项目里采用了这样的组合方案：
- 分类损失：继续用BCE（Binary Cross Entropy），多标签分类形式。
- 角度损失：用交叉熵，对角度分类分支计算。
- 框回归损失：用旋转IoU损失。不过旋转IoU计算涉及多边形求交，不可导部分需要特殊处理。简化方案是直接用边长损失的L1形式（w和h分别计算Smooth L1损失），配合角度分类损失一起优化。
经过多轮实验对比，用“边长L1 + 角度交叉熵”的组合方式，比强行引入可导的旋转IoU更容易稳定收敛。代码示例如下：
def rotated_loss(pred_boxes, target_boxes, pred_angle_logits, target_angles, lambda_angle=0.5): # pred_boxes: (N, 4) -> cx, cy, w, h (归一化坐标) # target_boxes: (N, 4) # pred_angle_logits: (N, 180) # target_angles: (N,) -> 0~179 的类别索引 # 边长回归损失 wh_loss = F.smooth_l1_loss(pred_boxes[:, 2:], target_boxes[:, 2:], reduction='mean') # 中心点损失 xy_loss = F.smooth_l1_loss(pred_boxes[:, :2], target_boxes[:, :2], reduction='mean') # 角度分类损失 angle_loss = F.cross_entropy(pred_angle_logits, target_angles) return xy_loss + wh_loss + lambda_angle * angle_loss这里还有一个细节：角度分类在训练初期会经历一个“从混乱到有序”的过程，刚开始分类准确率很低，如果角度损失的权重设得过大，会拖慢其他分支的学习进度。实际调参时把lambda_angle从0.3起步，随着训练轮次逐步增加到0.6左右，整体收敛更平稳。
3. SAR图像数据准备与预处理
3.1 数据标注格式与转换
旋转框标注目前多数标注工具（如LabelImg的旋转框模式、X-AnyLabeling、Roboflow等）都支持。但导出的格式五花八门，有四个角点坐标的（x1,y1,x2,y2,x3,y3,x4,y4），有中心点加宽高加角度的（cx,cy,w,h,angle），有直接用旋转矩形的四个顶点描述。
我在项目中统一转成DOTA数据集的格式，然后写脚本转为YOLO的OBB格式。YOLO的OBB格式是归一化的四个角点坐标：(x1, y1, x2, y2, x3, y3, x4, y4)，全部归一化到0-1区间。
转换时最容易出错的是角点的排序一致性。旋转矩形的四个顶点如果排列顺序不对，后续计算IoU就会出问题。统一按顺时针排列，从左上角附近那个点开始，这个约定在转换脚本里写清楚，避免排查很久浪费时间。
3.2 数据增强策略的针对性调整
通用的数据增强（随机裁剪、翻转、色彩抖动）在SAR图像上需要调整。SAR图像是单通道灰度图，颜色抖动基本没用。更关键的是，水平翻转和垂直翻转会改变建筑物与雷达照射方向的角度关系，标注的角度信息需要同步做变换，否则标注就错了。
操作上，我保留了随机缩放、随机平移、随机旋转（配合标签一起旋转）和光度噪声（模拟相干斑）。这里有个经验点：随机旋转的角度范围不要太大。SAR图像中建筑物的角度分布有物理规律，旋转增强太激进会让模型学到错误的先验。设成±30度内的随机旋转足够。
3.3 小样本问题的应对
SAR标注数据获取困难是公开的现实。几万张带精细旋转框标注的SAR建筑图像已经算大规模了，而光学检测里动辄几十万张的数据规模在这里不现实。
处理办法分三层：一是从同领域的公开SAR检测数据集上做预训练，先把模型权重训到收敛状态，再在自己的业务数据上微调，比直接用ImageNet预训练效果好很多，因为特征分布更接近；二是强数据增强撑住训练；三是用伪标注辅助，拿训练好的初步模型对无标注SAR图像做预测，挑选高置信度的结果加入训练集，但伪标注样本量控制在总训练集20%以内，否则错误标注会被放大。
4. 模型训练与调参关键踩坑记录
4.1 训练过程的主要参数配置
实际采用的配置供参考。图像输入尺寸640x640，批量大小16（单卡），优化器选用带动量的SGD，初始学习率0.01，使用余弦退火调度器逐步降到0.0001。总共训练200轮，前20轮用warmup（从0.001线性升到0.01），因为角度分类分支的交叉熵损失在初期比较大，warmup能稳住整体梯度的量级。
骨干网络部分冻结了前两个Stage的权重（backbone的前几层），只训练后面的部分和解耦头，训练显存占用能降30%左右，速度上也能提高不少。等主干适应了SAR特征分布之后，再解冻全部权重做精细微调。
4.2 正样本分配策略的注意事项
YOLOv8自带的动态标签分配策略（TaskAlignedAssigner）在水平框检测中效果不错，但在旋转框场景下需要修改。原始的样本分配策略计算分类得分和IoU的加权分数来选择正样本，而旋转框的IoU计算方式不同，直接套用会出现分配偏差。
改造思路是：分类得分部分保持不变，但IoU计算替换成旋转框IoU，同时增加一个角度阈值判断。如果某个候选anchor预测的角度和真实标注角度差距大于30度，就不再将其视为正样本。这个角度约束过滤掉了大量方向错误的正样本负向传播，收敛速度改善明显。
4.3 评估指标的计算方式
旋转检测的mAP计算跟水平检测不太一样。标准COCO mAP的计算方式是算预测框和真实框的IoU，但这里用的旋转IoU。在评测时，我同时关注两个层面的数字：一是整体mAP，二是按角度误差分层的mAP（比如角度误差小于5度的预测框算“精确命中”）。
实际效果大概是这样（基于某模拟项目数据的实测结果）：
- 水平框YOLOv8基线：mAP50约61.2%
- 旋转框YOLOv8（角度分类头）：mAP50约74.8%
- 旋转框在角度误差小于5度范围内的精确命中率：约82%
旋转检测相对水平检测的提升不是小数目，原因是大量拥挤场景下，水平框产生的冗余预测和错误抑制得到了有效解决。
5. 部署落地：从PyTorch到生产环境推理
5.1 模型导出流程与算子适配
训练完成后，部署阶段的标准路径是：PyTorch模型转ONNX，再从ONNX转TensorRT或OpenVINO。这个流程在旋转检测场景会遇到一些特殊情况。
YOLOv8的多数算子都能顺利导出ONNX，但角度分类头如果用了一些自定义的取整操作（torch.round）或循环，导出时会有兼容性问题。处理好之后，转ONNX的操作如下：
import torch from ultralytics import YOLO model = YOLO("best_rotated.pt") # 导出为ONNX，opset版本与部署环境匹配 model.export(format="onnx", opset=13, simplify=True, dynamic=False)导出后需要用ONNXRuntime验证一遍输出，确保和PyTorch输出的结果在数值上一致。常见的问题是某些算子被简化后行为有细微差异，尤其是涉及到角度相关的三角函数计算时，需要比对精度差异。
5.2 TensorRT加速的关键配置
在推理设备上，TensorRT的优化效果最直观。转TensorRT时有几个实用配置项：FP16精度、动态shape（如果需要多分辨率输入）、工作空间大小限制。FP16精度在检测场景基本安全，角度分类分支的输出精度损失很小，实测下来mAP下降不超过0.3%，但推理速度提升接近一倍。
如果推理设备是NVIDIA Jetson系列，部署时有一个直观的对比数据供参考：640x640输入，在Jetson Orin Nano上，纯PyTorch推理大约55ms/帧，TensorRT FP16优化后大约18ms/帧。这个差距在实时性要求高的场景里起到决定性作用。
5.3 后处理NMS的改造
部署时的后处理和训练时不太一样。预测结束后，每个anchor位置会得到旋转框参数（中心点坐标、宽、高、角度类别）和类别得分。先过滤掉置信度低于阈值的框，再做旋转框NMS。
旋转框NMS不能直接用目标检测框架里现成的水平框NMS模块，需要针对多边形IoU做处理。在量化计算时有个技巧：把旋转框转成四个角点，然后用Shoelace公式算多边形面积和交集面积。不过部署环境下考虑到性能开销，我采用的是基于中心点距离和角度差异的近似NMS：
- 先计算两个框中心点欧氏距离
- 再比较角度差值
- 中心距离小于阈值且角度差值小于阈值时，保留高置信度的那个框
实测下来，这个近似方法在精度上只比准确旋转IoU-NMS差不到1个百分点，但推理速度快了约25%。对于生产环境来说，这点精度损失换来的速度收益是完全划算的。
5.4 推理接口设计要点
部署不仅是模型推理，还有前后处理的工程化。一个生产可用的推理接口应包含的步骤：
- 图像读取与预处理（灰度转换、归一化、缩放到640x640）
- 模型推理（TensorRT引擎）
- 输出解析（解码旋转框参数、角度类别转角度值）
- 后处理NMS
- 结果格式化输出（JSON输出框坐标、角度、置信度）
接口性能调优时要注意瓶颈往往在预处理和后处理，而不在模型推理。SAR图像通常较大（几千乘几千像素），整图缩放耗时高，实际部署采用滑窗推理（裁剪成640x640的块，重叠率20%），然后再把各窗口的检测结果合并到大图的坐标系下。滑窗的边界处理有讲究：处在窗口边缘的检测目标容易被截断，需要在合并阶段对跨窗口的重复检测做额外的NMS合并。
6. 常见问题排查与技巧实录
6.1 训练不收敛：先查数据再查模型
遇到过的情况是训练初期损失就异常大，一直降不下来。排查后发现是角度标注范围不一致：部分标注文件中角度范围在0到180度之间，另一部分在-90到90度之间，预处理时没做统一转换，导致同一朝向的建筑物在一半样本中标注为正值，另一半为负值，模型学到的角度分布完全错乱。
这类问题的排查建议：训练前先统计标注数据中角度的直方图分布，如果分布出现多个离散峰值且不符合物理规律（比如所有建筑物都集中在一个朝向），大概率是标注不统一。
6.2 角度分类头输出漂移
训练过程中监控角度分类的准确率，发现在某个训练阶段分类准确率突然下降，同时损失有一个尖刺。根因是学习率调度器中余弦退火出现了低学习率段，模型暴力收敛到了一个错误局部最优，对角度分类头的特殊敏感度不够好。解决方式是给角度分类头单独设置一个较小的学习率倍数（约为主干和回归头的0.3倍），或者在该阶段使用标签平滑来提升分类分支的鲁棒性。
6.3 部署后精度和训练时有出入
模型导出到TensorRT后精度掉了不少，有时不是模型问题，而是预处理参数的不一致。训练时的归一化参数和部署时的预处理代码没对齐，比如像素除以归一化系数的值不同。这个坑很低级但排查非常耗时，解决思路是最开始在预处理部分统一封装成函数，训练和部署共用同一套代码，别在部署环境里重新写一遍。
6.4 旋转框在图像边界的情况
图像边缘的建筑物，旋转框的一部分会超出图像范围。训练时如果对超界情况不处理，模型会学习到残缺的框特征。解决方式是在数据加载时设置一个max_target_skip的逻辑：超出边界的部分超过一定比例时，直接跳过该标注，不参与训练。部署推理时则保留完整预测框，因为在滑窗合并阶段需要完整的框来进行跨窗口NMS。
| 问题现象 | 排查方向 | 解决方案 |
|---|---|---|
| 损失不收敛 | 标注角度范围不统一 | 统一角度表示并检查分布直方图 |
| 角度分类准确率骤降 | 学习率对分类头不友好 | 分类头单独设置低学习率或标签平滑 |
| 推理精度明显低于训练 | 训练与部署预处理不一致 | 统一封装预处理函数 |
| 边缘目标检测不准 | 边界标注未处理 | 数据加载时跳过超界目标 |
| NMS结果混乱 | 旋转框IoU计算不准 | 统一角点排列顺序，或使用近似NMS |
7. 一点个人体会
这个折腾一轮下来的核心感受是：SAR图像旋转目标检测的技术难点不是网络结构本身，而是数据特性的把握和工程细节的处理。YOLOv8的结构改造并不复杂，多一个分支、换一个损失函数、调一个后处理，真正麻烦的地方在于让模型适应SAR图像的色彩和纹理分布，以及让旋转框的各个处理环节保持逻辑自洽。
角度分类替代角度回归这个选择，算是我在整个项目里做得比较正确的一个决定。虽然角度精度上限被锁定在1度，但对于建筑物检测场景来说完全够用，换来的是训练稳定性的巨大提升。如果后面想要更高的角度精度，可以考虑将角度类别粒度缩小到0.5度，或者把角度分类和角度回归结合起来做残差回归修正，这些方向都值得继续深入。
另外有一个提升工程效率的体会：数据集和预处理代码一定要做成标准化模块，从标注转换、统计分析、数据增强到评估计算，全部封装好。SAR数据处理本来就费时费力，如果每次实验都重新写一遍数据处理的代码，时间成本会成倍增加。把这个流程固化下来之后，后续做其他旋转目标类型（车辆、船舰）的检测时，只需要换数据和调参数，整个流程是完全可以复用的。
