本文带你用 5 个步骤，把在 ImageNet-1k 上预训练的convformer_s18.sail_in1k图像分类模型 Fine-tune（微调）到自己的自定义数据集上。作为 timm（PyTorch Image Models）中的 ConvFormer 轻量模型，它参数量仅 26.8M，一张消费级显卡就能完成微调，是新手上手迁移学习的理想起点。

🧭 模型速览：convformer_s18.sail_in1k 是什么？

convformer_s18.sail_in1k 属于MetaFormer家族（由 SAIL 团队提出），由论文作者在ImageNet-1k（1000 类）上训练，可通过timm一行代码创建：

import timm model = timm.create_model('convformer_s18.sail_in1k', pretrained=True)

模型架构与训练配置可以在 README.md 和 config.json 中查到，其中config.json还给出了推理时的关键参数：

• 输入：[3, 224, 224]，双三次（bicubic）插值
• 归一化：mean=[0.485, 0.456, 0.406]，std=[0.229, 0.224, 0.225]（标准 ImageNet 归一化）
• 分类头位置：head.fc.fc2，全局池化尺寸7×7

💡 这些预训练配置正是 Fine-tune 时数据增广和归一化应当遵循的"基准"，后文会用到。

📦 第一步：环境准备与权重获取

安装timm及相关依赖：

pip install torch torchvision timm

如果需要通过本地仓库文件加载权重，先克隆模型仓库（权重文件约 107 MB，通过 Git LFS 管理）：

git clone https://gitcode.com/hf_mirrors/timm/convformer_s18.sail_in1k

仓库中可用的文件：

📌 如果直接用pretrained=True创建模型，timm 会自动从官方源下载权重，无需手动克隆。

🗂️ 第二步：组织自定义图像数据集

timm 和 torchvision 都使用ImageFolder结构，约定如下：

dataset/ ├── train/ │ ├── cat/ # 每个子文件夹 = 一个类别 │ ├── dog/ │ └── fish/ └── val/ ├── cat/ ├── dog/ └── fish/

数据量与训练策略对照：

🔧 第三步：替换分类头并加载预训练权重

Fine-tune 的核心思路：保留 ImageNet 上学到的特征提取能力，只把 1000 类的分类头换成你的类别数。

import timm NUM_CLASSES = 3 # 你的数据集类别数 model = timm.create_model( 'convformer_s18.sail_in1k', pretrained=True, # 自动加载 ImageNet-1k 预训练权重 num_classes=NUM_CLASSES, # 替换最后的线性分类层 )

如果要从本地仓库文件加载权重（如 pytorch_model.bin）：

import torch import timm.models.convformer checkpoint = torch.load('pytorch_model.bin', map_location='cpu') timm.models.convformer.load_checkpoint(model, checkpoint) # timm 会自动跳过与 num_classes 不匹配的分类头权重

数据变换直接复用模型推荐配置（自动套用 224 输入、ImageNet 归一化、训练时随机裁剪增强）：

data_config = timm.data.resolve_model_data_config(model) train_transform = timm.data.create_transform(**data_config, is_training=True) val_transform = timm.data.create_transform(**data_config, is_training=False)

🏋️ 第四步：最小可运行微调训练循环

import torch from torchvision import datasets from torch.utils.data import DataLoader device = 'cuda' model = timm.create_model('convformer_s18.sail_in1k', pretrained=True, num_classes=NUM_CLASSES).to(device) data_config = timm.data.resolve_model_data_config(model) train_ds = datasets.ImageFolder('dataset/train', transform=timm.data.create_transform(**data_config, is_training=True)) val_ds = datasets.ImageFolder('dataset/val', transform=timm.data.create_transform(**data_config, is_training=False)) train_loader = DataLoader(train_ds, batch_size=32, shuffle=True, num_workers=4) val_loader = DataLoader(val_ds, batch_size=64, shuffle=False, num_workers=4) optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=4e-5) criterion = torch.nn.CrossEntropyLoss() best_acc = 0.0 for epoch in range(20): model.train() for x, y in train_loader: x, y = x.to(device), y.to(device) optimizer.zero_grad() loss = criterion(model(x), y) loss.backward() optimizer.step() # 验证并保存最佳权重 model.eval() correct = total = 0 with torch.no_grad(): for x, y in val_loader: x, y = x.to(device), y.to(device) correct += (model(x).argmax(1) == y).sum().item() total += y.size(0) acc = correct / total if acc > best_acc: best_acc = acc torch.save(model.state_dict(), 'best_convformer.pth') print(f'Epoch {epoch+1} | val_acc: {acc:.4f} | best: {best_acc:.4f}')

⚙️ 第五步：调参技巧，把准确率再提一档

1. 分层学习率：backbone 已经学好通用特征，给小学习率（如1e-5），分类头给大学习率（如1e-3）：

   params = [ {'params': model.stem.parameters(), 'lr': 1e-5}, {'params': model.blocks.parameters(), 'lr': 1e-5}, {'params': model.head.parameters(), 'lr': 1e-3}, ] optimizer = torch.optim.AdamW(params, weight_decay=4e-5)

2. 学习率调度：warmup 2~5 个 epoch + cosine 衰减，几乎不会出错。

3. 小数据集先冻结：数据很少时，冻结 backbone 只训 head，1 个 epoch 左右往往就收敛，还能避免过拟合。

4. 别改坏预处理：保持 224×224 输入和 ImageNet 归一化（config.json中pretrained_cfg的值），随意更换归一化参数会直接拉低精度。

5. 训练后提取特征：微调好的 backbone 还能用作特征提取器（features_only=True）或向量生成器（num_classes=0），用法见 README.md 中的 Feature Map Extraction 与 Image Embeddings 章节。

❓ 常见问题排查

✅ 总结

Fine-tune convformer_s18.sail_in1k 到自定义数据集的完整路径已经走通：准备 ImageFolder 数据集 →num_classes换头 → 复用 timm 数据配置 → 小学习率训练 → 验证保存。26.8M 的参数量意味着这套流程在单卡甚至 Colab 免费额度上都能流畅跑完。微调完成后，你还可以继续用它的 feature backbone 做检索、分割等下游任务——这正是 MetaFormer 轻量模型的长尾价值所在。