open_clip 如何用 :: 组合多个 webdataset 数据源并用 --train-data-upsampling-factors 调整采样权重【免费下载链接】open_clipAn open source implementation of CLIP.项目地址: https://gitcode.com/GitHub_Trending/op/open_clip当你用 open_clip 训练 CLIP 时训练数据通常分散在多个 webdataset 分片目录里例如 CC12M 一套.tar、LAION 另一套.tar。open_clip 的训练入口支持用::把这些数据源写进同一个--train-data参数里混合训练并用--train-data-upsampling-factors控制每个数据源被采样的相对权重——比如让小数据集在训练中出现的频率不被大数据集淹没。这篇文章覆盖数据格式要求、多数据源命令写法、权重参数的取值规则以及如何用仓库自带测试验证采样分布是否符合预期。准备条件webdataset 分片与训练依赖open_clip 支持 CSV 和 webdataset 两种训练数据格式README 明确建议大规模数据集使用 webdataset数据是一系列.tar分片文件每个训练样本在分片内对应两个同名、不同扩展名的文件一个图像、一个文本例如shard_001.tar里同时包含abc.jpg和abc.txt。开始前需要安装带训练依赖的包README 给出的方式python3 -m venv .env source .env/bin/activate pip install -U pip pip install open_clip_torch[training]另外注意--train-num-samples参数定义为 Number of samples in dataset. Required for webdataset if not available in info file.见 src/open_clip_train/params.py。如果你的分片目录没有附带数据集长度信息info file就必须通过该参数显式告诉训练进程样本总数否则会报错。用 :: 组合多个数据源--train-data的帮助文本写明使用 webdataset 时多个数据源可以用::分隔符组合。README 中的示例是把 CC12M 和 LAION-400M 放在一起训练--train-data /data/cc12m/cc12m-train-{0000..2175}.tar::/data/LAION-400M/{00000..41455}.tar这里::前后的两部分各是一个 webdataset 分片路径支持{0000..2175}这种 brace 展开。::有几段就表示几个数据源——后面配置 upsampling factors 时权重数量必须与数据源数量一致。README 同时给出建议多数据源场景下推荐使用--dataset-resampled即 shard 级别的有放回采样。这个参数在下一节会看到还是使用权重功能的硬性前提。用 --train-data-upsampling-factors 调整采样权重--train-data-upsampling-factors的参数定义在 src/open_clip_train/params.py 中取值是一个字符串与--train-data相同格式用::分隔数字个数必须等于数据源个数例如1::2::0.5帮助文本说明默认情况下 datapoints 的采样与数据集大小无关均匀采样该参数用于在多个数据源中上采样特定来源README 给出的取值规则--train-data-upsampling-factors1::1与不使用该参数等价--train-data-upsampling-factors1::2相当于把第二个数据源上采样两倍若希望各数据源被采样的频率相同权重应与数据源大小成反比。README 的例子数据集A有 1000 条、数据集B有 100 条时可用--train-data-upsampling-factors0.001::0.01或等价的--train-data-upsampling-factors1::10。默认行为方面README 的表述是不设权重时模型预期看到各来源样本的次数与该来源的大小成正比例如 400M 与 10M 两个来源前者样本被看到的概率约为后者的 40 倍。这与参数帮助文本均匀采样、与数据集大小无关的措辞描述的是同一默认行为的不同侧面样本层面均匀抽样来源层面表现为按大小比例出现。前提必须搭配 --dataset-resampled在 src/open_clip_train/data.py 中webdataset 训练管道对权重参数有一条断言--train_data_upsampling_factors is only supported when sampling with replacement (with --dataset-resampled).也就是说只加--train-data-upsampling-factors而漏加--dataset-resampled时训练启动阶段会直接抛出该断言错误。同时该检查只在训练数据上生效is_train分支验证集路径不支持权重参数。完整的启动命令示例下面把 README 单节点torchrun示例、多数据源写法和权重参数组合成一条命令。其中/data/cc12m/...与/data/LAION-400M/...是 README 原文中的示例路径请替换为你自己的 webdataset 分片目录--train-num-samples填你合并后所有数据源的总样本数无 info file 时必填cd open_clip/src torchrun --nproc_per_node 4 -m open_clip_train.main \ --train-data /data/cc12m/cc12m-train-{0000..2175}.tar::/data/LAION-400M/{00000..41455}.tar \ --train-num-samples 4110968539 \ --dataset-type webdataset \ --dataset-resampled \ --train-data-upsampling-factors1::2 \ --batch-size 320 \ --precision amp \ --workers 4 \ --imagenet-val /data/imagenet/validation/命令中各关键项的作用--train-data::分隔的两个 webdataset 数据源本例为 CC12M LAION-400MREADME 示例路径--dataset-type webdataset显式指定数据类型取值为webdataset、csv、synthetic等之一--dataset-resampledshard 有放回采样多数据源场景的推荐项也是权重参数的前提--train-data-upsampling-factors1::2第二个数据源LAION-400M上采样两倍--imagenet-valImageNet 验证集路径用于训练中的 zero-shot 评估不需要该评估时可去掉。验证用仓库测试检查采样分布仓库自带了针对这套机制的测试 tests/test_wds.py其中test_two_sources_with_upsampling正是验证两个数据源 1::2权重时各来源的采样计数是否与权重成正比用pytest.approx断言各文本样本的计数。该测试会用build_inputs现场构造 tar 分片不需要额外数据文件。安装测试依赖后运行README 给出的测试方式make install-test python -m pytest -x -s -v tests/test_wds.py如果你只想复跑单进程训练流程冒烟验证README 也给出了通用做法python -m pytest -x -s -v tests -k training可按关键字筛选训练相关测试。限制与注意权重参数仅在 webdataset 训练集 --dataset-resampled三者同时成立时可用缺少--dataset-resampled会在启动时触发断言错误报错文本即上文引用的 only supported when sampling with replacement权重数字个数必须与--train-data中::分出的数据源个数一致帮助文本要求 as many numbers as there are data sources--train-num-samples在分片没有 info file 时是必填项缺失时训练会因无法确定数据集大小而报错src/open_clip_train/data.py 中提示通过该参数指定权重只影响训练采样README 与参数定义都没有说明验证集路径支持--train-data-upsampling-factors因此不要把它加到验证数据相关参数上。【免费下载链接】open_clipAn open source implementation of CLIP.项目地址: https://gitcode.com/GitHub_Trending/op/open_clip创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考