OE:Operation and Engineering
多相机 RGB 无标记(Markerless)动捕公开数据集汇总(全部可下载、带标定 + 同步多视角 RGB)
适合你这套多目 RGB 无标记动捕、三角测量、SMPL 拟合、机器人技能迁移项目做算法验证、模型训练、精度评估。
共同特征:多台同步标定 RGB 相机 + 多视角视频 + 3D 真值(标记动捕 / 多目重建标注)+ 相机内外参标定文件
1. Human3.6M(最经典、用得最多,首选基准)
- 配置:4 台同步 50Hz RGB 相机,室内单人,11 位受试者,15 类日常动作(行走、打电话、坐下、交谈等),360 万帧vision.ima…
- 真值:Vicon 标记动捕 3D 关节真值、激光人体扫描模型
- 特点:场景简单、背景干净,非常适合验证三角测量、MMPose/HRNet/ViTPose、SMPLify;缺点只有单人、遮挡偏少
- 获取:注册协议后下载
- 适用:基线对比、单人数值评估(MPJPE)
2. CMU Panoptic Dataset(超多视角、多人交互,强烈推荐)
- 配置:480 路 VGA + 26 路 HD 同步 RGB 相机,硬件同步、完整标定,穹顶采集空间,多人社交交互、握手、交谈、群体动作CMU Panopt…
- 真值:COCO 格式 3D 人体关键点、人脸、手部标注
- 特点:多人、大量自遮挡 / 互遮挡,和你方案里【遮挡痛点】完美匹配;非常适合做多视角关联、跨人区分算法测试
- 获取:官网工具包下载,配套 PanopticStudio 可视化
- 适用:多人动捕、遮挡鲁棒性验证
3. TotalCapture(8 台 HD,60Hz,高帧率技能动作)
- 配置:8 台标定 HD RGB 相机,60Hz,5 名受试者,动作包含 ROM 关节活动度、行走、表演、自由动作、跑跳;附带 IMU 和 Vicon 真值arXiv
- 特点:帧率高、动作幅度大,很贴近机器人技能迁移、操作动作;同步质量高,适合测试高速运动下的同步 + 三角测量
- 协议:CC BY 4.0,科研免费
- 适用:高速动作、高帧率链路验证、IMU + 视觉融合
4. MPI-INF-3DHP(室内 + 野外、绿幕 + 自然场景)
- 配置:14 台同步 RGB 相机,8 个受试者,室内绿幕 + 户外真实场景,动作丰富,包含很多自遮挡姿态
- 真值:多目无标记重建得到的 3D 关节标注
- 特点:同时有受控室内和野外光照干扰样本,适合测试光照变化、复杂背景对检测的影响
- 注意:测试集很多是单视角,训练集才是完整多视角序列
5. TNT15(8 路 RGB+IMU,办公室普通环境)
- 配置:8 台同步 RGB 工业相机 + 10 个 IMU,普通办公室环境,不是绿幕,贴近工业现场背景Institut f…
- 适合:和你项目【工业现场、复杂环境、传感器融合】场景贴近,可用来验证非理想背景下的无标记重建
- 科研协议免费下载
6. Campus & Shelf(早期经典小数据集,轻量快速调试)
- Campus:3 台相机、多人行走交互;Shelf:4 台相机、货架遮挡场景
- 体量很小、下载快,适合快速调试三角测量、极线关联代码原型;缺点动作简单、数据量少
7. FreeMan(野外多手机多视角,真实非实验室场景)
- 8 台手机同步采集、40 个受试者、10 种不同光照野外场景,规模很大,光照、背景干扰强arXiv
- 适合评估算法从实验室向真实现场迁移能力;缺点相机内参精度不如工业相机
8. Harmony4D(近距离人体交互、重度遮挡)
- 20 + 同步相机,摔跤、格斗、贴身舞蹈等强接触、重度遮挡场景,附带 SMPL 网格标注arXiv
- 专门用来攻克你方案中自遮挡、互遮挡这个核心难点
国内公开数据集(国内访问友好)
东南大学多人无标记动捕数据集(国家基础学科公共科学数据中心)
- 11 路同步工业 RGB 相机、硬件同步,多人序列,分辨率 2048×1536,适合国内无标记多目方案对标,国内直链下载,不需要境外注册国家基础学…
选型建议(贴合机器人技能迁移方案)
- 算法基线、论文对比 → Human3.6M
- 多人、遮挡、鲁棒性测试 → CMU Panoptic / Harmony4D
- 高速操作动作、高帧率验证 → TotalCapture
- 贴近工业杂乱背景、光照干扰 → TNT15 / FreeMan
- 代码原型快速跑通、验证三角测量逻辑 → Campus+Shelf
重要提醒
- AMASS:只有 SMPL 运动参数(BVH / 姿态参数),没有 RGB 视频图像,不能做多目视觉重建,不要当成多视角视频数据集!
- 上面这些数据集,都可以直接喂给整套管线:多路 RGB → 2D 关键点 (MMPose) → 三角测量 → SMPL 拟合 → 动作重定向验证