去年年底，我所在的测试团队终于把那份熬了快一年的报告放了出来：RoboChallenge 首份年度报告，基于数万次真机评测。刚立项的时候，我们内部开玩笑说这是“给自己挖坑”，因为市面上已经有太多实验室跑分、仿真数据、宣传视频里的“完美演示”，真正愿意把同一台机器人放到不同场地、不同光照、不同负载下跑几千次、把失败案例也摊开讲的组织并不多。这份报告想做的，就是把这些零散的、容易被忽略的真实体验沉淀下来，给做机器人的开发者、做集成的工程人员、以及准备入手机器人的用户，一个能参考的“避坑手册”。
RoboChallenge 本身是个常年在做的真机评测项目，面向轮式、履带式、部分四足和机械臂开发平台。报告覆盖了市场上常见的十几个系列、近三十款机型，累计测试次数超过数万次。你可能觉得“数万次”听起来很夸张，其实拆开看并不吓人：一个基础动作测试场景，每个机型至少重复上百次，再加上不同负载、不同地面材质、不同光线环境的组合，量一下就上来了。真正难的不是攒次数，而是保证每次测试的条件能够被记录、被对照、被复现。
这篇内容我尽量把报告背后那些不方便写进正文的东西也翻出来，包括我们为什么要坚持真机测试、评测体系是怎么搭的、哪些机型是最典型的“反向教材”，以及普通用户在选型时最该关注哪几个指标。已经跑过很多真机测试的同行可以直接跳到第4章，里面有不少我们踩过的坑。
1. 为什么会有 RoboChallenge 这么个项目
1.1 从“纸面参数”到“实际体验”的鸿沟
很多刚接触机器人的朋友会问一个问题：选购或评估机器人平台时，到底该信什么？厂商宣传页上的最大速度、最大负载、定位精度、续航时间，每个数字看起来都挺漂亮，但真拿到手往往不是那么回事。这不是厂商故意注水，而是机器人本身就是极度依赖环境的系统：同一台机器、同一个程序，在实验室环氧地坪上和办公室地毯上，跑出来的结果可以相差一倍以上。
我曾经拿某款标称“定位精度±2cm”的底盘做过测试，厂商给的测试条件是理想室内、静态场景、外部动捕系统提供真值。换到我们评测场里，加上走动的人、变化的自然光、部分玻璃隔断，同样的算法和参数，实测精度直接掉到±8cm左右。你说厂商错了？也不算，它在它定义的条件下确实做到了。关键是用户不会只在“理想条件”下使用机器人。
RoboChallenge 立项的核心逻辑就在这：我们希望在更接近真实使用的条件下，用统一的测试方法，回答那些说明书上查不到的问题——这机器连续跑两小时会不会过热降速？底盘过减速带以后IMU零偏能不能自己回来？光照从窗户一侧照过来时视觉SLAM会不会飘？这些问题没有一个标准答案，只能靠反复实测去积累数据。
1.2 测试对象的选取与边界
既然要做年度报告，第一步就是划定边界。我们测试的对象不是某个厂家的单一型号，而是围绕“通用移动机器人开发平台”这个类别展开，主要包括三类：
- 轮式差分底盘，尤其是服务机器人、巡检机器人常用的中型底盘；
- 履带式机器人，适合户外复杂地形的型号；
- 带机械臂的复合机器人，测试时会额外关注臂与底盘协同时的稳定性。
选择覆盖这三个类别，是因为它们的应用场景重叠度高、互相替换的可能性大，选型时最容易让人纠结。同时，这三个类别也是开发者社区里讨论最多、但横向对比数据最少的领域。
报告的时间范围是去年全年，测试从年初的设备入场、环境改造，到秋天的集中补测，再到年底的数据汇总。在评测的硬件选择上，我们没有“雨露均沾”，更偏重市场占有率高、开发者讨论热度高的机型；一些小众但某个垂直领域做得很好的平台，也会作为参考项纳入，但不会作为年度推荐的主要依据。
需要注意：这份报告不是“带货排榜”，我们不接受厂商送测要求，所有设备都是通过正常渠道购买或向开发者借测，报销流程走了很久。独立性的意义在于，至少我们能保证数据不受商业合作影响，评测逻辑也能保持一致。
1.3 报告想回答的三类问题
整个报告说到底是围绕三个问题展开的：
- 选购层面：如果我要买一台机器人做二次开发，哪些关键性能是被低估或高估的？
- 开发层面：常见的底盘运动控制、SLAM、自主导航问题，有多少是硬件本身造成的，有多少是调参和算法适配的问题？
- 环境层面：换了一个现场，机器人的表现会不会大幅缩水？缩水的原因是哪些？
这三个问题的答案，不是靠一次两次测试能得出的，需要大量样本和不同条件的交叉验证。RoboChallenge 的年度报告，就是把这一年的交叉验证结果浓缩成一份可以查询的参考资料。
2. 数万次“真机评测”到底是怎么跑的
2.1 真机测试和实验室测试差在哪
这部分可能会劝退一部分准备“抄作业”的同行：真机测试实在太啰嗦了。同样是测一个“绕桩通过”的指标，仿真里写个脚本，半小时能跑几百次；真机测试则要经历充电、上电自检、规规矩矩跑完几十米、停下、人肉复位、再跑下一轮，一小时能跑出二十次有效数据就算效率不错了。
但真机测试的价值恰恰在这个“慢”里。仿真的物理引擎再强，也模拟不出灰尘对激光雷达的遮挡、模拟不出轮胎在地毯边缘的卡顿、模拟不出静电线缆对IMU的干扰。这些不起眼的变量，恰恰是真实项目中让机器人“翻车”的高频原因。
我们的测试环境是专门搭的，分为室内标准场、室内干扰场、户外半封闭场地三块。室内标准场地面是平整的PVC地板，用于测基础性能；室内干扰场放了几块不同厚度的地毯、一条减速带、几根金属立柱，模拟办公室和商用环境；户外场地则包含透水砖、沥青、小碎石路三种路面。测试时，遮挡物、光源方向、甚至当天天气，都会被记录进元数据。
2.2 核心评测维度
报告把评测维度分成六大类，每一类下又有细分指标：
| 评测维度 | 核心指标 | 测试场景/动作 | 数据采集方式 |
|---|---|---|---|
| 运动控制 | 直线度、转弯半径、速度波动率 | 低速/高速直行、原地旋转、S弯绕行 | 外部动捕+底盘编码器数据 |
| 定位与建图 | 轨迹误差、地图闭合误差、重定位成功率 | 室内标准场扫描建模、重启动重定位 | 激光雷达数据+视觉真值对比 |
| 导航通过性 | 窄道通过率、绕障成功率、急停距离 | 0.8m宽门、密集立柱区、突发障碍 | 过程录像+导航日志 |
| 续航与发热 | 满电连续工作时间、电机温升、降速阈值 | 连续巡航/反复启停直到自动低电量保护 | 电源监测计+红外测温 |
| 负载稳定性 | 不同负载下加减速偏移、斜坡驻坡能力 | 0kg/5kg/10kg/15kg四档 | 编码器数据+倾角计 |
| 环境适应性 | 不同地面/光照/粉尘条件下的性能下降率 | PVC/地毯/沥青/透水砖，强光/逆光、粉尘覆盖 | 统一场景多次跑分对比 |
这六个维度不是平均用力。做机器人集成开发的朋友最关心定位与导航，我们就会多安排测试次数；偏硬件和底盘的从业者会更想看在负载和地面影响下的表现，这部分数据我们也做了单独的长篇分析。
2.3 怎么保证“数万次”不是数字游戏
这里要说明一下，我们对外说的是“数万次测试”，这个概念稍微有点误导，容易让人以为测试次数都是在一个严苛条件下跑的。真实情况是，数据分为几个层级：
- 高频基础项：例如“空载直线度”这种简单项目，每台机型跑500次以上，目的是测稳定性和一致性；
- 中频场景项：例如“特定障碍物绕行”，每个组合跑几十次，目的是对比不同条件下的表现差异；
- 低频专项项：例如“24小时长时间压力测试”，每组场景可能只跑三五次，但每次持续时间很长。
数据统计上，我们更多的不是把所有次数相加然后说“我们测了几万次”，而是用每台机器在每项测试上的通过率、标准差、中位数来呈现。报告中所有结论都标注了“样本量”和“重复置信区间”，比如“该机型直线偏移中位数为1.7cm，样本量180次，95%置信区间1.5~1.9cm”。这样即便测试次数不多，结论的可靠性也能让读者心里有数。
3. 年度报告里的核心发现
3.1 硬件层面：可靠性远比峰值参数重要
这一年的测试里，最强烈的感受是：可靠性和一致性，是比最大速度、最大爬坡角度更金贵的属性。
举一个典型例子。某款底盘，宣传最大速度是1.8m/s，我们在标准场也确实达到了这个速度。但问题在于，全速跑三分钟之后电机温度升高，控制器的电流输出自动受限，速度就会跌到1.2m/s左右。如果你只是短时间测试，根本发现不了这个问题；但如果做的是配送机器人项目，一天要跑几十趟，这就直接导致效率不及预期。
反过来，另一款参数平平的底盘，最大速度只有1.0m/s，但连续跑两小时，速度波动始终控制在5%以内，电机温升也比较平缓。从集成商角度看，后者可能要“省心”得多。
报告中我们还统计了一个指标，叫“首次故障前平均运行时间”。就是新机器拆箱后，在标准测试流程下，第一次出现需要人工介入的问题（比如卡死、脱轨、传感器数据异常）之前的平均时间。结果两极分化很明显：做得好的机型这个数字超过3000次测试，做得差的不到200次。
3.2 算法适配决定 SLAM 表现的上限
关于定位与建图，报告里最值得关注的是“换场景性能衰减率”。我简单解释下这个指标：在同一台机器上，先用我们标准场地测出最优结果，再换到干扰场或户外场地，看性能下降了多少。衰减率越低，说明这套方案对环境的适应能力越强。
在反光物体、玻璃墙、重复纹理场景里，激光SLAM和视觉SLAM的表现差异很大。部分方案在理想环境下轨迹误差可以做到1%以内，但到了强光逆光场景，误差直接翻倍；另一些方案虽然理想环境下误差略大，但场景切换后衰减很小。我们最后的结论是：评估SLAM方案，不能只看“最高精度”，要看“最差场景下还能不能用”。
另外，重定位成功率这个指标也出乎意料地有区分度。有三分之一左右的机型，在关闭地图后再重启，无法稳定回到之前的位置，有的甚至直接定位到了完全错误的位置。对于使用机器人做长期落地的团队来说，这个问题非常致命。
3.3 续航虚标不是秘密，但温控更值得关注
续航是用户最常问、也最容易被数字误导的领域。几乎所有机型在“匀速巡航”条件下测得的续航，都比“反复启停、加减速”条件下长20%~30%。这很容易理解，频繁启停时电机瞬时电流大，能量损耗也更大。但我们发现更麻烦的问题在于温控策略。
有几款机器人在低电量状态下不会直接提示充电，而是先限制性能，速度逐渐下降，看起来像是“还在正常工作”，实际上任务进度已经悄悄拉慢了。这种“软降级”设计对用户不够友好，但在技术上又是常见的保护策略。
报告中我们做了一张很直观的箱线图，展示各机型在“标准任务流程”中的续航分布。提醒大家：不要信厂商标称的“最大续航”，要看在具体任务场景下的“有效续航”，这两者可能差出一倍。
4. 数万次测试中暴露出的典型问题
4.1 杀手级问题排行
翻看全年的问题记录，有几个问题反复出现，我按发生频次做了个排序：
| 频次 | 问题现象 | 主要诱因 | 涉及环节 |
|---|---|---|---|
| 最高 | 直线行驶缓慢偏移，需要反复纠正 | 轮胎磨损不均、底盘左右重心偏差、编码器标定不准 | 运动控制 |
| 很高 | 地图建好后重启定位失败 | 场景特征稀疏、传感器数据退化、初始化算法鲁棒性差 | 定位与建图 |
| 高 | 导航过程近距离急停误触发 | 激光雷达低矮盲区、超声波传感器串扰 | 感知与避障 |
| 中 | 电机过热后控制器主动降流 | 散热设计不足、持续大负载运行 | 控制器与电机 |
| 中 | 履带式机型转弯时履带脱落/卡顿 | 张紧机构松动、异物卷入 | 机械结构 |
如果你正在做机器人项目的“验收测试”，可以直接拿这个表当参考，优先跑这几类场景，快速暴露潜在问题。
4.2 一个典型的“翻车”案例
我挑一个印象很深的案例细说。某款履带机器人，在宣传视频里爬上30°坡非常轻松，但到我们户外场地试的时候，连续三次都在同一个碎石坡上打滑。排查下来，原因不是动力不足，而是履带齿纹太浅、接地齿设计偏向硬质路面，在碎石路面上附着力骤降。换个稍宽的路面或调高橡胶履带的粗糙度，同一个坡就能过。
这个案例很有代表性。厂商测试用的路面是标准化、干燥、干净的测试台，而真实环境是复杂多变的。机器人在验收标准下能通过，不代表在应用现场就能正常工作。看评测数据时，一定要关注“地面条件”这一栏，不能只看“爬坡角度”。
4.3 用户操作习惯造成的隐性误差
还有一个我们刚开始没想到的问题：操作者的习惯会显著影响测试数据。同一个地图构建流程，由不同的人操作，出来的地图质量和轨迹误差差别很大。有人会在建图过程中频繁变向，有人会习惯性推一下机器人，这些都会影响传感器数据。
为了尽可能降低这种误差，我们的测试流程里规定了非常细的“操作员手册”，包括启动方向、是否允许触碰、遥控加减速的操作幅度。即便如此，早中晚不同时段的数据仍会有一些抖动，后来加了“每次测试前进行20秒的传感器自检”这个步骤，数据才稳定下来。
这一点也提醒我们：任何真机测试结果，都不能完全脱离“操作者”这个变量去看。如果读者自己复现报告中的某个测试项，数据有差异，未必是设备不同，很可能是操作方式不同。
4.4 数据质量：离群值的价值
在处理数据时，我们一度想把某些“明显失败”的离群值剔除掉，后来发现这些失败数据才是最有价值的。比如某款机器人导航绕障成功率是90%，看起来不错，但那个10%的失败往往发生在同一个墙角、接近同一个障碍物的位置。这意味着什么？说明它在特定场景下存在系统性缺陷，通过率再高，遇到那个墙角也大概率翻车。
所以报告里专门放了一个“失败模式热力图”，把测试场地等分成网格，标记每个网格区域的失败次数。热力图显示出的“异常热点”，往往比平均成功率更能说明问题。
5. 对开发者、厂商和用户的几条建议
5.1 给做开发的同行
如果你正在基于某个底盘做二次开发，我的建议是：拿到手的第一步不是急着写功能代码，而是先做一个“基础性能摸底”。花一天时间，把你常遇到的场景简化成几个标准动作，跑几十次，把机器人的基础特性摸清楚。比如：
- 原地旋转的实际圆心偏移是多少；
- 速度环的阶跃响应有没有明显超调；
- 悬空/加压状态下手轮推拉时编码器有没有跳变。
这些基础数据会直接影响你后续的算法参数设计。我们遇到过不少项目，导航调不好，查了半天是底盘编码器分辨率不够、左右轮计数不一致，根本不是算法问题。
5.2 给厂商和产品经理
送测的厂商越来越多，我只有一句实在话：与其把宣传重点放在“极限参数”上，不如多花精力把“一致性”做好。用户在实际项目中更看重的是：十台机器是不是一个脾气、跑了一个月之后性能会不会衰减、突然撞一下之后还能不能正常回位。
报告里的一致性分析数据，是可以直接作为产品改进方向的。我们测过一个品牌的两个批次，电机响应延迟差了30%，这说明供应链一致性管理还有很大空间。对于机器人这种依赖精确控制的硬件，一致性差是集成项目最大的隐性成本。
5.3 给准备入手的用户
如果你想买一台机器人做教学、比赛或轻量级开发，可以不用追求顶配参数，优先关注三个“够用”：
- 导航够用：在目标场景下的重定位成功率不低于80%；
- 续航够用：标准任务模式下有效续航比标称值不要缩水太多；
- 售后够用：出了问题，厂商能否提供可复现的测试环境和快速的固件更新。
那些“性能翻倍但价格也翻倍”的配置，对学生项目和初期原型验证来说，大概率是浪费。
6. 测试流程、工具与团队经验
6.1 测试流程和自动化改进
刚开始做真机评测时，所有操作都是人工记录，效率很低，还容易漏记。后来我们逐步把流程拆成了三个阶段：
- 准备阶段：充电、标定传感器、记录环境温湿度；
- 执行阶段：自动运行测试脚本（对于能二次开发的机型），手动操作时则通过录制视频+传感器日志核对；
- 复盘阶段：分拣日志、自动标记失败项、人工确认失败原因。
对于支持ROS或SDK开发的机型，我们用一套统一的Python脚本包装了测试动作，实现部分自动化。脚本会记录时间戳、速度指令、实际速度、角速度等数据，统一格式后存到数据库。不能二次开发的黑盒机型，只能靠相机录制和外部动捕数据，数据预处理会更费人力。
6.2 数据看板与问题追踪
整个项目的中间产物是一套简单的数据看板，每一台机器在每一次测试后，都会生成一个“测试摘要”，包括关键指标、是否通过、异常日志链接。团队内部每天要做的就是去看这些摘要，标记那些超出正常范围的数据点，并给出故障分类标签。
这套流程运行稳定后，数据质量有了明显提升。以前靠Excel记录时，漏记、错记的概率在千分之一左右；用数据库+自动化脚本之后，记录错误率降到可以忽略的程度。团队里的小伙伴开玩笑说，做机器人评测，本质上是三分玩机器人、七分搞数据管理。
6.3 报告发布与可复现性
年度报告发布后，我们收到最多的反馈是“你们的数据能不能复现”。这也是我们后续重点优化方向。报告里的每一项测试，我们都计划补充更详细的操作视频和原始数据下载通道，让其他团队能按照同一套流程来对照测试，甚至加入自己的机型。
复现性这件事，在机器人领域做起来比想象中难。公开数据集的场景和实际场地总有偏差，照搬别人的测试流程也未必能跑出同样的环境条件。但只有尽量去接近“可复现”，评测数据才有价值，行业里也不至于各说各话。
7. 聊聊这一年的心得
说实话，做完整年的真机评测，我最大的感受是：机器人行业不缺大招，缺的是“长期稳定地做小事”。有时候一个看起来平平无奇的底盘，连续跑三百次不犯错，反而比某个参数亮眼的原型机更让我安心。评测做到后面，我们评判一台设备的语气，已经从“它能不能做到”变成了“它能不能一直做到”。
如果你看完这篇也动了搭建自己评测台架的心思，我给三个建议：一是先定义清楚“你最关心的那个场景”，不要贪多；二是尽早把数据记录自动化，手动记录撑不了多久；三是别怕失败数据，离群值里往往藏着最有价值的线索。
最后分享一个小技巧：评测时给每台机器建一个“故障档案”，不管多小的异常都记下来，标注当时的环境条件。等积累到几十条，你回头看，会比自己只盯着通过率更有收获。RoboChallenge 的下一份报告，也打算把故障档案做得更细一些，希望到时候能拿出更有说服力的数据来。
