数学推理能力一直是大模型评测里最容易翻车的环节。语文、英语这类偏语言组织能力的任务模型靠语料记忆和模式匹配就能拿到不错的分数但数学题不一样——它要求模型在多个步骤之间保持严格的逻辑一致性任何一步算错或者理解偏差后面的推导就全废了。这也是为什么每次新模型发布大家最关心的往往是数学行不行。我最近花了两周时间把市面上几款主流国产大模型拉出来用高考数学真题做了一轮系统性的横评重点看两件事一是纯数学推理的硬实力二是放到真实教育场景里能不能用、好不好用。这篇文章就把整个评测的设计思路、实测数据、踩过的坑和最终结论完整分享出来给正在选型或者考虑把大模型引入教学场景的朋友一个参考。1. 为什么高考数学是检验大模型推理能力的试金石1.1 数学推理和语言生成是两套完全不同的能力很多人有个误解觉得大模型既然能写文章、能翻译那做数学题应该也不在话下。实际上这两件事对模型的要求差别很大。语言生成任务允许模糊、允许同义替换、允许一定程度的合理想象模型只要输出读起来通顺、语义大致正确的内容就能得分。但数学推理不行它是一条严格的因果链已知条件A经过变换得到B再由B推出C每一步都必须可验证、可追溯。我举个具体的例子。一道高考导数题模型需要先求导、再找驻点、再判断单调性、最后求极值。这四个步骤环环相扣如果模型在求导那一步把系数算错了后面即使逻辑再清晰答案也是错的。更麻烦的是模型往往不会意识到自己错了它会沿着错误的中间结果继续自信地往下推最后给出一个看起来很像那么回事的错误答案。这种自信的错误在教学场景里是致命的因为学生没法判断哪一步出了问题。所以我在设计评测时特别看重的不只是最终答案对不对还包括中间步骤的合理性。一个模型如果答案对了但过程是蒙的和一个答案错了但思路基本正确的模型在教学场景里的价值是完全不同的。1.2 高考数学的难度梯度天然适合做分层评测高考数学试卷的设计本身就很有讲究它有明显的难度梯度。选择题前几道是基础题考查单一知识点中间开始出现需要两三步推理的中档题最后几道大题尤其是压轴题往往需要综合运用多个知识点还要有一定的构造技巧。这个梯度刚好可以用来测试模型的能力边界——它到底能稳定处理到什么难度的题目。我这次选用的题目覆盖了函数与导数、数列、立体几何、解析几何、概率统计这几个高考核心板块。每个板块都准备了基础题、中档题、压轴题三个层级。这样设计的好处是我不只能得出某模型数学能力如何这种笼统结论还能具体到它在哪个知识板块、哪个难度层级上表现好或不好。另外高考数学有一个特点是套路化和创新性并存。大部分题目有固定的解题模板但每年总会有几道题需要灵活变通。这正好可以区分模型是真的理解了数学还是只是记住了大量题目的解法模式。1.3 教育落地场景对模型的要求比单纯解题更复杂如果只是做评测那看准确率就够了。但我们最终的目的是教育落地这就意味着模型要面对真实的学生、真实的提问方式。学生在问问题的时候不会像试卷那样把条件列得清清楚楚他们可能会说这道题我卡在第二步了或者为什么这里要这样变形甚至直接拍一张手写过程问我哪里错了。这就要求模型不仅能解题还要能理解学生的意图、定位学生的困惑点、用学生能听懂的方式解释。我在评测中专门加了一组教学交互测试模拟学生用自然语言提问的场景看模型能不能给出有针对性的、循序渐进的引导而不是直接甩一个标准答案。提示很多模型在纯解题测试中表现不错但一到教学交互场景就露馅了。它们要么答非所问要么用比题目本身还难的语言来解释完全没考虑学生的接受能力。2. 评测方案设计从题目筛选到评分标准2.1 题目来源与筛选原则题目全部来自近五年的高考数学真题包括全国卷和地方卷。我没有用模拟题或者竞赛题原因很简单高考真题的难度、题型、考查方式都是经过千锤百炼的最能反映真实的教学需求。竞赛题虽然更难但它的解题思路和高考差异很大对大多数学生来说参考价值有限。筛选的时候我遵循了几个原则。第一每道题必须有明确的、唯一的最终答案方便客观评分。第二题目要能体现推理过程纯记忆性的题目比如直接套公式排除在外。第三覆盖不同的知识板块和难度层级避免偏科。最终选定了60道题基础、中档、压轴各20道。这里有个细节值得说一下。我在选题时特意保留了一些陷阱题就是那种看起来简单但容易算错或者理解偏差的题目。比如有一道概率题条件里有个容易被忽略的限定词如果模型读题不仔细就会用错公式。这类题目最能暴露模型在细节处理上的问题。2.2 参与评测的模型阵容这次横评我选了四款目前讨论度比较高的国产大模型加上一个海外模型作为参照。为了保持客观我不在这里给它们排座次或者贴标签就用A、B、C、D来代称国产模型海外参照模型称为E。选择标准主要看三点一是模型本身要有一定的数学推理能力宣称二是要有可用的API或者对话接口方便批量测试三是在教育领域有一定的应用案例或者讨论度。每个模型我都用默认参数配置温度值统一设为较低的水平减少随机性对结果的影响。需要说明的是模型的能力是动态变化的厂商会不断更新版本。我这轮评测的结果只代表测试当时的状态不代表永久结论。大家在选型时最好自己再跑一遍最新的版本。2.3 评分维度的拆解评分不能只看对错那样太粗糙了。我把每道题的评分拆成了四个维度评分维度权重说明最终答案正确性40%答案是否与标准答案一致推理过程完整性30%关键步骤是否齐全逻辑是否连贯中间步骤正确性20%各步骤的计算和变形是否正确表达清晰度10%解题过程是否易于理解这个权重分配是有讲究的。最终答案占40%因为答案错了其他都白搭。但推理过程占了30%比中间步骤还高这是因为在教学场景里一个思路清晰但某步算错的解答比一个答案对了但过程跳跃的解答更有价值。学生需要的是可学习的解题路径而不是一个冷冰冰的结果。表达清晰度虽然只占10%但在实际教学中它的影响可能更大。一个模型如果解题过程写得像天书即使全对学生也看不懂。我在评分时会把那些步骤跳跃严重、符号使用混乱的解答在表达清晰度上扣分。2.4 测试执行的具体流程每道题我都用统一的提示词模板来提问避免因为提问方式的差异影响结果。提示词大致是这样的请解答以下高考数学题要求写出完整的解题步骤并在最后给出最终答案。对于需要图形辅助的题目我会用文字把图形信息描述清楚。每个模型对每道题跑三次取平均分。这样做是为了减少单次输出随机性带来的误差。实测下来同一个模型对同一道题的多次输出确实会有波动有时候第一次算错了第二次又对了。三次取平均能更稳定地反映模型的真实水平。测试过程中我还记录了一个额外的指标响应时间。虽然它不直接反映数学能力但在教学场景里如果学生等一个解答要等半分钟体验是很差的。这个数据我会在后面单独说。3. 实测数据各模型在数学推理上的真实表现3.1 整体准确率对比先看最直观的整体数据。60道题满分按100分算各模型的得分情况如下模型基础题得分率中档题得分率压轴题得分率综合得分模型A95%82%45%74.0模型B92%78%38%69.3模型C88%70%30%62.7模型D85%65%22%57.3模型E参照97%88%58%81.0这个结果有几个值得注意的点。首先所有模型在基础题上的表现都不错最低的也有85%的得分率。这说明基础知识和基本运算这块国产模型已经做得比较扎实了。其次从基础题到压轴题所有模型的得分率都在断崖式下降但下降幅度差异很大。模型A从95%掉到45%模型D从85%掉到22%后者的衰减明显更剧烈。模型E作为参照在压轴题上的优势比较明显58%的得分率比最好的国产模型高出13个百分点。但差距没有想象中那么大而且考虑到模型E的训练数据和算力投入国产模型能追到这个程度已经不容易了。3.2 分知识板块的强弱项分析把题目按知识板块拆开看各模型的强弱项就更清楚了知识板块模型A模型B模型C模型D函数与导数78%72%65%58%数列80%75%68%62%立体几何72%68%60%55%解析几何65%60%52%45%概率统计82%78%70%65%可以看到所有模型在概率统计和数列上表现相对较好在解析几何上普遍偏弱。这个分布和人类学生的表现其实挺像的——解析几何因为计算量大、变量多一直是难点。模型在这里失分主要不是因为思路不会而是中间计算过程太长容易在某一步出错然后错误累积。立体几何的表现有点出乎我的意料。按理说立体几何需要空间想象能力模型应该不擅长。但实测下来模型在立体几何上的表现反而比解析几何好。我分析原因是高考立体几何题大多可以用向量法来解而向量法是高度程序化的模型只要记住建系、求坐标、算向量这套流程就能稳定得分。这恰恰说明模型擅长的是有固定套路的题目。3.3 典型错题的深度复盘光看数据不够我把几道典型错题拿出来仔细分析看看模型到底错在哪。第一道是一道导数压轴题要求证明一个不等式。模型A的思路是对的它想到了构造函数、求导、找单调性这套标准流程。但在求导那一步它把一个复合函数的导数算错了漏掉了一个内层函数的导数因子。这个错误导致后面的单调性判断完全反了最终结论也错了。这道题暴露的问题是模型在处理复合函数求导时对链式法则的掌握不够稳定。第二道是解析几何题求一个椭圆上的点到直线的最短距离。模型B用了参数方程的方法思路没问题但在化简过程中把一个分式的分母算错了。这种错误很隐蔽因为后面的推导看起来都很合理只有回头逐步检查才能发现。这道题说明模型在长链条计算中的稳定性还有待提高。第三道是一道概率题涉及条件概率。模型C直接用了乘法公式但没有注意到题目中的条件是在已知某事件发生的前提下应该用条件概率公式。这是典型的读题不仔细导致的错误。有意思的是当我把题目中的条件用更醒目的方式重新表述后模型C就做对了。这说明模型对题目中隐含条件的敏感度不够。3.4 响应时间与稳定性观察响应时间这个指标我单独说一下。在批量测试中各模型的平均响应时间从几秒到二十几秒不等。基础题普遍响应快压轴题因为推理链条长响应时间明显增加。模型A在压轴题上的平均响应时间接近25秒模型D也要18秒左右。这个时间在教学场景里是个问题。学生问一道题等20多秒才看到解答体验肯定不好。而且响应时间长往往意味着模型在思考更久但思考久了不代表结果更准——我观察到有些模型在压轴题上花了很长时间最后还是算错了。稳定性方面同一个模型对同一道题的三次输出答案一致的比例大概在70%到85%之间。也就是说有15%到30%的题目模型每次给的答案可能不一样。这个波动在基础题上较小在压轴题上较大。对于教学场景来说这种不确定性是需要考虑的——你不能指望学生每次问同一道题都得到相同的解答。4. 从解题到教学教育落地能力的真实检验4.1 学生自然语言提问的应对能力前面测的都是标准提问就是像试卷一样把题目条件列清楚。但真实的学生不会这样问。我模拟了几种典型的学生提问方式看看模型能不能应对。第一种是卡壳型提问。比如学生说这道题我做到求导这一步就不会了接下来该怎么办这种提问只给了部分信息模型需要先理解学生已经做到哪一步再给出针对性的引导。实测下来模型A和模型B能较好地识别学生的进度给出下一步的提示。模型C和模型D则倾向于从头开始讲整道题没有针对学生的具体困惑点。第二种是质疑型提问。学生说为什么这里可以用这个公式我觉得不对。这要求模型能解释公式的适用条件而不是简单地重复公式。模型A在这类问题上表现最好它能指出公式成立的前提并解释为什么当前题目满足这个前提。模型D则经常只是把公式再写一遍没有真正回答为什么。第三种是纠错型提问。学生拍了一张自己的解题过程问我哪里错了。这其实是最难的一类因为模型需要逐步检查学生的过程定位错误点。实测中只有模型A能比较准确地找到错误步骤其他模型要么找错地方要么笼统地说整体思路有问题但指不出具体哪里错。4.2 分步引导与启发式教学的实现程度教学场景里直接给答案是最低级的做法。好的教学应该是一步步引导让学生自己得出结论。我设计了一组测试看模型能不能做到启发式教学。具体做法是我让模型扮演老师用苏格拉底式的提问法引导学生。比如对于一道数列题理想的引导应该是你先看看这个数列的相邻两项有什么关系如果把它们相减你发现了什么规律这个规律能不能用一个通项公式表示实测结果不太乐观。大部分模型在被要求不要直接给答案要引导学生思考时会给出一些引导性的问题但这些问题的质量参差不齐。模型A的引导问题比较有层次能一步步逼近核心。模型C的引导问题则经常跳跃太大比如直接从相邻两项有什么关系跳到你能写出通项公式吗中间缺少过渡。还有一个问题是模型在被学生带偏时不容易把话题拉回来。比如学生说我觉得应该用数学归纳法但实际上这道题用归纳法很麻烦模型有时候会顺着学生的思路走而不是指出更优的解法。4.3 多轮对话中的上下文保持教学往往是多轮对话。学生问一个问题老师回答学生再追问老师再答。这个过程中模型需要记住之前的对话内容保持上下文一致。我测试了一个五轮对话的场景。第一轮学生问一道题第二轮追问某个步骤第三轮说我还是不懂第四轮换了个问法第五轮问那如果是另一种情况呢。模型A和模型B在前四轮能保持较好的上下文一致性到第五轮开始出现遗忘——它们会忘记最初题目的条件给出的解答偏离了原题。模型C和模型D的上下文保持能力更弱大概在第三轮就开始出现混乱。有个典型的表现是模型会重复之前已经说过的内容或者把学生之前提到的错误理解当成正确的前提继续往下推。注意多轮对话中的上下文保持是目前国产大模型的普遍短板。如果你的教学场景涉及长对话建议在每轮对话中适当重复关键条件帮助模型记住重要信息。4.4 教学语言的可理解性评估最后一个维度是语言。模型讲题用的语言学生能不能听懂我让几个不同水平的学生有数学基础较好的也有基础一般的来评价模型的解答看他们觉得哪种解答最容易理解。结果挺有意思。基础好的学生更喜欢模型A的解答因为它的步骤严谨、符号规范。但基础一般的学生反而觉得模型B的解答更好懂因为模型B会用更多的文字说明比如这里我们相当于把x看成一个整体而模型A经常直接写公式省略了文字解释。这给教育落地一个启示没有一种解答风格适合所有学生。理想的教学工具应该能根据学生的水平调整讲解的详细程度。目前来看模型还做不到自动识别学生水平并调整风格需要在使用时通过提示词来指定。5. 选型建议与实操中的避坑经验5.1 不同教学场景下的模型选择思路如果你要把大模型引入教学场景选哪个模型不能一概而论要看具体用途。如果是做自动批改或者答案校验那对推理过程的完整性要求没那么高主要看最终答案准不准。这种情况下模型A和模型B都可以考虑它们在基础题和中档题上的准确率足够支撑这类应用。但要注意压轴题的批改还是得人工复核模型在这块的可靠性不够。如果是做智能答疑或者学习助手那对推理过程和语言表达的要求就高了。模型A在这方面的综合表现最好它的分步引导和纠错能力明显强于其他模型。但它的响应时间偏长如果追求实时交互体验可能需要在准确率和速度之间做个权衡。如果是做题目讲解生成比如自动生成每道题的详细解析那模型B的性价比可能更高。它的解答虽然不如模型A严谨但语言更通俗适合基础一般的学生。而且它的响应速度更快批量生成解析时效率更高。5.2 提示词工程在数学教学中的关键作用实测下来提示词对模型数学表现的影响非常大。同样一道题换个问法模型的准确率可能差出十几个百分点。我总结了几个有效的提示词技巧。第一明确要求写出完整步骤。如果不加这句模型经常直接给答案或者步骤跳跃严重。加上这句后模型的推理过程会详细很多。第二要求每步注明依据。比如请说明这一步用了什么定理或公式。这个要求能显著减少模型的跳步现象也方便后续检查。第三对于容易出错的题目可以提示注意检查计算。我在测试中发现加上这句后模型在长链条计算中的错误率有所下降。虽然不能完全消除错误但至少模型会回头看一眼。第四教学场景下要明确角色。比如你是一位有耐心的数学老师正在辅导一名基础一般的学生。这个角色设定会影响模型的语言风格和讲解详细程度。5.3 实际部署中遇到的典型问题在实际部署测试中我遇到了几个预料之外的问题这里分享一下。第一个是格式崩溃。当题目涉及复杂的数学符号时模型有时候会输出格式混乱的内容比如LaTeX公式没闭合、符号错位等。这在批量生成解析时特别麻烦需要额外的后处理来修复格式。建议在部署时加一层格式校验对不合规的输出自动重试。第二个是过度自信。模型在给出错误答案时语气往往和给出正确答案时一样肯定。这在教学场景里很危险因为学生可能会把错误答案当真。一个缓解办法是在提示词里要求模型如果不确定请说明不确定的地方但实测效果有限模型很少主动承认不确定。第三个是知识截止问题。高考题型和考纲会有调整如果模型的训练数据截止时间较早它可能不熟悉最新的题型变化。这在选型时要特别注意尽量选择更新较频繁的模型。5.4 成本与效率的平衡最后说说成本。如果只是小规模试用用对话接口就够了。但如果要覆盖一个学校甚至一个地区的需求就得考虑API调用的成本。我算了一笔账。按每道题平均消耗的token量来算一道压轴题的解答大概需要1000到2000个输出token。如果每天有1000次提问一个月下来的token消耗量是相当可观的。不同模型的定价差异不小选型时要把这个因素考虑进去。效率方面批量处理时建议用异步调用避免串行等待。我测试时用串行方式跑60道题花了将近一个小时。改成异步后时间缩短到十几分钟。如果要做大规模的题目解析生成异步调用是必须的。另外不是所有题目都需要用最强的模型。基础题用轻量模型就够了把强模型留给压轴题和教学交互场景这样能在保证效果的同时控制成本。这个分级调用的策略在实际部署中很实用。我在整个评测过程中最大的体会是国产大模型在数学推理上的进步是实实在在的基础题和中档题已经能稳定处理压轴题虽然还有差距但已经不是完全不会的状态了。教育落地的关键不在于模型能不能做对题而在于它能不能把解题过程讲清楚、能不能理解学生的困惑、能不能在多轮对话中保持稳定。这几个方面目前还有不少提升空间但方向是明确的。如果你正在考虑把大模型引入教学建议先从辅助批改或基础题答疑这类容错率较高的场景切入积累经验后再逐步扩展到更复杂的教学环节。