DeepEval指南3分钟快速拿到LLM评估首份得分【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval凌晨你负责的 RAG 客服开始答非所问你需要用 DeepEval 这个 LLM 评测框架在 5 分钟内定位是检索环节还是生成环节出了问题。它把“问题→检索→回答”的全链路量化成指标得分而不是依赖你的直觉判断。什么是 DeepEval一个能接进 pytest 的 LLM 评测框架DeepEval 是一个开源的 LLM 评测框架把大模型应用的质量问题转写成 pytest 风格的测试用例来执行。它解决的核心问题是“AI 的回答好不好如何量化判断”同时覆盖端到端黑盒评估和组件级评估。构建 RAG 管道、Agent、客服机器人的开发者以及需要在 CI 里设质量门的测试工程师都可以直接把它接入现有工作流。主流程走读安装到出分的 4 个步骤安装。执行pip install -U deepeval要求 Python 3.9全程不依赖云账号。写测试用例。构造一个LLMTestCase填入input、actual_output你应用的真实输出和expected_output理想答案。选 LLM 评测指标。用AnswerRelevancyMetric衡量答案相关性或用GEval用一句话自定义评判标准并设threshold决定通过线。运行读分。执行deepeval test run收集并运行测试文件控制台报告给出每个指标 0-1 的得分与通过/失败结论。最小可运行示例pip install -U deepevalfrom deepeval import assert_test from deepeval.metrics import AnswerRelevancyMetric from deepeval.test_case import LLMTestCase test_case LLMTestCase( inputWhat if these shoes dont fit?, actual_outputWe offer a 30-day full refund at no extra cost., expected_outputYoure eligible for a free full refund within 30 days., ) assert_test(test_case, [AnswerRelevancyMetric(threshold0.7)])运行deepeval test run执行这个文件后你会看到答案相关性指标的得分和 PASS/FAIL 判定得分 ≥ 0.7 判通过否则判失败结果直接打印在控制台。三个常见任务DeepEval 如何介入上线前回归测试把 golden 集整体跑一遍评估管线任何指标得分跌破阈值都会直接暴露回归。DeepEval 在同一套测试集上逐项对比新旧版本的结果你只需检查哪条用例从通过变成失败而不必重读全部回答。Prompt 迭代对比同一份数据集分别跑三个版本的 promptDeepEval 会按版本汇总每项指标的均值并标出差异每个测试用例的分差都单独列出。你能直接看出哪个版本在哪些题上变好或变差这是 RAG 评估与调参最省时间的路径。线上 Bad Case 归因用户报错时先用 tracing 捕获一次完整执行链路再对轨迹跑TaskCompletionMetric等指标。你会定位到具体是哪次检索或哪次工具调用出了问题而不是只盯着最终回答猜测原因。技术设计上值得看的 4 个决策本地优先执行评估在你的环境里运行deepeval test run按 pytest 规则收集执行见docs/content/docs/getting-started.mdx。不开云账号也能拿到第一条结果。指标可插拔指标继承deepeval/metrics/base_metric.py的BaseMetric只需实现measure方法。deepeval/metrics/下有 30 余个从 RAG 到 Agent 到安全性的现成指标目录。框架适配层deepeval/integrations/为 LangChain、LlamaIndex、CrewAI、Pydantic AI 等提供独立适配器用回调处理器注入评估与轨迹捕获业务代码不用改。轨迹感知deepeval/tracing/的observe装饰器记录模型调用、工具调用等 span。轨迹级指标基于完整执行路径评估而不是只看最终输出。生态对接这些框架可以直接接入LangChain回调处理器接入链路与 Agent捕获各节点输入输出。LlamaIndex面向 RAG 应用对检索与生成质量一并打分。CrewAI评估多智能体协作的执行结果与工具使用。Pydantic AI对接类型安全 Agent复用其结构化校验。OpenAI包装客户端后调用轨迹被自动捕获可做轨迹评估。Google ADK支持 ADK Agent 与多智能体工作流的追踪和评估。分阶段上手路线入门读docs/content/docs/getting-started.mdx跑通第一条评估参考现成测试文件examples/getting_started/test_example.py熟悉deepeval test run的收集与报告输出。进阶在deepeval/metrics/里核对每个指标的实现与 prompt 模板用deepeval/dataset/建可复用的 golden 集输出格式有硬要求时先加ExactMatch、PatternMatch这类确定性指标。生产级用deepeval/tracing/捕获生产流量做离线评估把deepeval test run放进 CI以阈值做发布门禁用deepeval/benchmarks/跑 MMLU 等标准基准校准模型。常见误区与避坑只挂一个 LLM-as-Judge 指标。G-Eval 类指标受评判模型偏好影响单指标容易系统性偏宽。正确做法是搭配deepeval/metrics/exact_match/的ExactMatch或PatternMatch交叉验证多指标联合判定。测试集太少太单一。只测三五条“标准问”得到的 0.9 分没有代表性。正确做法是构建覆盖常规、边界、对抗性问题的 golden 集并用deepeval/synthesizer/做合成数据补齐你拿不准的场景。阈值一直用默认值。默认 0.5 的阈值分不出“能用”和“优秀”门禁形同虚设。正确做法是先对 golden 集全量跑分观察分布再按业务可接受下限设定阈值。DeepEval 的价值是把“AI 好不好”变成可以在 CI 里重跑、可以跨版本比较的数字。从docs/content/docs/getting-started.mdx开始拿到第一条结果想弄清指标怎么算直接读deepeval/metrics/的源码想看更完整的用例组织方式浏览examples/目录即可。【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考