文章主要内容和创新点
主要内容
本文介绍了一个名为TruthTorchLM（TTLM）的开源Python库，旨在预测大型语言模型（LLMs）输出的真实性。该库整合了30多种真实性预测方法（Truth Methods），涵盖不同维度的技术方案，包括计算成本、模型访问级别（黑盒/白盒）、是否依赖外部文档、监督类型（自监督/有监督）等。
TTLM的核心功能包括：
- 支持与HuggingFace和LiteLLM框架兼容，适配本地部署和API调用的LLMs；
- 提供统一接口，实现生成、评估、校准及长文本真实性预测；
- 支持长文本场景下的真实性评估（将长文本分解为独立事实主张，逐一评估）；
- 包含评估工具（如AUROC、PRR等指标）和校准工具（如 isotonic regression），提升分数的可解释性和可比性。
此外，作者在TriviaQA（常识问答）、GSM8K（数学推理）、FactScore-Bio（长文本传记）三个数据集上，使用LLaMA-3-8B（开源模型）和GPT-4o-mini（闭源API模型）对代表性方法进行了评估，验证了库的有效性。
创新点
- 全面性与整合性：相比现有工具（如Guardrails仅支持文档驱动验证，LM-Polygraph仅关注不确定性方法），TTLM整合了30多种方法，覆盖不确定性估计、多LLM协作、有监督分类、文档验证等多类技术，填补了现有工具的局限性。
