概念Hallucination Rate
幻觉率
衡量大语言模型可靠性的核心指标,指模型在回答中编造看似合理但不真实信息的比例。幻觉率越低表示模型越倾向于承认不确定而非强行编造
时间轴 (近 90 天)
10月21日
V7研究表明幻觉率下降来自两方面:模型对知识边界的判断更准确,以及上下文图谱在数据摄入阶段过滤了不应记住的事实。
待验证50%
10月21日
V7建议技术决策者评估企业级AI方案时,应关注模型在自身业务图谱上工具调用错误率和幻觉率的实际水平,而非仅看模型跑分。
待验证50%
10月19日
独立基准测试显示,LLM幻觉率大致在15%到50%以上,取决于任务和模型。
待验证50%
10月19日
在有清晰检索上下文的结构化任务上,最好的模型可以把幻觉率压到约2%以下。
待验证50%
10月18日
论文给出了一个下界:预训练之后,幻觉率至少等于训练集中只出现一次的事实所占的比例。
待验证50%
10月17日
低幻觉率降低了风险,但不能替代人工对照原文核查。
待验证50%
10月17日
幻觉率是衡量模型在不知道答案时编造内容倾向的指标,需与知识得分分开理解。
待验证50%
全部知识事实 (8)
待验证
通过RAG加载外部知识库可以同时降低幻觉率和空答率,但在外部知识固定的情况下两者呈此消彼长的关系
80%待验证V7建议技术决策者评估企业级AI方案时,应关注模型在自身业务图谱上工具调用错误率和幻觉率的实际水平,而非仅看模型跑分。
50%待验证V7研究表明幻觉率下降来自两方面:模型对知识边界的判断更准确,以及上下文图谱在数据摄入阶段过滤了不应记住的事实。
50%待验证独立基准测试显示,LLM幻觉率大致在15%到50%以上,取决于任务和模型。
50%待验证在有清晰检索上下文的结构化任务上,最好的模型可以把幻觉率压到约2%以下。
50%待验证论文给出了一个下界:预训练之后,幻觉率至少等于训练集中只出现一次的事实所占的比例。
50%待验证幻觉率是衡量模型在不知道答案时编造内容倾向的指标,需与知识得分分开理解。
50%待验证低幻觉率降低了风险,但不能替代人工对照原文核查。
50%