# 如何评估 RAG：检索、回答依据与访问控制

先建立有答案依据的评测集，再调整切分、检索数量或模型配置。

Foxmu · 更新日期: 2026-10-19

## 从可判定的问题集开始

检索增强生成把选出的外部证据与模型生成结合起来。原始 RAG 论文可作为研究背景，本文给出的是面向业务应用的工程评估建议，并非对论文实验的复现。

收集代表性问题，为每题记录预期来源和合格答案条件，也加入知识库中没有答案的问题。尽量使用脱敏或合成数据，把调试样例与最终验收集分开。先固定评价标准，再调参数，避免反复围绕同一批题优化。

## 先检查检索，再评价表达

逐题确认需要的文档和段落是否进入结果，检查缺失证据、重复切片、旧版本和干扰材料。回答再流畅，也不能弥补取错规程或漏掉关键条件。记录文档版本与索引时间，才能解释相同问题为何出现不同结果。

用户和租户权限必须在检索前生效。准备两个文档权限不同的测试用户，确认受限来源不会进入另一个用户的上下文，而不只是让最终回答隐藏引用。过期文档和撤销授权也应有独立用例。

## 分别衡量正确性与证据支持

审阅每条重要陈述是否得到引用段落支持，以及引用是否指向正确版本。把事实正确、信息完整和无依据补充分别评分，让评审能够打开原文复核判断。只统计“带了引用”不足以说明内容可信。

知识缺失或冲突时，应允许澄清、拒答或转人工。自动评审模型可以帮助筛选，但要保留经过人工确认的锚点样例，检查分歧原因，不能把单个综合分数直接当作上线结论。

## 在一致条件下比较方案

比较检索数量、切分方式或重排时，保持问题、知识库版本和评分规则一致，并记录生成模型、提示词与参数。加入简单基线；需要时，使用同一批已授权信息比较长上下文和混合方案。

除了质量，还要测量延迟与每个合格答案的成本。扩大上下文或增加检索片段可能提高费用，却未解决真正的失败原因。[长上下文论文导读](/learn/long-context-reasoning)提供了证据位置和推理步骤等补充维度。

## 把评估连接到日常变更

制度文档更新、索引重建或模型路由调整后，应重新运行相关用例。按数据导入、检索、权限和生成分类抽样失败，帮助团队找到需要修复的环节；通用分析日志不应保存敏感原文。

记录索引及配置版本，保留回滚路径。只有达到约定的质量与权限门槛，才扩大使用范围。RAG 是需要验证的业务流程，不会自动消除幻觉，也不会天然防止数据泄露。

## 参考与接入指南

- [Foxmu 文档中心](https://foxmu.ai/docs)
- [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401)