研究发现:RAG系统中文档数量影响AI语言模型性能
耶路撒冷希伯来大学的研究人员最近发现，在检索增强生成（RAG）系统中，即使总文本长度保持不变，处理的文档数量也会显著影响语言模型的性能。
实验设计与方法
研究团队利用MuSiQue验证数据集中的2,417个问题进行实验，每个问题链接到20个维基百科段落。其中两到四段包含相关答案信息，其余段落作为干扰项。为研究文档数量的影响，团队创建了多个数据分区，逐步将文档数量从20个减少到最少只保留包含相关信息的2-4个文档。为确保总标记数一致，研究人员使用原始维基百科文章的文本扩展了保留的文档。
实验结果与分析
实验结果表明，在大多数情况下，减少文档数量可提高语言模型性能约10%。研究测试了包括Llama-3.1、Qwen2和Gemma2在内的多个开源模型。值得注意的是，Qwen2模型表现出例外，能够在文档数量变化时保持相对稳定的性能，而Llama-3.1和Gemma-2的性能随着文档数量增加明显下降。
