企业官网建设流程全解析

结合 LLM 的智能检索：从"幻觉"到"可信"的文献检索实战方案

五、三个避坑点：时间 / 数量 / 相关性

5.1 时间范围判断偏差（最容易踩的坑）

检索"近三年"时，Kimi、豆包、腾讯元宝、文心 X1 都给出了2023–2025的文献；但文心4.5给的是2021–2023，DeepSeek在校验时直接判定2024、2025年的文献为虚假（它把"当前"当成了 2023 年）。本研究实际开展于 2025 年，近三年应是 2023–2025。

根因：这些模型训练数据更新不及时，时间维度停留在 2023 年。

建议：用户务必对模型输出仔细甄别；开发者需持续更新训练数据、优化时间信息处理。

5.2 文献数量不足

多次实验中，模型输出文献最多仅12篇、最少1篇，与学术检索"越多越好"的需求矛盾。一种办法是在 Prompt 里加"检索不少于 xx 篇"，但这会与"真实性限制条件"争夺有限的上下文空间——单纯追数量而放弃真实性，毫无价值。数量与真实性的平衡，仍是开放问题。

5.3 相关性 ≠ 真实性

所有模型生成的文献名称、简介都能贴合检索要求（表面相关度高），但真实性存疑。相关性靠语义匹配就能保证，真实性却依赖训练数据质量与完整性。因此：当前阶段，提升文献真实性仍是核心任务，相关性是第二位指标。

六、总结与展望

6.1 本文做了什么

• 系统对比了二次验证/ Prompt工程/交叉验证对 5 个国内模型的幻觉抑制效果；
• 提出"检索-验证-修正"闭环流程，并诚实指出它未超越单用交叉验证；
• 落地了一套基于RAG的可信文献检索系统（Python + QwQ-32B + FAISS）；
• 剖析了时间偏差/数量不足/相关性≠真实性三大现实问题。

6.2 未来方向

1.Prompt工程范式更替：传统面向搜索引擎的检索，将逐步被"直接面向 LLM"的检索取代；未来 Prompt 更个性化、智能化（结合用户领域/历史，用强化学习自动调优），并走向多模态（图/语音输入）。

2.开源模型崛起：以 DeepSeek 为代表的开源模型，参数量可能仅为闭源的 1/21，却靠大规模强化学习实现跨越，且消费级显卡可本地部署。开源将推动学术检索模型向更专业、可微调、低成本方向演进（如引入领域知识图谱做微调）。

3.效率优化：多轮验证提升了真实性，却增加了复杂度、降低了效率。下一步要在"保真"前提下简化流程、合理裁剪验证环节。

七、可直接复用的 Prompt 模板（附录）

复合检索指令：

你是一个严谨的科研助手，必须遵守以下规则：
1.所有陈述必须基于真实可靠的文献列表，禁止胡编乱造。
2.每个结论后必须标注来源文献编号。
3.如果文献证据不足，回答'当前文献未提供充分证据'。
用户问题：请列举近三年提出的基于LLM的漏洞检测技术的文献

二次验证指令：

请对自己生成的文献进行判断，给出真实存在的文献。

交叉验证指令（把A模型答案投喂给B模型）：

以上是询问'[复合检索指令]'之后大模型给出的答案，
请对其中的模型进行判断，给出真实存在的文献。

参考资料

[1] Wei J, et al. Emergent abilities of large language models. arXiv:2206.07682, 2022.

[2] Vaswani A, et al. Attention is all you need. NeurIPS 2017.

[3] Bender E M, et al. On the dangers of stochastic parrots. FAccT 2021.

[4] Goertzel B. Artificial general intelligence. JAGI 2014.

[5] Alex T, et al. Understanding the capabilities, limitations of LLMs. arXiv:2102.02503, 2021.

[6] Yuan W, et al. BARTScore. NeurIPS 2021.

[7] Zhang C, et al. Prompt-enhanced software vulnerability detection using chatgpt. ICSE 2024.

[8] Brown T, et al. Language models are few-shot learners. NeurIPS 2020.

[9] Gao Y, et al. Retrieval-augmented generation for LLMs: A survey. arXiv:2312.10997, 2023.

[10] Du X, et al. Vul-rag: Enhancing LLM-based vulnerability detection via knowledge-level RAG. arXiv:2406.11147, 2024.