企业官网建设流程全解析

1. 概述

官网主页
官方文档
Github

RAGAS（Retrieval-Augmented Generation Assessment）是一款评估工具库，能够将AI应用主观、经验式的效果验证，转化为标准化的评估迭代闭环。它提供完备的评估能力，助力对大语言模型应用开展高效、可信的质量评测。

Ragas出身是RAG评估框架，现在是以RAG评估为强项、同时支持各类LLM应用评测的通用评估工具库。

传统评估指标无法捕捉LLM应用里真正关键的质量维度；人工评估又难以规模化。Ragas的解决方案是：融合大模型驱动的指标与系统化实验能力，搭建持续迭代优化的闭环。

核心特性：

• 以实验为优先的设计思路：通过实验，对每一次改动做稳定一致的评估。修改方案、执行评估、观察结果、持续迭代，优化你的LLM应用。
• Ragas评估指标：可以用简单装饰器，自定义适配业务场景的指标；也可以直接使用库内置的指标集。了解更多 Ragas 指标相关内容。
• 易于集成：内置数据集管理、评估结果追踪，同时支持和LangChain、LlamaIndex等主流框架对接。

2. 发展历史

2023.05 早期雏形（0.0.x 预发布版）

• 项目开源上线，最初定位专门给RAG做评估的轻量库
• 核心4个经典指标诞生：Faithfulness、Answer Relevancy、Context Precision、Context Recall
• 仅支持LangChain，API简单，面向RAG问答场景，也就是大家最熟悉的初代RAGAS

2023.09.26 论文发布（arXiv）

论文《RAGAS: Automated Evaluation of Retrieval Augmented Generation》上线，正式提出无标注参考（reference-free）RAG评估方案，LLM-as-judge的思路，奠定RAGAS理论基础

2024 上半年 v0.1.x 稳定版

• 定型经典API，evaluate()+HuggingFace Dataset是主流写法
• 内置测试集生成（Testset Generation）：输入文档自动生成问答样本
• 国内大量RAG教程、博客都是基于v0.1版本

2025.01 v0.2 重大架构升级（分水岭版本）

定位变化：从「RAG专用评估库」升级为「通用 LLM 应用评估框架」，不再只局限RAG

• 放弃HuggingFace Dataset，自研EvaluationDataset
• 重构Testset生成，引入Knowledge Graph、Transforms、Synthesizer，成本更低、可断点续跑
• 支持异步指标、结构化输出；支持对话、Agent等非RAG场景评估
• 破坏性变更：老代码迁移成本高

2025 年 v0.3 系列

• 完善指标体系，新增Factual Correctness、多轮对话指标、Agent工具评估指标
• 完善自定义指标体系，PydanticPrompt自定义提示词
• 完善云端看板app.ragas.io，支持实验记录、对比可视化
• 社区生态成熟，Langfuse、LlamaIndex、LlamaTrace深度集成

2025.12 v0.4 重磅重构（当前主推新版）

核心变革：转向「Experiment-first 实验优先架构」，是自v0.2以来最大改动

• 不再推荐直接调用evaluate()，改用@experiment()装饰器，围绕实验、版本对比、迭代闭环设计
• 指标迁移到metrics.collections体系，统一ascore()接口，返回带reason的MetricResult
• llm_factory()统一LLM入口，全厂商通用（OpenAI、Anthropic、Azure、本地模型）
• 函数式Prompt，更易组合、复用；支持GPT o系列、结构化输出约束
• 大量旧API标记废弃，老v0.1/v0.2代码无法直接跑

2026.01 v0.4.3（截至目前最新稳定版）

• 接入DSPy优化器（MIPROv2），支持评估 +Prompt优化联动
• 增加缓存、系统Prompt支持，完善文档llms.txt，适配AI读取文档

3. 现状说明（慎用）

从GitHub上可以看到，最近的一次发版已经是十个月以前了，仓库活跃度明显走低，大量Issue和PR长期无人响应。

在当前AI技术飞速发展迭代的背景下，这个信号需要工程使用者重点留意：RAGAS已经从早期高速迭代的明星评估框架，转入低投入的维持维护阶段。

可能原因是：核心团队Vibrant Labs战略重心转向长时序Agent仿真与RL训练赛道，开源版本不再享有优先研发资源。

虽然现有的稳定版本（v0.4.3）依旧可以跑通经典RAG评估指标，能够支撑常规的评测实验，但风险也随之显现：

• 新的大模型接口、新版依赖库、各类LLM厂商的特性更新，很难得到及时适配；
• 社区提出的bug修复、指标优化需求，推进周期会非常漫长。

对于小规模验证、内部实验场景，RAGAS仍然是一个成熟好用的选择；但如果是生产级、长期迭代的RAG平台，就需要提前准备备选方案，避免后续踩依赖停滞、无人维护的坑。