企业官网建设流程全解析

MaxKB 网页抓取建知识库指南：3 步把整站文档变成可问答内容

【免费下载链接】MaxKB🔥 MaxKB is an open-source platform for building enterprise-grade agents. 强大易用的开源企业级智能体平台。项目地址: https://gitcode.com/GitHub_Trending/ma/MaxKB

真实场景：客户问上周新功能，你在官网里翻答案

下午三点，客户问你上周刚上线的功能怎么用，答案散落在产品帮助网站的好几页里，你得逐页翻、逐个复制，而网站明天还会再更新。如果整站内容能用一个链接直接导入知识库，就不必再手工誊抄——这正是 MaxKB 的网页抓取功能做的事。

MaxKB 网页抓取是怎么自动把整站内容收进来的

• 抓取与过滤：系统按你提供的链接逐页抓取，只保留正文，滤掉导航栏和广告。相当于一个人翻书时只把正文页抄进笔记本，跳过封面和目录。
• 分段入库：抓到的文字按段落结构自动切成小块，每块都登记进可检索的索引。像把一叠笔记装进小盒子并按内容贴标签，提问时直接按标签找。
• 增量更新：你可以随时触发重新抓取，页面有改动就替换、新增页面就补上。类似订报纸，新刊到了只把新页补进夹子里，不用重新整理。

好奇抓取逻辑怎么实现的，可以看仓库里 apps/knowledge/task/sync.py 的任务代码。

跟着做：从 URL 到可问答知识库的 3 步操作

第 1 步：新建网页抓取知识库

• 点击"新建知识库"，类型列表里选择"网页抓取"
• 输入知识库名称，在"来源 URL"里填上要抓取站点的入口页地址
• "内容范围"留空表示抓取整个页面正文，也可以填 CSS 选择器只圈定某一块区域

完成后，页面上会出现文档记录，状态从"等待"变成"执行中"——后台已经开始抓取，每页抓完会自动拆成段落。

第 2 步：核对抓取结果

• 等状态变为"成功"，打开这篇文档查看段落列表
• 随机抽两三个段落，对照原网页确认内容完整
• 若段落里混进大量广告或导航文字，回到第 1 步设置更精确的内容范围选择器

⚠️ 易错提醒：来源 URL 对格式很敏感，少了https://或末尾带一个空格，任务会直接失败，粘贴完先检查一遍再点保存。

第 3 步：测试检索命中，接入应用

• 在"命中测试"里输入一个客户常问的问题，把相似度阈值调低一点，直到期望的段落出现在结果里
• 新建一个应用并关联这个知识库，在对话里问同样的问题，确认回答引用了抓取到的内容

完成后，应用就能基于最新网页作答，"手工整理文档"这件事就正式消失了。

值不值得用：手工复制 vs 网页抓取

两种做法放在一起对比，差异很直观：

踩坑清单 & 进阶玩法

• 坑一：重度 JavaScript 动态渲染的页面几乎抓不到内容，先用几个静态页测试效果再上整站。
• 坑二："完整同步"会先清空知识库里的全部文档再重抓，日常更新别手滑选它。
• 进阶：抓取的知识库可以和内置工具一起接进应用，比如下面这种搜索 API 工具，让回答同时引用站内文档和实时搜索结果。

还没部署的话，打开终端执行git clone https://gitcode.com/GitHub_Trending/ma/MaxKB，按仓库里的 README 部署起来。然后在新建知识库时选好"网页抓取"，填上站点 URL 保存，第一次自动抓取就会立即开始。

【免费下载链接】MaxKB🔥 MaxKB is an open-source platform for building enterprise-grade agents. 强大易用的开源企业级智能体平台。项目地址: https://gitcode.com/GitHub_Trending/ma/MaxKB