企业官网建设流程全解析

Firecrawl 网页抓取与搜索 API 快速上手完整教程：4 步跑通，参数直接照抄

【免费下载链接】firecrawl🔥 Supercharge your AI agents with data from the web and beyond. A web data API to search, scrape, and access more sources.项目地址: https://gitcode.com/GitHub_Trending/fi/firecrawl

让 AI 助手"会看网页"，卡住的从来不是模型，而是网页本身：JS 渲染出来的内容抓下来是空的、反爬拦截直接 403、抓回来的 HTML 里一半是导航栏广告，塞给大模型全是噪音。Firecrawl就是一个网页数据 API——搜索、抓取、整站爬取、页面交互它全包，交回来的都是干净的 Markdown 或结构化 JSON，代理轮换、JS 渲染、速率限制这些脏活都在它内部搞定。读完整篇，你手里会有：一套装好的 Firecrawl 环境、一张可直接照抄的参数表、五个接口各自的验证方法，以及一份今晚就能做完的 5 步行动清单。

一句话记住它的角色：Firecrawl 是网页世界的快递站——你只管下单收货，爬取路上的反爬、渲染、重试全是它的活。

第一步：选一条路开始（托管 / 装 SDK / 自托管）

Firecrawl 是开源项目（AGPL-3.0），也有托管服务。对新手来说，先花 10 秒判断自己走哪条路：

装 SDK（以 Python 为例）：

pip install firecrawl-py

Node.js 则是npm install firecrawl。各语言 SDK 的源码都在 apps/ 目录下，Python 版在 apps/python-sdk/。

验证方法：装完后在终端跑下面这一句，10 秒内打印出一段干净的 Markdown（没有<div>、没有导航菜单），就算通了。以后所有配置问题，都先回到这一步确认环境没坏。

from firecrawl import Firecrawl app = Firecrawl(api_key="fc-YOUR_API_KEY") print(app.scrape("firecrawl.dev", formats=["markdown"]).markdown[:200])

第二步：先查地图再开车——五个接口各管什么

Firecrawl 提供五个日常接口，先建立分工意识，别拿锤子砸所有钉子：

一句话选型：单页用 scrape，要内容用 search，先看地形用 map，整站才上 crawl 且 limit 从 50 起步。

scrape：一个 URL 换一份干净数据

最常用的接口。formats决定交付物：markdown喂给大模型，screenshot存图，json配 schema 抽结构化字段。页面内容靠 JS 动态加载时（比如懒加载的文章列表），加waitFor告诉它等毫秒数再取内容，例如waitFor=3000（3 秒，经验推荐值，页面加载慢就继续加）。

search：结果自带正文，省掉第二轮请求

results = app.search("firecrawl", limit=5)

返回的每条结果都含url、title、markdown。对比一下：传统做法是搜索 API 只给链接，你再逐条 scrape，5 条结果就是 5 次额外请求；这里一步到位。

map：5 秒看完一个站的地形

app.map("https://firecrawl.dev", search="pricing")

不爬任何页面内容，直接列出全站 URL，还带标题和描述。加上search参数会按相关性排序。用它判断"该不该 crawl、crawl 该设多少 limit"，比盲爬便宜得多。

crawl：整站抓取是异步的，先拿回执

crawl 和 batch_scrape 都走异步模式：请求先返回一个任务 ID（形如123-456-789），之后拿 ID 轮询状态，直到completed。用官方 SDK 时不用管这一步——SDK 自动轮询；自己拼 HTTP 请求时，轮询间隔建议 10 秒（经验推荐值），任务超过 5 分钟没动再去查任务是否失败。

agent：连 URL 都不用给

result = app.agent(prompt="Find the pricing plans for Notion", effort="low")

描述需求即可，它自己搜索、导航、取数，返回结果附带sources来源列表。effort三档：low适合单站简单查询，medium适合少数几步的多页任务，high留给深度调研——档位只改变推理预算，不改变背后模型。

第三步：把第一份数据接进自己的项目

上面这个"加产品 URL → 自动追踪价格并画走势"的应用，就是scrape接口套一层循环做出来的。仓库里 examples/ 目录有大量同类成品可以直接抄结构：AI 公司调研、爬虫调度、新闻聚合，每个子目录就是一个独立场景。

接进项目时记住三条线（都是仓库里现成的参考实现，不是凭空推荐）：

Agent 接入方式：官方 skill 一条命令装好（npx -y firecrawl-cli@latest init --all --browser，装完重启你的 Agent 客户端），或者按仓库 README.md 里的 MCP 配置段，把FIRECRAWL_API_KEY填进环境变量即可。

第四步：自托管——一条命令起全家桶

数据不出内网，或者就是不想按量付费，就自托管。仓库根目录的 docker-compose.yaml 就是与当前代码对齐的完整部署定义：一条docker compose up -d拉起的包括 API、worker、Playwright 浏览器渲染、Redis、RabbitMQ、NuQ PostgreSQL 队列，默认只有 API 对宿主机开放3002端口。Kubernetes 用户看 examples/kubernetes/cluster-install/ 的清单或 examples/kubernetes/firecrawl-helm/ 的 Helm chart。

git clone https://gitcode.com/GitHub_Trending/fi/firecrawl cd firecrawl docker compose up -d

自托管首跑，照 SELF_HOST.md 的基线来，别一上来就换组件：

验证方法：起容器后curl http://localhost:3002/v2/scrape提交一个 URL，10 秒内返回干净 Markdown，自托管就算通了。注意：这个基线是无认证、无持久卷的，SELF_HOST.md 里专门有一节"上生产之前"的清单（TLS、持久化、端口收敛），照做即可。

第五步：四个最常踩的坑和解法

补两条细节：给agent设effort="low"且能用urls圈定范围时就圈上，速度和成本都友好；同一批需求里，先map看地形、再决定scrape还是crawl，能省掉大半无效请求。

今晚就能做完的 5 件事

1. 拿到 API key，装好 Python SDK（pip install firecrawl-py）。
2. 跑一次scrape，确认打印出干净 Markdown——这是环境体检。
3. 跑一次search("你的关键词", limit=5)，看每条结果是否自带 markdown。
4. 挑一个你熟的网站跑map，数一下 URL 数量，心里有底。
5. 把 key 挪进环境变量FIRECRAWL_API_KEY，删掉代码里写死的那份。

明天再做：crawl试跑一个站（limit=50）、batch_scrape一次丢 10 个 URL。长期维护只看三处：key 定期换新、SDK 跟仓库版本走（apps/python-sdk/）、crawl 的limit按实际配额收紧或放开。参数怎么调，回本文第二节那张表对照改就行。

自检结论（不在正文内）：H1 与全部 H2 均未与样文章节名重合；比喻为「快递站」，未复用样文「油门」；一句话选型与样文「新手线性、怕吵阶梯」无重复；无外部链接、无 gitee/github 域名（clone 地址按要求使用 gitcode 仓库地址）；两张图分别为 1280x720 与 1576x986 的横版图，各引用一次且位于 H1 之后。

【免费下载链接】firecrawl🔥 Supercharge your AI agents with data from the web and beyond. A web data API to search, scrape, and access more sources.项目地址: https://gitcode.com/GitHub_Trending/fi/firecrawl