产品介绍
Firecrawl 负责 AI 应用中的网页数据获取环节：读取网页，并把内容整理成便于后续程序处理的 Markdown 或结构化 JSON。比如，将企业帮助中心的文档收集起来，作为检索增强生成（RAG）知识库的输入。网页拿到之后，如何建立检索、选择模型、组织回答和核对结论，仍需要由自己的应用处理；抓到了页面并不等于已经得到了可靠答案。
它提供几种不同的入口。已知具体页面时使用 Scrape；需要先找出站内有哪些相关链接时使用 Map；按指定范围批量获取站点内容时使用 Crawl；从关键词寻找资料时使用 Search，并按需要继续读取结果页面。对于较大的站点，先发现链接、筛选所需页面，再抓取正文，比不区分范围地收集全部内容更便于控制重复、更新范围与积分消耗。
Firecrawl 能做什么
- 01将页面正文整理为 Markdown，或按字段定义和提取说明输出结构化 JSON。
- 02通过 Map 发现站内链接，筛选与采集任务有关的页面。
- 03用路径、深度等条件约束 Crawl 的多页面抓取范围。
- 04从关键词发起网页搜索，并按需要继续取得结果页面的正文。
一个可操作的流程
- 01先挑选具有代表性的目标页面，写清需要的字段、输出格式以及哪些内容缺失时不能接受。
- 02已知网址选择 Scrape；先找链接选择 Map；限定站点范围选择 Crawl；从问题或关键词查资料选择 Search。
- 03检查目标页面的返回状态，并把提取的正文、表格或 JSON 字段与原页面逐项比对。
- 04保存原始网址，处理重复页面和更新逻辑，再把经过核对的数据接入检索或智能体流程。
依据来源资料整理；产品功能声明尚未经过独立测试。
它有什么不同
它的主要用途是替下游软件准备网页资料。开发者可以使用统一的提取接口和渲染、格式选项，减少为不同网页分别维护解析逻辑的工作。但接口统一不代表所有网站都能完整读取，也不保证字段提取准确；选型时应拿自己的目标网站、字段和页面状态核对结果。
谁值得考虑
- 搭建联网助手、文档问答或 RAG 知识库的开发者。
- 希望把公开帮助文档、产品资料整理成统一格式的团队。
- 需要把网页数据获取接到智能体或现有数据流程中的工程师。
需要核对的事项
- 免费额度与付费套餐的用量不同，结构化提取等额外选项也可能影响消耗，接入前应查看当前计费规则。
- 每分钟请求数与并行浏览器数量是不同限制，遇到 429 时需要退避重试。
- 接口成功返回不代表目标网页正常，目标页面仍可能是 403 或 404，应同时核对元数据中的页面状态。
- 不要默认需要登录的页面一定可读，也不要把缺失字段当成完整结果；使用前仍需校验。
常见问题
Scrape、Map 和 Crawl 应该怎么选？
Scrape 用于读取已知网址的内容；Map 主要帮助发现站内网址；Crawl 则在设定范围内发现并抓取多个页面。拿到了 Map 的链接列表，并不代表已经取得这些页面的完整正文。
Firecrawl 能直接替代模型或完整的 RAG 系统吗？
不能。它提供可供模型和知识库处理的网页内容。资料筛选、索引与检索、模型调用以及回答核对，仍是应用本身需要完成的部分。
为什么接口返回 200，拿到的页面仍然不对？
API 请求状态与目标页面状态是两层信息。官方 Scrape 文档说明，请求成功时仍可能返回目标页面的错误状态。应检查 data.metadata.statusCode，并实际检查提取内容，而不是只看接口的 HTTP 200。
产品信息已于 2026年10月26日 对照官网或一手产品文档核验。
