제품 소개
Firecrawl은 다른 애플리케이션이 사용할 웹 데이터를 가져오는 역할을 합니다. 페이지를 읽고 Markdown이나 구조화된 JSON으로 변환합니다. 예를 들어 기업 도움말 문서를 모아 검색 증강 생성(RAG) 지식 기반에 넣을 수 있습니다. 자료 검색 방식, 모델 선택, 답변 구성과 검증은 애플리케이션에서 별도로 처리해야 합니다. 페이지를 가져왔다고 신뢰할 수 있는 답변까지 완성되는 것은 아닙니다.
시작점에 맞춰 기능을 고릅니다. 알려진 페이지는 Scrape, 사이트 안의 URL 발견은 Map, 범위를 정한 여러 페이지 수집은 Crawl, 검색어에서 시작하는 자료 조사는 Search를 사용합니다. 큰 사이트에서는 먼저 링크를 찾고 필요한 페이지를 선택해야 중복, 갱신 범위, 크레딧 소비를 관리하기 쉽습니다.
Firecrawl의 주요 기능
- 01본문을 Markdown으로 가져오거나 스키마와 추출 지시에 맞춘 JSON을 요청합니다.
- 02Map으로 사이트 URL을 찾고 수집 목적에 맞는 링크를 고릅니다.
- 03경로와 깊이 조건으로 Crawl의 수집 범위를 제한합니다.
- 04웹 검색 후 필요에 따라 검색 결과 페이지의 본문도 가져옵니다.
실제 작업 흐름
- 01대표 URL을 고르고 필요한 필드, 출력 형식, 허용할 수 없는 누락을 정합니다.
- 02알려진 URL은 Scrape, 링크 선택은 Map, 사이트 일부 수집은 Crawl, 검색어 기반 조사는 Search를 선택합니다.
- 03대상 페이지 상태를 확인하고 추출한 본문과 JSON 필드를 원문과 비교합니다.
- 04출처 URL을 저장하고 중복 제거와 갱신 절차를 마련한 뒤 검색이나 에이전트에 연결합니다.
출처에 근거한 요약이며, 제품의 주장을 독립적으로 테스트하지 않았습니다.
차별점
사이트마다 별도의 HTML 파서를 유지하는 대신 공통 API와 렌더링·출력 형식 옵션으로 웹 자료를 준비할 수 있습니다. 모든 사이트에 접근하거나 완벽하게 추출한다는 뜻은 아닙니다. 실제 대상 사이트와 필요한 필드, 페이지 상태를 기준으로 결과를 검증해야 합니다.
추천 대상
- 웹 자료 기반 도우미나 RAG 지식 기반을 만드는 개발자.
- 공개 문서와 제품 정보를 일관된 형식으로 모으는 팀.
- 에이전트나 기존 데이터 처리 과정에 웹 수집을 연결하는 엔지니어.
확인할 사항
- 현재 무료 제공량, 유료 요금제, 추가 추출 형식의 크레딧 소비를 확인해야 합니다.
- 분당 요청 수와 동시 브라우저 수는 다른 제한입니다. 429 응답에는 대기 시간을 늘려 재시도합니다.
- API가 성공해도 대상 페이지는 403이나 404일 수 있으므로 메타데이터의 상태를 확인합니다.
- 로그인이 필요한 페이지에 접근할 수 있거나 모든 필드가 채워질 것이라고 가정하지 않습니다.
자주 묻는 질문
Scrape, Map, Crawl은 어떻게 다른가요?
Scrape는 알려진 URL의 내용을 읽고, Map은 주로 사이트 안의 URL을 찾습니다. Crawl은 지정한 범위에서 여러 페이지를 발견하고 수집합니다. Map의 URL 목록을 받았다고 각 페이지의 본문까지 확보한 것은 아닙니다.
모델이나 완전한 RAG 시스템을 대체하나요?
아닙니다. 다른 시스템에 넣을 웹 자료를 제공합니다. 문서 선택, 검색, 모델 호출, 답변 검증은 애플리케이션에서 구현해야 합니다.
HTTP 200이면 대상 페이지도 정상인가요?
반드시 그렇지는 않습니다. API 요청 상태와 대상 페이지 상태는 다릅니다. Scrape 공식 문서에 따라 data.metadata.statusCode와 실제 추출 내용을 함께 확인해야 합니다.
제품 정보는 2026년 10월 26일에 공식 사이트 또는 1차 문서와 대조했습니다.
