製品紹介
Firecrawlは、AIアプリが利用するウェブ資料を取得する層を担います。ページの内容を読み取り、後続のプログラムが扱いやすいMarkdownや構造化JSONに変換します。例えば、企業のヘルプ文書を集め、検索拡張生成（RAG）の知識ベースに渡す用途です。検索の設計、モデルの選択、回答の生成と検証はアプリ側の仕事として残ります。ページ取得だけで信頼できる回答が完成するわけではありません。
入力に応じて使う機能を選びます。既知のページにはScrape、サイト内のURL発見にはMap、範囲を指定した複数ページ取得にはCrawl、検索語からの資料収集にはSearchを使います。大きなサイトでは、先にURLを見つけて必要なページを選ぶと、重複、更新対象、クレジット消費を管理しやすくなります。
Firecrawlでできること
- 01本文をMarkdownで取得し、スキーマと抽出指示に従ったJSONも要求できます。
- 02Mapでサイト内URLを発見し、収集対象のリンクを絞り込みます。
- 03パスや深さを指定してCrawlの収集範囲を制御します。
- 04ウェブ検索を行い、必要に応じて検索結果の本文も取得します。
実際の作業手順
- 01代表的なURLを選び、必要な項目、出力形式、許容できない欠落を定義します。
- 02既知のURLにはScrape、URL選択にはMap、サイト内の範囲取得にはCrawl、検索語から始める場合はSearchを選びます。
- 03対象ページの状態を確認し、本文やJSONの項目を元ページと照合します。
- 04出典URLを保存し、重複除去と更新処理を用意してから検索やエージェントに接続します。
出典に基づく要約です。製品の主張は独立して検証していません。
他と異なる点
下流のソフトウェア向けにウェブ資料を準備する点が中心です。サイトごとに独自のHTML解析処理を維持する代わりに、共通APIと描画・出力形式の設定を使えます。ただし、すべてのページへのアクセスや抽出精度が保証されるわけではありません。対象サイト、必要な項目、ページ状態で結果を確認してください。
検討に向く人
- ウェブ参照型アシスタントやRAG知識ベースを作る開発者。
- 公開文書や製品情報を統一形式で収集するチーム。
- ウェブ取得をエージェントや既存データ処理に組み込む技術者。
確認すること
- 無料枠と有料プランの上限、追加抽出形式の消費量を現在の料金表で確認してください。
- 毎分のリクエスト上限と同時ブラウザ数は別の制限です。429には待機時間を増やして対応します。
- APIが成功しても対象ページは403や404の場合があります。メタデータのページ状態も確認します。
- ログインが必要なページへのアクセスや全項目の取得を前提にせず、結果を検証します。
よくある質問
Scrape、Map、Crawlはどう違いますか？
Scrapeは既知のURLの内容を取得し、Mapは主にサイト内URLを探します。Crawlは指定範囲で複数ページを発見・取得します。MapのURL一覧だけでは、各ページの本文を取得したことにはなりません。
モデルやRAGシステム全体を置き換えますか？
いいえ。モデルや知識処理に渡すウェブ内容を供給します。文書選択、索引・検索、モデル呼び出し、回答の確認はアプリ側に必要です。
HTTP 200でもページが正しくないのはなぜですか？
APIリクエストと対象ページの状態は別です。公式Scrape文書では、API成功時にも対象ページのエラーが返る場合を説明しています。data.metadata.statusCodeと実際の取得内容を確認してください。
製品情報は2026年10月26日に公式サイトまたは一次資料と照合しました。
