Produktüberblick
Firecrawl übernimmt die Beschaffung von Webdaten für eine KI-Anwendung. Es liest Seiten und wandelt Inhalte in Markdown oder strukturiertes JSON um. Ein Beispiel ist das Aufbereiten einer Unternehmensdokumentation für eine RAG-Wissensbasis. Suche, Modellauswahl, Antworterstellung und Prüfung bleiben Aufgaben der eigenen Anwendung. Eine abgerufene Seite ist noch keine verlässliche Antwort.
Der Einstieg richtet sich nach der Aufgabe: Scrape liest eine bekannte Seite, Map findet URLs, Crawl sammelt mehrere Seiten innerhalb eines festgelegten Bereichs, und Search beginnt mit einer Suchanfrage. Bei großen Websites erleichtert es die Kontrolle über Dubletten, Aktualisierungen und Credits, zuerst relevante URLs auszuwählen und danach deren Inhalte abzurufen.
Was Firecrawl bietet
- 01Seiten als Markdown oder anhand eines Schemas und einer Anweisung als JSON auslesen.
- 02Mit Map Website-URLs entdecken und passende Links auswählen.
- 03Mehrseitige Crawls durch Pfade und Tiefengrenzen eingrenzen.
- 04Websuchen durchführen und bei Bedarf Inhalte der Ergebnisse mit abrufen.
Ein praktischer Ablauf
- 01Repräsentative URLs auswählen und benötigte Felder, Format und unzulässige Lücken festlegen.
- 02Scrape für bekannte Seiten, Map zur URL-Auswahl, Crawl für einen Website-Bereich oder Search für eine Suchanfrage wählen.
- 03Den Zielseitenstatus prüfen und extrahierte Inhalte mit dem Original vergleichen.
- 04Quell-URLs speichern, Dubletten behandeln und Aktualisierungen planen, bevor die Daten in Suche oder Agenten einfließen.
Zusammenfassung auf Basis der Quelle; Produktangaben wurden nicht unabhängig getestet.
Was es unterscheidet
Der Schwerpunkt liegt auf Webinhalten für nachgelagerte Software. Statt für jede Website einen eigenen HTML-Parser zu pflegen, nutzt man eine gemeinsame API mit Rendering- und Formatoptionen. Vollständiger Zugriff und korrekte Extraktion sind damit nicht garantiert. Prüfen Sie die tatsächlich benötigten Websites, Felder und Seitenzustände.
Für wen es geeignet ist
- Entwickler von webgestützten Assistenten und RAG-Wissensbasen.
- Teams, die öffentliche Dokumentationen oder Produktdaten vereinheitlichen.
- Ingenieure, die Webabrufe an Agenten oder Datenabläufe anbinden.
Was zu prüfen ist
- Aktuelle Freikontingente, kostenpflichtige Pläne und Zusatzkosten für Extraktionsformate prüfen.
- Anfragen pro Minute und parallele Browser sind unterschiedliche Grenzen; auf 429 mit Backoff reagieren.
- Ein erfolgreicher API-Aufruf kann eine Zielseite mit 403 oder 404 enthalten. Den Seitenstatus in den Metadaten prüfen.
- Zugriff auf Anmeldeseiten und vollständige Felder nicht voraussetzen; Ergebnisse validieren.
Häufige Fragen
Wie unterscheiden sich Scrape, Map und Crawl?
Scrape liest den Inhalt einer bekannten URL. Map findet hauptsächlich URLs einer Website. Crawl entdeckt und liest mehrere Seiten im definierten Bereich. Eine Map-Linkliste enthält noch nicht die vollständigen Seiteninhalte.
Ersetzt Firecrawl ein Modell oder ein vollständiges RAG-System?
Nein. Es liefert Webinhalte für Modelle und Wissensverarbeitung. Dokumentauswahl, Indexierung, Retrieval, Modellaufrufe und Antwortprüfung bleiben Teil der Anwendung.
Warum kann bei HTTP 200 trotzdem ein Seitenfehler vorliegen?
API-Status und Zielseitenstatus sind getrennt. Laut Scrape-Dokumentation kann der API-Aufruf erfolgreich sein, obwohl die Zielseite einen Fehler liefert. Prüfen Sie data.metadata.statusCode und den tatsächlich extrahierten Inhalt.
Die Produktinformationen wurden am 26. Okt. 2026 mit der offiziellen Website oder Primärdokumentation abgeglichen.
