Was ist RLHF? Verstärkungslernen aus menschlichem Feedback erklärt

Was Reinforcement Learning from Human Feedback, kurz RLHF, ist, wird dann nützlich, wenn das Konzept mit einer echten Entscheidung verbunden ist und nicht als weiteres KI-Schlagwort behandelt wird. Dieser Leitfaden von AI Tools Radar konzentriert sich auf die praktische Idee, relevante Abwägungen und die Fragen, die vor dem Einsatz eines Tools oder Workflows gestellt werden sollten.

RLHF, also Verstärkungslernen aus menschlichem Feedback, ist die Methode, die große Sprachmodelle von flüssigen, aber unzuverlässigen Textgeneratoren zu Assistenten machte, die Anweisungen befolgen. Sie sammelt menschliche Bewertungen von Modellausgaben, trainiert ein separates Modell zur Vorhersage dieser Bewertungen und nutzt anschließend Verstärkungslernen, um das ursprüngliche Modell zu höher bewerteten Antworten zu bewegen.

Der Ansatz wurde weithin bekannt, nachdem OpenAI ihn für ChatGPT verwendete. Ohne RLHF erzeugten frühere Modelle oft grammatikalisch korrekten, aber irrelevanten, wiederholten oder unsicheren Text. Menschliches Feedback gab Entwicklern einen praktischen Weg, Modellverhalten an Nutzererwartungen auszurichten.

Wichtige Erkenntnisse. • RLHF ist eine Pipeline mit drei Schritten: überwachtes Fine-Tuning, ein auf menschlichen Bewertungen trainiertes Belohnungsmodell und Verstärkungslernen über PPO. • Menschliche Bewertende liefern die einzige Quelle der Wahrheit; das Belohnungsmodell lernt nur, ihre Präferenzen nachzuahmen. • Die letzte Optimierungsphase verbessert die Antwortqualität, ohne mehr gelabelte Textdaten zu benötigen. • RLHF hat Grenzen: Es kann Verzerrungen von Bewertenden übernehmen und garantiert keine sachliche Genauigkeit. • Alle, die mit großen Modellen arbeiten, sollten diese Schritte verstehen, weil die meisten öffentlichen Chatsysteme heute darauf beruhen.

Definition von RLHF.

RLHF ist eine Trainingstechnik, die Ausgaben von Sprachmodellen an menschliche Urteile ausrichtet. Sie kombiniert überwachtes Lernen auf Demonstrationsdaten mit Verstärkungslernen, das von einem Belohnungsmodell geführt wird, welches Antworten nach menschlichen Präferenzen bewertet. Drei Elemente bestimmen den Ansatz: ein Anfangsmodell, das bereits Text erzeugen kann; ein separates Belohnungsmodell, das auf menschlichen Rangfolgen trainiert wird; und ein Algorithmus für Verstärkungslernen, meist PPO, der das ursprüngliche Modell aktualisiert, damit seine Ausgaben höhere Belohnungswerte erhalten.

Die Methode unterscheidet sich von Standard-Fine-Tuning, weil sie für eine gelernte Präferenzfunktion statt für feste Labels optimiert. Sie unterscheidet sich auch von reinem Verstärkungslernen, weil das Belohnungssignal aus menschlichen Daten statt aus einer entwickelten Umgebung stammt.

So funktioniert RLHF.

Der Prozess folgt drei aufeinanderfolgenden Phasen. Jede baut auf der vorherigen auf.

Phase 1: Überwachtes Fine-Tuning auf Demonstrationsdaten. In der InstructGPT-Arbeit schrieben 40 Labeler 12.000 Demonstrationsantworten. Das Basismodell wird auf diesem Datensatz mit Standardverfahren des überwachten Lernens fein abgestimmt. Ergebnis ist ein Modell, das kohärenteren Text erzeugt und Anweisungen besser folgt als die ursprüngliche vortrainierte Version. Anthropics Constitutional AI erweitert diese Phase durch KI-generierte Kritiken, um weniger auf menschlich geschriebene Demonstrationen angewiesen zu sein.

Phase 2: Das Belohnungsmodell trainieren. Das fein abgestimmte Modell erzeugt für denselben Prompt mehrere Kandidatenantworten. Menschliche Bewertende ordnen diese von der besten bis zur schlechtesten. Diese Rangfolgen werden Trainingsdaten für ein zweites Modell, dessen einzige Aufgabe die Vorhersage der menschlich bevorzugten Antwort ist. Das Belohnungsmodell erzeugt keinen Text, sondern nur einen skalaren Wert.

Phase 3: Verstärkungslernen mit PPO. Das ursprüngliche Modell wird mit PPO aktualisiert, während das Belohnungsmodell als Feedbackquelle dient. In jeder Runde erzeugt das Modell Antworten, das Belohnungsmodell bewertet sie und PPO passt die Modellgewichte an, um die Wahrscheinlichkeit hoch bewerteter Ausgaben zu erhöhen. Ein KL-Strafterm verhindert, dass das Modell zu weit von seinem überwachten Ausgangspunkt abdriftet.

In dieser letzten Phase entsteht der Großteil der Verbesserungen bei der Ausrichtung. Sie erlaubt dem Modell, Antwortstile zu erkunden, die in den Demonstrationsdaten nie ausdrücklich gezeigt wurden.

RLHF im Vergleich zu überwachtem Fine-Tuning allein.

Trainingssignal • RLHF: nutzt ein gelerntes Belohnungsmodell, das neue Antworten bewertet. • Überwachtes Fine-Tuning: nutzt nur feste, von Menschen geschriebene Labels.

Dateneffizienz • RLHF: kann Qualität mit Rangfolgedaten verbessern, deren Erhebung günstiger ist als vollständige Demonstrationen. • Überwachtes Fine-Tuning: benötigt für jeden Prompt vollständige korrekte Antworten.

Risiko der Überoptimierung • RLHF: kann sich an Präferenzen von Bewertenden überanpassen, wenn das Belohnungsmodell schwach ist. • Überwachtes Fine-Tuning: ist auf Muster im gelabelten Datensatz begrenzt.

Wann welcher Ansatz geeignet ist Nutzen Sie überwachtes Fine-Tuning, wenn hochwertige Demonstrationsdaten reichlich verfügbar sind. Wechseln Sie zu RLHF, wenn das Modell über bereitgestellte Beispiele hinaus generalisieren soll und das Sammeln paarweiser Rangfolgen schneller ist als vollständige Antworten zu schreiben.

Ausgearbeitetes Beispiel für menschliche Rangfolge und Belohnungswerte.

Prompt: „Erkläre einem zehnjährigen Kind Quantencomputing.“ Antwort A: „Quantencomputing nutzt winzige Teilchen, die gleichzeitig in zwei Zuständen sein können, wie eine kreiselnde Münze.“ (Rang der bewertenden Person: 1; Wert des Belohnungsmodells: 0,92) Antwort B: „Es ist eine Art Computer, die auf Prinzipien der Quantenmechanik einschließlich Superposition beruht.“ (Rang: 2; Wert: 0,71) Antwort C: „Quantenbits sind für Berechnungen besser als normale Bits.“ (Rang: 3; Wert: 0,45)

Reward Hacking tritt auf, wenn das Modell Schwächen des Belohnungsmodells ausnutzt, etwa indem es ausführliche, aber leere Antworten erzeugt, die Bewertende zunächst hoch einstuften. Mode Collapse entsteht, wenn PPO-Training das Modell dazu bringt, dieselben hoch bewerteten Formulierungen über nicht verwandte Prompts hinweg zu wiederholen und die Vielfalt der Ausgaben zu verringern.

Kundensupport-Teams nutzen RLHF-trainierte Modelle für Antworten, die zu den Tonrichtlinien des Unternehmens passen. Forschende wenden dieselbe Pipeline auf Assistenten für wissenschaftliches Schreiben an, damit Zusammenfassungen Präferenzen von Fachexperten zur Zitiergenauigkeit respektieren. Sicherheitsteams bei Modellanbietern setzen RLHF ein, um toxische oder verzerrte Ausgaben zu verringern, indem sie Belohnungsmodelle auf Paaren mit Richtlinienverstößen und richtlinienkonformen Antworten trainieren.

Häufige Fragen zu RLHF.

Antwort: Nein. Das Belohnungsmodell lernt nur menschliche Präferenzen für Stil, Hilfsbereitschaft und Sicherheit. Es prüft keine Fakten, sofern Bewertende Ungenauigkeiten nicht ausdrücklich bestrafen.

Antwort: Die Phase mit Belohnungsmodell benötigt gewöhnlich Zehntausende rangierte Vergleiche. Die genaue Zahl hängt von Antwortvielfalt und Konsistenz der Bewertenden ab.

Antwort: RLHF verringert die Häufigkeit unerwünschter Antworten, kann sie aber nicht vollständig beseitigen. Uneinigkeit der Bewertenden und Fehler des Belohnungsmodells lassen ein Restrisiko.

Antwort: Die meisten öffentlichen Systeme nutzen PPO, doch Forschende testeten Alternativen wie DPO, die das separate Belohnungsmodell überspringen. PPO bleibt Standard, weil es stabil und gut verstanden ist.

Frage: Verändert RLHF Modellgewichte dauerhaft?

Antwort: Ja. Das an Nutzende ausgelieferte Modell enthält die während der PPO-Phase aktualisierten Gewichte. Zur Inferenzzeit läuft kein externes Belohnungsmodell.

Der praktische Test lautet, ob dieser Ansatz einen wiederkehrenden Arbeitsschritt verbessert, ohne Quellen, Kosten oder Fehlermöglichkeiten zu verschleiern. Beginnen Sie mit einer repräsentativen Aufgabe, behalten Sie bei folgenreichen Fehlern einen menschlichen Kontrollpunkt bei und bewerten Sie das Ergebnis neu, wenn sich Modelle und Produkte verändern.

Tool-Verzeichnis ansehen →