Comprendre l’apprentissage par renforcement à partir de retours humains (RLHF) est plus simple lorsque le concept est relié à une décision concrète plutôt que traité comme un nouveau mot-clé lié à l’IA. Ce guide d’AI Tools Radar s’intéresse au principe de fonctionnement, aux compromis importants et aux questions à se poser avant d’adopter un outil ou une méthode.
Le RLHF est la méthode qui a transformé les grands modèles de langage, autrefois générateurs de texte fluide mais peu fiables, en assistants capables de suivre des instructions. Il consiste à recueillir des évaluations humaines des sorties du modèle, à entraîner un modèle distinct pour prédire ces évaluations, puis à utiliser l’apprentissage par renforcement afin d’orienter le modèle initial vers les réponses les mieux notées.
Cette approche s’est largement fait connaître après son utilisation par OpenAI pour créer ChatGPT. Sans RLHF, les premiers modèles produisaient souvent des textes grammaticalement corrects, mais hors sujet, répétitifs ou dangereux. L’ajout de retours humains a donné aux développeurs une méthode pratique pour aligner le comportement du modèle sur les attentes des utilisateurs.
À retenir. • Le RLHF est un pipeline en trois étapes : il commence par un ajustement supervisé, ajoute un modèle de récompense entraîné sur des évaluations humaines, puis se termine par un apprentissage par renforcement via PPO. • Les évaluateurs humains constituent l’unique source de vérité ; le modèle de récompense apprend simplement à imiter leurs préférences. • L’étape finale d’optimisation améliore la qualité des réponses sans nécessiter davantage de données textuelles annotées. • Le RLHF a des limites : il peut intégrer les biais des évaluateurs et ne garantit pas l’exactitude factuelle. • Toute personne travaillant avec de grands modèles devrait comprendre ces étapes, car la plupart des systèmes de chat publics s’y appuient désormais.
Définition de l’apprentissage par renforcement à partir de retours humains.
Le RLHF est une technique d’entraînement qui aligne les sorties d’un modèle de langage sur les jugements humains. Il associe l’apprentissage supervisé sur des données de démonstration à l’apprentissage par renforcement guidé par un modèle de récompense qui note les réponses selon les préférences humaines (Ouyang et al., 2022). Trois éléments définissent cette approche. Premièrement, elle exige un modèle initial déjà capable de générer du texte. Deuxièmement, elle nécessite un modèle de récompense distinct entraîné sur des classements humains de sorties. Troisièmement, elle utilise un algorithme d’apprentissage par renforcement, le plus souvent PPO (Schulman et al., 2017), pour mettre à jour le modèle initial afin que ses sorties obtiennent des scores de récompense plus élevés.
Cette méthode diffère de l’ajustement supervisé classique, car elle optimise une fonction de préférence apprise plutôt que des étiquettes fixes. Elle se distingue aussi de l’apprentissage par renforcement pur puisque le signal de récompense provient de données humaines et non d’un environnement conçu à cet effet.
Comment fonctionne le RLHF.
Le processus se déroule en trois étapes successives. Chaque étape s’appuie sur la précédente.
Étape 1 : ajustement supervisé sur des données de démonstration. Dans l’article InstructGPT, 40 annotateurs ont rédigé 12 000 réponses de démonstration. Le modèle de base est ensuite affiné sur ce nouveau jeu de données par apprentissage supervisé classique. On obtient ainsi un modèle qui produit un texte plus cohérent et suit mieux les instructions que la version préentraînée d’origine. L’IA constitutionnelle d’Anthropic étend cette étape en recourant à des critiques générées par l’IA pour réduire la dépendance aux démonstrations écrites par des humains.
Étape 2 : entraînement du modèle de récompense. Le modèle affiné génère plusieurs réponses candidates pour un même prompt. Des évaluateurs humains classent ces réponses de la meilleure à la moins bonne. Ces classements deviennent les données d’entraînement d’un second modèle dont la seule fonction est de prédire la réponse qu’un humain préférerait. Le modèle de récompense ne génère pas de texte : il produit uniquement un score scalaire.
Étape 3 : apprentissage par renforcement avec PPO. Le modèle initial est mis à jour à l’aide de PPO, le modèle de récompense servant de source de retour. À chaque cycle, le modèle échantillonne des réponses, le modèle de récompense les note et PPO ajuste les poids du modèle pour accroître la probabilité de sorties très bien notées. Un terme de pénalité KL empêche le modèle de trop s’éloigner de son point de départ supervisé.
C’est à cette dernière étape que se produit la majeure partie de l’amélioration de l’alignement. Elle permet au modèle d’explorer des styles de réponse qui n’avaient jamais été montrés explicitement dans les données de démonstration.
RLHF comparé à l’ajustement supervisé seul.
Signal d’entraînement • RLHF : utilise un modèle de récompense appris qui note les nouvelles réponses. • Ajustement supervisé : utilise uniquement des étiquettes fixes rédigées par des humains.
Efficacité des données • RLHF : peut améliorer la qualité avec des données de classement moins coûteuses à collecter que des démonstrations complètes. • Ajustement supervisé : requiert des réponses complètes et correctes pour chaque prompt.
Risque de sur-optimisation • RLHF : peut surapprendre les préférences des évaluateurs si le modèle de récompense est faible. • Ajustement supervisé : reste limité aux schémas présents dans l’ensemble annoté.
Quand choisir chaque approche Utilisez l’ajustement supervisé lorsque des données de démonstration de haute qualité sont abondantes. Passez au RLHF lorsque vous avez besoin que le modèle généralise au-delà des exemples fournis et lorsque la collecte de classements par paires est plus rapide que la rédaction de réponses complètes.
Exemple détaillé de classement humain et de scores de récompense.
Prompt : « Explique l’informatique quantique à un enfant de 10 ans. » Réponse A : « L’informatique quantique utilise de minuscules particules qui peuvent être dans deux états à la fois, comme une pièce qui tourne. » (Classement de l’évaluateur : 1 ; score du modèle de récompense : 0,92) Réponse B : « C’est un type d’ordinateur fondé sur les principes de la mécanique quantique, dont la superposition. » (Classement de l’évaluateur : 2 ; score du modèle de récompense : 0,71) Réponse C : « Les bits quantiques sont meilleurs que les bits normaux pour les calculs. » (Classement de l’évaluateur : 3 ; score du modèle de récompense : 0,45)
Le détournement de récompense se produit lorsque le modèle exploite les défauts du modèle de récompense, par exemple en générant des réponses longues mais creuses que les évaluateurs avaient initialement très bien notées. L’effondrement de modes apparaît lorsque l’entraînement PPO conduit le modèle à répéter la même formulation très bien notée pour des prompts sans rapport, ce qui réduit la diversité des sorties.
Les équipes de support client emploient des modèles entraînés par RLHF pour produire des réponses conformes aux règles de ton de l’entreprise. Les chercheurs appliquent le même pipeline à des assistants de rédaction scientifique afin que les synthèses respectent les préférences d’exactitude des citations exprimées par des experts du domaine. Les équipes de sécurité des fournisseurs de modèles s’appuient sur le RLHF pour réduire les sorties toxiques ou biaisées en entraînant des modèles de récompense sur des paires qui respectent ou enfreignent les politiques.
Questions fréquentes sur le RLHF.
R : Non. Le modèle de récompense n’apprend que les préférences humaines relatives au style, à l’utilité et à la sécurité. Il ne vérifie pas les faits, sauf si les évaluateurs pénalisent explicitement les inexactitudes.
R : L’étape du modèle de récompense exige généralement des dizaines de milliers de comparaisons classées. Le nombre exact dépend de la diversité des réponses et de la cohérence des évaluateurs.
R : Il réduit la fréquence des réponses indésirables, mais ne peut pas les éliminer entièrement. Les désaccords entre évaluateurs et les erreurs du modèle de récompense laissent subsister un risque résiduel.
R : La plupart des systèmes publics utilisent PPO, mais les chercheurs ont testé des solutions comme DPO, qui évitent le modèle de récompense distinct. PPO reste l’option par défaut parce qu’elle est stable et bien comprise.
Q : Le RLHF modifie-t-il durablement les poids du modèle ?
R : Oui. Le modèle final publié pour les utilisateurs contient les poids mis à jour pendant l’étape PPO. Aucun modèle de récompense externe n’est exécuté lors de l’inférence.
Le test pratique consiste à déterminer si cette approche améliore une partie répétable du travail sans masquer ses sources, ses coûts ni ses modes de défaillance. Commencez par une tâche représentative, gardez un contrôle humain lorsque les erreurs ont des conséquences, puis réévaluez le résultat à mesure que les modèles et les produits évoluent.
Nous croisons sources primaires, documentation produit et cas d’usage réels pour vous aider à déterminer si un outil convient à votre manière de travailler.