Comprendre ce qu’est l’apprentissage par transfert et comment l’IA réutilise les connaissances entre domaines est plus simple lorsque le concept est relié à une décision concrète plutôt que traité comme un nouveau mot-clé lié à l’IA. Ce guide d’AI Tools Radar s’intéresse au principe de fonctionnement, aux compromis importants et aux questions à se poser avant d’adopter un outil ou une méthode.
L’apprentissage par transfert est une méthode d’apprentissage automatique qui prend un modèle déjà entraîné sur un vaste jeu de données et l’adapte à une tâche nouvelle mais apparentée avec beaucoup moins de données. La technique réutilise les motifs appris auparavant par le modèle au lieu de partir de poids aléatoires.
Cette approche est importante aujourd’hui, car entraîner de grands modèles à partir de zéro est devenu coûteux. Chercheurs et ingénieurs cherchent des moyens de réutiliser le travail existant, et l’apprentissage par transfert offre une voie directe. Des études relayées par MIT Technology Review montrent que l’adaptation de modèles préentraînés réduit à la fois le temps de calcul et les besoins en données annotées dans de nombreux domaines.
L’apprentissage par transfert entraîne un modèle sur une première tâche, stocke les paramètres appris, puis utilise ces paramètres comme point de départ pour une seconde tâche. La tâche source dispose généralement de données abondantes. La tâche cible en possède souvent beaucoup moins.
Trois attributs essentiels distinguent l’apprentissage par transfert de l’entraînement standard. Premièrement, les tâches source et cible partagent une certaine structure, comme des caractéristiques visuelles ou des schémas linguistiques. Deuxièmement, le modèle conserve la plupart de ses paramètres antérieurs au lieu de les réinitialiser. Troisièmement, le processus exige moins d’exemples annotés dans le domaine cible, car le modèle connaît déjà des représentations utiles.
Le processus se déroule en quatre grandes étapes. Chaque étape s’appuie sur la précédente pour transférer les connaissances du domaine source au domaine cible.
Étape 1 : préentraînement sur la tâche source. Un grand modèle s’entraîne sur un vaste jeu de données, tel qu’ImageNet pour la vision ou un corpus textuel pour le langage. L’objectif est d’apprendre des caractéristiques générales qui apparaissent dans de nombreux exemples. Cette étape consomme le plus de ressources de calcul.
Étape 2 : extraction des caractéristiques. Après le préentraînement, le modèle contient des couches qui détectent des contours, des textures ou des relations entre les mots. Ces couches sont figées ou légèrement mises à jour. Les caractéristiques extraites servent d’entrée pour la tâche cible.
Étape 3 : ajustement fin. Une tête plus petite ou quelques couches supérieures sont mises à jour sur le jeu de données cible. Les taux d’apprentissage restent faibles afin d’éviter de détruire les connaissances utiles de la source. Le processus converge généralement en beaucoup moins d’époques qu’un entraînement depuis zéro.
Étape 4 : évaluation et ajustement. Le modèle adapté est exécuté sur des données cibles mises de côté. Si ses performances sont insuffisantes, les ingénieurs peuvent dégeler davantage de couches ou ajouter des données spécifiques au domaine. Un article de 2019 paru dans Nature Machine Intelligence a montré qu’une sélection prudente des couches évite le transfert négatif lorsque les tâches diffèrent trop.
Les équipes de vision par ordinateur utilisent l’apprentissage par transfert pour annoter des images médicales en partant de poids ImageNet. Le modèle préentraîné reconnaît déjà les formes et les textures ; le jeu de données médical ne nécessite donc que quelques centaines d’exemples au lieu de dizaines de milliers.
Les équipes de traitement du langage naturel ajustent finement BERT sur des textes juridiques ou financiers. Le modèle apporte la compréhension générale du langage acquise lors de son entraînement initial, puis apprend le vocabulaire du domaine avec un apport de données supplémentaire modeste.
Les systèmes de reconnaissance vocale adaptent des modèles entraînés sur des podcasts en anglais à de nouveaux accents ou de nouvelles langues. Les caractéristiques acoustiques apprises auparavant réduisent le nombre d’heures d’audio transcrit nécessaires dans le nouveau contexte.
Les chercheurs en robotique transfèrent les compétences de navigation visuelle entre différents corps robotiques. Les couches de perception restent semblables tandis que les couches de contrôle s’ajustent au nouveau matériel.
Questions fréquentes sur l’apprentissage par transfert en IA.
Q : L’apprentissage par transfert est-il la même chose que l’ajustement fin ?
R : L’apprentissage par transfert décrit la stratégie globale de réutilisation d’un modèle préentraîné. L’ajustement fin est une étape précise de cette stratégie, durant laquelle le modèle est mis à jour sur la tâche cible.
Q : L’apprentissage par transfert améliore-t-il toujours les résultats ?
R : Non. Lorsque les tâches source et cible diffèrent fortement, les performances peuvent baisser. Ce transfert négatif apparaît, par exemple, lorsque les caractéristiques visuelles apprises sur des photographies naturelles nuisent à l’exactitude sur des images microscopiques.
Q : De quelle quantité de données la tâche cible a-t-elle encore besoin ?
R : La quantité varie, mais la plupart des cas rapportés réussissent avec 10 à 100 fois moins de données annotées qu’un entraînement depuis zéro. Les chiffres exacts dépendent de la similarité des tâches et de la taille du modèle.
Q : L’apprentissage par transfert peut-il fonctionner avec de petits modèles ?
R : Oui. Des modèles plus petits préentraînés sur ImageNet ou des jeux de données similaires fournissent encore des caractéristiques utiles. Les gains sont moindres qu’avec de grands modèles, mais la méthode reste pratique sur les appareils en périphérie.
Q : Que se passe-t-il lorsque le nouveau domaine évolue au fil du temps ?
R : Les modèles peuvent souffrir d’oubli catastrophique. Réintroduire régulièrement d’anciens exemples ou dégeler progressivement les couches aide à préserver les performances antérieures tout en intégrant de nouveaux schémas.
Le test pratique consiste à déterminer si cette approche améliore une partie répétable du travail sans masquer ses sources, ses coûts ni ses modes de défaillance. Commencez par une tâche représentative, gardez un contrôle humain lorsque les erreurs ont des conséquences, puis réévaluez le résultat à mesure que les modèles et les produits évoluent.
Nous croisons sources primaires, documentation produit et cas d’usage réels pour vous aider à déterminer si un outil convient à votre manière de travailler.