Was ist Transfer Learning in der KI?

Transfer Learning lässt sich leichter sinnvoll einsetzen, wenn das Konzept mit einer realen Entscheidung verbunden wird, statt als weiteres KI-Schlagwort zu gelten. Dieser Leitfaden von AI Tools Radar erklärt die Funktionsidee, relevante Abwägungen und die Fragen, die vor der Einführung eines Tools oder Workflows wichtig sind.

Transfer Learning ist eine Methode des maschinellen Lernens, die ein bereits auf einem großen Datensatz trainiertes Modell mit deutlich weniger Daten an eine neue, aber verwandte Aufgabe anpasst. Die Technik nutzt die zuvor gelernten Muster erneut, statt bei zufälligen Gewichten zu beginnen.

Der Ansatz ist heute wichtig, weil das Training großer Modelle von Grund auf teuer geworden ist. Forschende und Entwicklungsteams suchen nach Wegen, bestehende Arbeit weiterzuverwenden, und Transfer Learning bietet dafür einen direkten Ansatz. Untersuchungen der MIT Technology Review zeigen, dass die Anpassung vortrainierter Modelle in vielen Bereichen sowohl Rechenzeit als auch den Bedarf an gelabelten Daten senkt.

Beim Transfer Learning wird ein Modell zunächst für eine Aufgabe trainiert, die gelernten Parameter werden gespeichert und anschließend als Ausgangspunkt für eine zweite Aufgabe genutzt. Für die Quellaufgabe stehen meist reichlich Daten zur Verfügung. Für die Zielaufgabe oft wesentlich weniger.

Drei Kerneigenschaften unterscheiden Transfer Learning vom Standardtraining. Erstens teilen Quell- und Zielaufgabe eine gewisse Struktur, etwa visuelle Merkmale oder sprachliche Muster. Zweitens behält das Modell den Großteil seiner früheren Parameter, statt sie zurückzusetzen. Drittens benötigt der Prozess im Zielbereich weniger gelabelte Beispiele, weil das Modell nützliche Repräsentationen bereits kennt.

Der Ablauf folgt vier Hauptphasen. Jede baut auf der vorherigen auf, um Wissen aus dem Quellbereich in den Zielbereich zu übertragen.

Phase 1: Vortraining für die Quellaufgabe. Ein großes Modell wird auf einem breiten Datensatz trainiert, etwa ImageNet für Bilder oder einem Textkorpus für Sprache. Ziel ist es, allgemeine Merkmale zu lernen, die in vielen Beispielen vorkommen. Diese Phase verbraucht den größten Teil der Rechenleistung.

Phase 2: Merkmalsextraktion. Nach dem Vortraining besitzt das Modell Schichten, die Kanten, Texturen oder Wortbeziehungen erkennen. Diese Schichten werden eingefroren oder nur leicht aktualisiert. Die extrahierten Merkmale dienen als Eingabe für die Zielaufgabe.

Phase 3: Feinabstimmung. Ein kleinerer Ausgabekopf oder einige obere Schichten werden mit dem Ziel-Datensatz aktualisiert. Die Lernraten bleiben niedrig, damit nützliches Wissen aus der Quelle nicht zerstört wird. Der Prozess konvergiert meist in wesentlich weniger Epochen als ein Training von Grund auf.

Phase 4: Bewertung und Anpassung. Das angepasste Modell wird mit zurückgehaltenen Daten aus dem Zielbereich getestet. Bleibt die Leistung zurück, können Entwicklungsteams weitere Schichten freigeben oder domänenspezifische Daten ergänzen. Eine Arbeit aus Nature Machine Intelligence von 2019 zeigte, dass eine sorgfältige Schichtauswahl negativen Transfer verhindert, wenn Aufgaben zu stark voneinander abweichen.

Teams für Computer Vision nutzen Transfer Learning, um medizinische Bilder zu klassifizieren, nachdem sie mit ImageNet-Gewichten gestartet sind. Das vortrainierte Modell erkennt bereits Formen und Texturen, sodass der medizinische Datensatz nur Hunderte statt Zehntausende Beispiele benötigt.

Teams für natürliche Sprachverarbeitung stimmen BERT auf juristische oder finanzielle Texte fein ab. Das Modell bringt ein allgemeines Sprachverständnis aus seinem ursprünglichen Training mit und lernt dann mit überschaubaren zusätzlichen Daten den Fachwortschatz der Domäne.

Spracherkennungssysteme passen Modelle, die mit englischen Podcasts trainiert wurden, an neue Akzente oder Sprachen an. Die zuvor gelernten akustischen Merkmale verringern die Zahl der Stunden transkribierter Audiodaten, die für die neue Umgebung erforderlich sind.

In der Robotik übertragen Forschende Fähigkeiten zur visuellen Navigation auf unterschiedliche Roboterkörper. Die Wahrnehmungsschichten bleiben ähnlich, während Steuerungsschichten an neue Hardware angepasst werden.

Häufige Fragen zu Transfer Learning in der KI.

Frage: Ist Transfer Learning dasselbe wie Feinabstimmung?

Antwort: Transfer Learning bezeichnet die übergeordnete Strategie, ein vortrainiertes Modell wiederzuverwenden. Feinabstimmung ist ein konkreter Schritt innerhalb dieser Strategie, bei dem das Modell für die Zielaufgabe aktualisiert wird.

Frage: Verbessert Transfer Learning die Ergebnisse immer?

Antwort: Nein. Wenn Quell- und Zielaufgabe stark voneinander abweichen, kann die Leistung sinken. Dieser negative Transfer zeigt sich etwa dann, wenn visuelle Merkmale aus natürlichen Fotos die Genauigkeit bei mikroskopischen Bildern beeinträchtigen.

Frage: Wie viele Daten benötigt die Zielaufgabe trotzdem?

Antwort: Die Menge variiert, doch in den meisten berichteten Fällen reichen 10- bis 100-mal weniger gelabelte Daten als beim Training von Grund auf. Die genauen Werte hängen von Aufgabenähnlichkeit und Modellgröße ab.

Frage: Funktioniert Transfer Learning auch mit kleinen Modellen?

Antwort: Ja. Kleinere, auf ImageNet oder ähnlichen Datensätzen vortrainierte Modelle liefern weiterhin nützliche Merkmale. Die Gewinne sind geringer als bei großen Modellen, doch die Methode bleibt auf Edge-Geräten praktikabel.

Frage: Was geschieht, wenn sich die neue Domäne im Laufe der Zeit verändert?

Antwort: Modelle können unter katastrophalem Vergessen leiden. Das regelmäßige erneute Einspielen älterer Beispiele oder ein schrittweises Freigeben von Schichten hilft, frühere Leistung zu erhalten und zugleich neue Muster aufzunehmen.

Der praktische Test lautet, ob dieser Ansatz einen wiederkehrenden Arbeitsschritt verbessert, ohne Quellen, Kosten oder Fehlermöglichkeiten zu verschleiern. Beginnen Sie mit einer repräsentativen Aufgabe, behalten Sie bei folgenreichen Fehlern einen menschlichen Kontrollpunkt bei und bewerten Sie das Ergebnis neu, wenn sich Modelle und Produkte verändern.

Tool-Verzeichnis ansehen →