Multimodale KI ist ein KI-System, das mehrere Eingabetypen — darunter Text, Bilder, Audio und Video — in einem einzigen Modell verarbeitet und über sie hinweg Schlussfolgerungen zieht. Statt jeweils nur ein Format zu verarbeiten, kann ein solches System ein Diagramm betrachten, den zugehörigen Bericht lesen und Fragen beantworten, die das Verständnis beider gleichzeitig erfordern.
Diese Modelle akzeptieren Eingaben, die über Text hinausgehen: Fotografien und Diagramme, Tonaufnahmen und Sprache, Videosequenzen sowie gescannte oder handschriftliche Dokumente. Das Modell erkennt nicht nur, dass ein Bild vorhanden ist; es interpretiert dessen Inhalt und setzt seine Bedeutung zu beigefügtem Text oder Fragen in Beziehung.
Wenn Sie einem multimodalen Modell ein Verkaufsdiagramm zeigen und fragen „Was verursachte den Einbruch im März?“, beschreibt es nicht erst das Diagramm und beantwortet die Frage getrennt. Es liest die visuellen Daten und Ihre Frage zusammen und erzeugt eine Antwort, die beide Quellen integriert. Dieses gemeinsame Schlussfolgern ist das bestimmende Merkmal des Ansatzes.
Die zentrale Erkenntnis von CLIP, dem von OpenAI auf 400 Millionen Bild-Text-Paaren trainierten Modell, lautet, dass Encoder unterschiedlicher Modalitäten auf kompatible Repräsentationen trainiert werden können. Werden sie mit Daten aus Bildern und ihren Beschreibungen trainiert, lernen Bild- und Textencoder, passende Inhalte an ähnlichen Positionen im Vektorraum abzulegen.
Modalitätsübergreifende Ausrichtung ist wirklich schwierig. Kleine Unterschiede in der Kodierung von Modalitäten erzeugen sich verstärkende Schlussfolgerungsfehler. Halluzinationen, schon bei Textmodellen ein Problem, sind bei multimodalen Systemen schwerer zu erkennen: Das Modell kann selbstsicher etwas in einem Bild beschreiben, das dort nicht vorhanden ist, und der Fehler ist schwerer zu prüfen als eine falsche Textbehauptung. Auch Datenknappheit ist eine Herausforderung: Hochwertige gepaarte Beispiele aus Bild, Text und Audio sind deutlich seltener als reine Texttrainingsdaten.
Nutzen Sie Single-modale KI, wenn Ihre Aufgabe einen klaren Eingabetyp umfasst und Präzision zählt. Nutzen Sie den multimodalen Ansatz, wenn die Informationen, über die Sie nachdenken müssen, über mehrere Formate verteilt sind und sich nicht allein auf Text reduzieren lassen.
Technisches Debugging. Entwickler fügen einen Screenshot eines Fehlers zusammen mit einer Beschreibung des ausgeführten Codes ein. Ein multimodales Modell liest beides, identifiziert den konkreten visuellen Fehlerzustand und schlägt eine Lösung vor, die den Kontext aus beiden Quellen berücksichtigt.
Verarbeitung von Dokumenten und Anmerkungen. Gescannte Dokumente mit handschriftlichen Anmerkungen, mehrsprachigen Formularen oder eingebetteten Diagrammen lassen sich als Ganzes verarbeiten. Das Modell liest gedruckten Text, interpretiert Handschrift und schlussfolgert über Diagramme oder Tabellen, ohne separate Vorverarbeitungsschritte zu brauchen.
F: Brauche ich das für Notizen oder Wissensmanagement?
A: Nicht unbedingt für einfache Textnotizen. Wenn Ihre Wissensbasis jedoch Besprechungsaufzeichnungen, Screenshots, gescannte Dokumente oder andere Nicht-Text-Erfassungen umfasst, machen erst diese Fähigkeiten solche Inhalte durchsuchbar und nutzbar statt bloß gespeichert. Je mehr Wissen außerhalb getippten Texts liegt, desto relevanter werden multimodale Fähigkeiten.