Künstliche Intelligenz ist ein sich schnell entwickelndes Gebiet, in dem in der multimodalen Forschung die neuesten Fortschritte beim Trainieren von Algorithmen zur Erstellung von Foundation Models angewendet werden. In dieser Disziplin gab es bereits multimodale Innovationen wie audiovisuelle Spracherkennung und die Indizierung von Multimedia-Inhalten, die sich entwickelt hatten, bevor Fortschritte in den Bereichen Deep Learning und Data Science den Weg für die generative KI ebneten.

Heute wird multimodale KI in der Praxis in allen möglichen Anwendungsfällen eingesetzt, von der Analyse medizinischer Bilder im Gesundheitswesen bis hin zur Verwendung von Computer Vision zusammen mit anderen sensorischen Eingaben in KI-gestützten autonomen Fahrzeugen.

Ein Artikel von Carnegie Mellon aus dem Jahr 2022 beschreibt drei Merkmale multimodaler KI: Heterogenität, Verbindungen und Interaktionen.¹ Heterogenität bezieht sich auf die unterschiedlichen Eigenschaften, Strukturen und Repräsentationen von Modalitäten. Eine Textbeschreibung einer Veranstaltung unterscheidet sich in Qualität, Struktur und Repräsentation grundlegend von einer Fotografie derselben Veranstaltung.

Verbindungen bezieht sich auf die komplementären Informationen, die zwischen verschiedenen Modalitäten ausgetauscht werden. Diese Verbindungen können sich in statistischen Ähnlichkeiten oder in semantischen Entsprechungen widerspiegeln. Interaktionen schließlich beziehen sich darauf, wie die verschiedenen Modalitäten zusammenwirken, wenn sie zusammengebracht werden.

Die größte technische Herausforderung für multimodale KI besteht darin, verschiedene Arten von Daten effektiv zu integrieren und zu verarbeiten, um Modelle zu erstellen, die die Stärken der einzelnen Modalitäten nutzen und gleichzeitig ihre individuellen Grenzen überwinden können. Die Autoren des Artikels nannten auch verschiedene Herausforderungen: Darstellung, Ausrichtung, Argumentation, Generierung, Transfer und Quantifizierung.

• Darstellung bezieht sich darauf, wie multimodale Daten dargestellt und zusammengefasst werden können, um die Heterogenität und die Verbindungen zwischen den Modalitäten widerzuspiegeln. In der Praxis werden spezialisierte neuronale Netze (z. B. CNNs für Bilder, Transformer für Text) eingesetzt, um Merkmale zu extrahieren, sowie gemeinsame Einbettungsräume oder Aufmerksamkeitsmechanismen für das Repräsentationslernen verwendet.

• Ausrichtung zielt darauf ab, Verbindungen und Wechselwirkungen zwischen den Elementen zu erkennen. Fachleute verwenden zum Beispiel Techniken für die zeitliche Ausrichtung von Video- und Audiodaten und die räumliche Ausrichtung von Bildern und Text.

• Argumentation zielt darauf ab, Wissen aus multimodaler Evidenz zusammenzustellen, in der Regel durch mehrere Inferenzschritte.

• Bei der Generierung geht es darum, einen generativen Prozess zu erlernen, um Rohmodalitäten zu erzeugen, die modalitätsübergreifende Interaktionen, Struktur und Kohärenz widerspiegeln.

• Transfer zielt auf den Wissenstransfer zwischen den Modalitäten ab. Fortschrittliche Transfer-Lerntechniken und gemeinsame Einbettungsräume ermöglichen den Transfer von Wissen über Modalitäten hinweg.

• Quantifizierung umfasst empirische und theoretische Studien zum Verständnis des multimodalen Lernens, um ihre Leistung innerhalb multimodaler Modelle besser bewerten zu können.

  Multimodale Modelle fügen großen Sprachmodellen (LLMs), die auf Transformern basieren, die ihrerseits auf einer Encoder-Decoder-Architektur mit einem Aufmerksamkeitsmechanismus zur effizienten Verarbeitung von Daten basieren, eine Komplexitätsebene hinzu. Multimodale KI nutzt Datenfusionstechniken, um verschiedene Modalitäten zu integrieren. Diese Fusion kann als früh (wenn Modalitäten in das Modell kodiert werden, um einen gemeinsamen Darstellungsraum zu schaffen), mittel (wenn Modalitäten in verschiedenen Vorverarbeitungsstadien kombiniert werden) und spät (wenn mehrere Modelle unterschiedliche Modalitäten verarbeiten und die Ausgaben kombinieren) beschrieben werden.