Video „Was ist multimodale KI?“

Künstliche Intelligenz > Multimodale KI > Video Was ist multimodale KI?

„Willkommen bei AI Research Lab Explained, der Salesforce-Reihe, in der wir Ihnen einen Einblick in die neuen KI-Techniken geben, mit denen unser Team experimentiert. Wir erläutern komplexe Konzepte und teilen Erkenntnisse aus der Praxis, die auf unserer aktuellen Forschung basieren. Mein Name ist Juan Carlos Niebles und ich leite ein KI-Forschungsteam hier bei Salesforce.

Einer der spannendsten Bereiche der KI ist die Multimodalität, also die Fähigkeit von KI-Modellen, nicht nur Text, sondern auch Töne und Bilder zu verstehen. Das wird unser Fokus für dieses Segment sein. Warum konzentriert sich unsere Forschung auf Multimodalität? Denken Sie einmal darüber nach, wie Sie mit der Welt interagieren: Sie schreiben SMS, teilen Fotos, nehmen Videos auf, senden Sprachnotizen. Jeden Tag wechseln Sie nahtlos zwischen verschiedenen Datentypen oder Modalitäten. Sollte die KI das nicht ebenfalls tun? Denn auch in der realen Welt ist die Intelligenz nicht eindimensional.

Hier kommt multimodale KI ins Spiel. Im Gegensatz zu klassischen KI-Modellen, die nur Text oder Bilder verarbeiten, verbinden multimodale Modelle verschiedene Datenquellen – für ein tieferes, kontextreiches Verständnis. Nehmen wir zum Beispiel an, Sie geben einem multimodalen KI-System ein Video und fragen: "Was passiert hier?" Statt nur Ton oder ein einzelnes Bild zu analysieren, verarbeitet es das ganze Video mit allen Bildfolgen, erkennt Objekte, versteht Sprache und die gesamte Szene für eine wirklich relevante Antwort.

Wie entwickeln wir nun multimodale KI? Für multimodale KI werden mehrere Modelle – wie visuelle Modelle, Sprachmodelle und Textmodelle – integriert und miteinander trainiert, um sie effektiv miteinander zu verbinden. Konzeptionell funktioniert diese Architektur wie folgt: Wir beginnen mit einer sprachbasierten KI wie einem LLM, die bereits Text-Tokens versteht. Um multimodale Fähigkeiten zu ermöglichen, nehmen wir neuronale Netzwerkmodule hinzu, die als Übersetzer fungieren. Die Rolle jedes Übersetzers besteht darin, Eingaben aus einer Modalität, wie z. B. Pixeldaten aus Bildern, in ein Format umzuwandeln, das vom LLM verstanden wird. Jetzt haben wir ein KI-System, das das LLM mit diesem zusätzlichen Modul integriert, um ein Verständnis von Text und Bildern zu erreichen. Danach können wir für jede zusätzliche Modalität, wie Audio-, Video- oder Sensordaten, ein neues Modul hinzunehmen und erhalten so ein multimodales KI-System, das mehrere Arten von Daten verstehen kann.

Damit dieses Konzept funktioniert, müssen wir unser KI-System trainieren, also einen maschinellen Lernprozess anwenden, um das System anhand von Beispieldaten zu optimieren. Jedes Übersetzungsmodul, wie das Bild-zu-Token-Modul, kann unabhängig oder zusammen mit den anderen trainiert werden. Dieses Training stellt sicher, dass das Modul Bildinhalte exakt einem Vektorraum zuordnen kann, den das LLM versteht. Durch das Training gewinnt das LLM einen neuen Eingabeweg, der es ihm ermöglicht, Bilder zu verarbeiten und Antworten anhand dieser Inhalte zu generieren. Dieser Vorgang kann wiederholt werden, um weitere Modalitäten, wie Ton- oder Sensordaten, hinzuzufügen.

Interessanterweise zeigt unsere Forschung, dass dieses multimodale KI-System nach dem Training nicht nur jede Modalität separat versteht. Es kann auch modalitätsübergreifende Fragen beantworten. Wenn wir dem KI-System zum Beispiel ein Bild von einem Fußballfeld und einen Soundclip einer Gitarre geben, können wir es fragen: „Welche Eingabe ist für einen Musiker relevant?“ Dieses modalitätsübergreifende Denken ist eine der wichtigsten Funktionen der multimodalen KI.

Wie fügt sich Multimodalität nun in agentenbasierte KI-Systeme ein? Durch die Integration multimodaler KI-Funktionen in das KI-Agenten-Framework können wir Agenten effektiv in die Lage versetzen, mit mehr Datentypen zu interagieren. So könnte ein multimodaler Agent ein Bild analysieren und über seinen Inhalt nachdenken, z. B. Objekte zählen oder Muster über mehrere Bilder hinweg erkennen. Ein multimodaler Agent könnte auch visuell mit einer Webseite interagieren, Text lesen, auf Schaltflächen klicken und Formulare in Echtzeit ausfüllen. Darüber hinaus wird eine solche multimodale KI zum ‚Roboter-Gehirn‘ – sie macht künftige Roboter möglich, die ihre Umgebung sehen und zugleich mit Menschen sprechen können.

Das ist die Stärke der multimodalen KI, die verschiedene Datentypen kombiniert, um tiefere Einblicke und bessere Ergebnisse zu erzielen. Multimodale KI ist mehr als Text, Bilder und Töne. Es geht darum, der KI dabei zu helfen, die Welt so zu interpretieren, wie wir es tun. Für einen tieferen Einblick in die technischen Komponenten der multimodalen KI-Forschung bei Salesforce können Sie den Links in der Beschreibung folgen. Eine besondere Errungenschaft unseres Teams ist xGen-MM, auch BLIP genannt. Es handelt sich um ein Modell, das Text-, Bild- und Videoverarbeitung integriert, um visuelle Sprache besser zu verstehen. Unten können Sie alles darüber lesen. Wenn diese Einführung hilfreich war, geben Sie dem Video ein Like und abonnieren Sie mehr vom AI Research Lab. Danke fürs Zuschauen und bis zum nächsten Mal!“