Video: che cos'è l'AI multimodale

AI > AI multimodale > Video: che cos'è l'AI multimodale

"Ti do il benvenuto all'AI Research Lab Explained di Salesforce, la serie che presenta le nuove e più promettenti tecniche di AI che il nostro team sta studiando. Questi video analizzano con chiarezza concetti complessi, illustrando insight concreti direttamente dalle nostre ricerche più all'avanguardia. Mi chiamo Juan Carlos Niebles e dirigo un team di ricerca sull'AI in Salesforce.

Una delle frontiere più entusiasmanti dell'AI è la multimodalità, ovvero la capacità dei modelli di comprendere non solo il testo, ma anche suoni e immagini. Ed è proprio questo il tema del video di oggi. Perché le nostre ricerche si concentrano sulla multimodalità? Beh, pensa a come interagisci con il mondo: scrivi messaggi, condividi foto, registri video e invii note vocali. Ogni giorno passi con naturalezza da un tipo di dato all'altro, da una modalità all'altra. Non dovrebbe fare lo stesso anche l'AI? L'intelligenza reale non è mai monodimensionale.

Ed è qui che entra in gioco l'AI multimodale. A differenza dei modelli di AI tradizionali che elaborano un solo tipo di input, come i chatbot basati solo su testo o i classificatori di immagini, i modelli multimodali combinano più fonti di dati per ottenere una comprensione del mondo più ricca e contestuale. Ad esempio, supponiamo di inviare un video a un sistema di AI multimodale e di chiedergli che cosa sta succedendo. Invece di analizzare solo l'audio o un singolo fotogramma, il sistema elabora contemporaneamente sia il video che le sequenze di fotogrammi, quindi individua gli oggetti, riconosce il parlato e interpreta l'intera scena per generare una risposta significativa.

Ma come si crea effettivamente un'AI multimodale? L'AI multimodale funziona integrando diversi modelli, visivi, vocali e testuali, e addestrandoli insieme per farli interagire in modo efficace. Concettualmente, l'architettura si sviluppa a partire da un'AI basata su un modello linguistico (LLM) già in grado di comprendere i token testuali. Per abilitare le funzionalità multimodali, aggiungiamo moduli di reti neurali che fungono da traduttori. Il ruolo di ciascun traduttore è quello di convertire gli input provenienti da una modalità, come ad esempio i dati pixel delle immagini, in un formato che l'LLM è in grado di comprendere. In questo modo otteniamo un sistema di AI che integra l'LLM e questo modulo extra per comprendere sia il testo che le immagini. Successivamente, possiamo introdurre un nuovo modulo per ciascuna modalità aggiuntiva, come dati audio, video o provenienti da sensori, creando così un sistema di AI multimodale in grado di interpretare più tipi di dati.

Per realizzare questa idea, il sistema di AI deve essere addestrato: si tratta di un processo di machine learning che utilizza dati di esempio per ottimizzare un sistema. Ogni modulo di traduzione, come quello che converte le immagini in token, può essere addestrato in modo indipendente o insieme agli altri. Questo addestramento serve a garantire che il modulo sappia mappare correttamente il contenuto di un'immagine in uno spazio vettoriale che l'LLM sia in grado di comprendere. Una volta completato l'addestramento, l'LLM acquisisce un nuovo canale di input, che gli permette di elaborare immagini e generare risposte basate sul loro contenuto. Anche in questo caso, il processo può essere ripetuto per aggiungere ulteriori modalità, come dati audio o dati provenienti da sensori.

Un aspetto interessante emerso dalle nostre ricerche è che, dopo l'addestramento, questo sistema di AI multimodale non solo comprende ogni modalità separatamente, ma è anche in grado di rispondere a domande trasversali tra più modalità. Per esempio, se forniamo al sistema l'immagine di un campo da calcio e una clip audio con una chitarra, possiamo chiedere: "Quale di questi input è rilevante per un musicista"? Questa capacità di ragionamento cross-modale è una delle funzionalità chiave dell’AI multimodale.

Come si inserisce la multimodalità nei sistemi agentici di AI? Integrando le capacità dell'AI multimodale nel framework degli agenti di AI, possiamo permettere loro di interagire in modo efficace con più tipi di dati. Ad esempio, un agente multimodale potrebbe analizzare un'immagine e ragionare sul suo contenuto: contare oggetti o riconoscere dei pattern in più immagini. Oppure, può interagire visivamente con una pagina web, leggendo testi, cliccando pulsanti e compilando moduli in tempo reale. Inoltre, in futuro, un agente di AI multimodale di questo tipo può diventare il "cervello" di un robot, capace non solo di percepire l’ambiente tramite sensori visivi, ma anche di comunicare con gli utenti attraverso il linguaggio.

Ecco la vera forza dell'AI multimodale: combinare diversi tipi di dati per ottenere informazioni più approfondite e risultati migliori. Multimodale significa andare oltre testo, immagini e suoni: significa aiutare l'AI a interpretare il mondo come lo facciamo noi. Per approfondire gli aspetti tecnici delle ricerche sull'AI multimodale in Salesforce, puoi consultare i link nella descrizione. In particolare ti segnaliamo xGen-MM, anche conosciuto come BLIP: un modello che integra l'elaborazione di testi, immagini e video per una comprensione avanzata del linguaggio visivo. Qui sotto trovi tutti gli approfondimenti. Se questo contenuto ti è stato utile, lascia un like al video e iscriviti al canale per ulteriori aggiornamenti dall'AI Research Lab. Grazie per l'attenzione e alla prossima!"