Que sont les Small Language Models (SLM) ?

Pourquoi choisir un SLM pour votre entreprise ?

Concernant l’IA générative et les modèles qui la soutiennent, la simplicité est parfois la meilleure stratégie. De nombreuses entreprises estiment que les modèles de langage de petite taille, ou SLM (Small Language Model), conçus pour des tâches très spécifiques peuvent s’avérer plus efficaces que les modèles de langage de grande taille, ou LLM (Large Language Model). Moins coûteux à entraîner et à tenir à jour, ces modèles de petite taille se révèlent souvent plus performants que les gigantesques modèles polyvalents à l’approche fourre-tout. 

Nous allons expliquer l’attrait des modèles de petite taille, leur fonctionnement et les avantages qu’ils peuvent présenter pour votre entreprise. Nous répondrons aux questions suivantes :

• Qu’est-ce qu’un Small Language Models (SLM) ?
• Pourquoi les Large Languauge Models (LLM) sont-ils si onéreux ?
• En quoi les Small Language Models sont-ils différents ?
• Comment les Small Language Models rendent-ils possible l’IA intégrée à l’appareil ?

Qu’est-ce qu’un Small Language Models (SLM) ?

Un Small Language Model est un algorithme d’apprentissage machine qui a été entraîné sur un jeu de données nettement plus petit, plus spécifique et souvent de meilleure qualité que ceux des LLM. Il repose sur beaucoup moins de paramètres (les configurations que l’algorithme apprend à partir des données lors de l’entraînement) et présente une architecture plus simple. Comme les LLM (les systèmes d’IA avancés entraînés sur de grandes quantités de données), les Small Language Models peuvent comprendre et générer des textes qui semblent rédigés par des humains. 

Généralement déployés pour prendre en charge une seule tâche bien spécifique (comme répondre aux questions des clients sur un produit donné, résumer les appels commerciaux ou rédiger des e-mails marketing), les modèles de petite taille peuvent s’avérer plus efficaces et plus rapides en termes de calcul que les LLM tant en raison de leur petite taille que de la meilleure qualité et du ciblage accru des données. Ainsi, vous pouvez économiser du temps et de l’argent et gagner en efficacité en intégrant dans votre architecture des Small Language Models spécifiques à un sujet. 

Prenons un exemple : les Small Language Models ne sont pas conçus pour vous aider à faire une recherche sur les tendances dans le secteur de la santé. Ils pourront en revanche permettre à une entreprise du domaine de la santé de répondre aux questions des clients sur un nouveau programme de prévention du diabète.

Les différences entre les modèles de petite et de grande taille s’articulent autour de trois axes : le coût, la pertinence et la complexité.

Pourquoi les Large Language Models (LLM) sont-ils si onéreux ?

Un LLM est un type d’IA capable de générer des réponses semblables à celles d’un humain en traitant des entrées en langage naturel, ou prompts. Pour ce faire, les LLM sont entraînés sur de gigantesques jeux de données, ce qui leur permet de comprendre un vaste ensemble d’informations. 

Tout ce traitement des informations nécessite d’énormes ressources en termes de calcul. Plus le modèle d’IA est grand, plus l’entraînement, la puissance de calcul et l’énergie nécessaires reviennent chers (sans parler des frais de maintenance en aval). ChatGPT-4 d’OpenAI, par exemple, représente un investissement supérieur à 100 millions de dollars. Chaque paramètre augmente le prix, lequel est multiplié par chaque donnée en entrée, que l’on appelle jeton. C’est pourquoi même des tâches apparemment élémentaires, comme répondre à une question simple (« Quelle est la capitale de l’Allemagne ? ») sont gourmandes en ressources et coûteuses. 

La vidéo ci-dessous de Salesforce AI Research présente plus en détail les SLM.

En d’autres termes, dans de nombreux cas, les LLM à usage général, reposant sur des dizaines de millions de paramètres, sont disproportionnés pour des utilisateurs métiers qui doivent réaliser des tâches spécifiques. 

« Le nombre de paramètres n’est qu’une des nombreuses variables qui déterminent la capacité d’une solution d’IA à résoudre des problèmes concrets », explique Silvio Savarese, président exécutif et responsable scientifique chez Salesforce. 

(Pour plus d’informations sur les cas où le recours à des LLM est indispensable et ceux où il ne l’est pas, consultez ces questions/réponses avec Silvio Savarese.)

Ensuite, les LLM exigent d’énormes jeux de données de haute qualité. L’acquisition et le prétraitement de ces données peuvent prendre du temps et se révéler très coûteux. Leur entraînement occasionne également un surcroît de travail et de dépenses : il faut s’assurer que les données sont variées et qu’elles reflètent la population qu’elles impacteront. La mise en place et la maintenance de l’infrastructure requise (comme le cloud computing et le matériel spécialisé) peuvent également être extrêmement onéreuses. 

En quoi les Small Language Models sont-ils différents ?

Des modèles de petite taille, hautement entraînés et dédiés à des tâches spécifiques peuvent constituer une meilleure option pour de nombreuses entreprises, toutes tailles confondues. Leurs avantages : 

Des coûts réduits

Les LLM sont gourmands en énergie et en ressources. Les Small Language Models requièrent également de l’énergie et des ressources, mais comme l’ensemble de données dans lequel ils puisent est nettement plus petit et plus spécifique, les exigences système (et les coûts finaux) sont bien moindres. Et comme les modèles de petite taille nécessitent beaucoup moins de ressources de calcul, ils consomment moins d’énergie et d’eau que les modèles à usage général, ce qui permet de réduire les coûts et l’impact sur l’environnement. 

Des performances supérieures

La pertinence de l’IA générative, c’est-à-dire sa capacité à produire des réponses utiles, applicables et adaptées aux besoins des entreprises, est un défi de taille. Les utilisateurs métiers ont besoin de solutions claires pour répondre à des demandes spécifiques, sans complexité inutile. 

Comme l’a écrit Silvio Savarese dans cet article, « rien ne peut remplacer des centaines de milliards de paramètres lorsque l’on veut répondre à tous les besoins. Mais pour les entreprises, cette capacité est presque totalement inutile. »

En adoptant la bonne stratégie, des Small Language Models (SLM) conçus pour des tâches spécifiques bien définies, comme la recherche de connaissances ou l’assistance technique, peuvent facilement surpasser les modèles de grande taille.  

Des modèles open source de petite taille tels que xGen de Salesforce sont systématiquement plus performants que des modèles de grande taille, car ils s’appuient sur des stratégies plus efficaces de pré-entraînement et de préparation des données. xGen, par exemple, est entraîné sur des séquences de données plus longues, ce qui lui permet de résumer de grands volumes de texte, d’écrire du code, etc. 

Une meilleure précision

La précision du modèle dépend de la qualité et de la quantité de données sur lesquelles il a été entraîné. Les LLM étant entraînés sur des quantités colossales de données provenant de l’ensemble d’Internet, la plupart de ces données ne sont pas pertinentes pour la tâche que l’utilisateur métier veut réaliser. Les Small Language Models, tels que xGen, sont quant à eux entraînés sur des données métiers semblables à celles d’un système de gestion de la relation client (CRM) dont disposerait le client. 

« xGen est exclusivement axé sur ces tâches spécifiques et il est très efficace dans ce domaine », explique Kathy Baxter, architecte en chef, responsable des pratiques d’IA éthique chez Salesforce. 

La petite taille des modèles permet un processus d’apprentissage plus ciblé : ils s’adaptent plus vite aux nuances de certains jeux de données ou de certaines applications. C’est un aspect important pour les entreprises qui recherchent des capacités d’IA spécialisées parce qu’ils gèrent mieux les tâches spécifiques. 

Comment les Small Language Models rendent-ils possible l’IA intégrée à l’appareil ?

Les utilisateurs métiers qui se déplacent peuvent utiliser leur téléphone pour accéder aux LLM basés sur le Cloud. Avec toutefois certaines contraintes : il est nécessaire de disposer d’une connexion à Internet, et les performances dépendent entièrement de la qualité de cette connexion. 

Et si vous aviez un Small Language Model sur votre téléphone, qui fonctionnerait même lorsque vous êtes déconnecté ? Salesforce Research travaille précisément sur ce sujet avec xGen-Mobile, un modèle suffisamment petit pour tenir sur un téléphone, mais assez puissant pour effectuer des tâches avec précision et rapidité.

Les premières itérations seront axées sur le service et les ventes sur le terrain. Concernant le service sur le terrain, imaginez un technicien devant diagnostiquer un problème lié à une machine à laver chez le client. La connexion à Internet peut être instable ou inexistante, par exemple dans une cave, mais cela ne posera pas de problème. Le technicien peut accéder au Small Language Model stocké sur son appareil et obtenir instantanément des réponses à ses questions. 

Les prochaines itérations de xGen-Mobile prendront en charge des capacités multimodales. Par exemple, si le technicien prend une photo d’une pièce endommagée et couverte de graisse, le modèle la reconnaîtra, ce qui facilitera la commande d’une nouvelle pièce. En prenant une photo ou en enregistrant un son, le technicien pourra obtenir des recommandations pour résoudre les problèmes les plus susceptibles de se produire. 

Autre avantage : l’exécution des calculs s’effectuant sur l’appareil, les coûts s’en trouvent réduits, car aucune donnée n’est envoyée pour traitement dans le Cloud. En outre, vous pouvez contextualiser le modèle avec les données présentes sur votre appareil et le personnaliser en fonction de vos besoins.  

« Ces modèles peuvent être contextualisés avec les informations figurant sur l’appareil d’un utilisateur », explique Kathy Baxter. « Cela signifie qu’ils seront à terme hautement personnalisés, ce qui les rendra encore plus intéressants. » 

Une meilleure confidentialité des données

Contrairement à certaines sources externes basées sur des API, les Small Language Models comme XGen appliquent des mesures strictes de confidentialité des données. Cette approche est conforme aux restrictions imposées par Salesforce en matière de conservation des données clients au sein de sa propre plate-forme sécurisée. XGen protège mieux la confidentialité, car le modèle s’exécute sur un appareil mobile, à l’endroit où se trouvent les données. C’est une bonne solution pour les secteurs d’activité réglementés sensibles, tels que les banques et la santé, qui sont soumis à des restrictions quant à la manière dont ils peuvent partager des informations et aux personnes avec lesquelles ils peuvent le faire.

Petit mais puissant

Les modèles de petite taille peuvent être affinés pour des tâches ou des secteurs spécifiques afin d’obtenir des réponses plus pertinentes et plus précises sans avoir à traiter d’informations inutiles. Ils sont donc parfaitement adaptés à des applications où la rapidité, le coût et la précision sont essentiels, dans la mesure où ils offrent des solutions spécifiques sans lourdeur excessive.