Bienvenue dans l’ère de l’IA physique

En tant que leader mondial de la gestion des services, Salesforce ne se limite plus au canal numérique et pénètre désormais le monde physique. En connectant les processus d’entreprise aux interactions issues du monde réel, nous entrons dans l’ère de l’IA physique, où les agents Agentforce sont en mesure de percevoir, d’analyser et d’agir dans nos espaces physiques pour propulser l’entreprise dans l’ère agentique.

Salesforce et NVIDIA renforcent aujourd’hui leur partenariat stratégique en démontrant comment transformer des robots autonomes en assistants virtuels réellement productifs. À l’occasion du déploiement au sein de la Salesforce Tower de San Francisco, nous avons connecté les robots de sécurité de Cobalt à Agentforce et utilisons désormais l’IA visuelle de NVIDIA comme les « yeux » des robots. Grâce à cette technologie, ils peuvent détecter automatiquement des problèmes dans les bureaux, qu’il s’agisse d’une porte laissée ouverte ou d’une faille de sécurité, et déclencher une action corrective via Salesforce, au lieu de se contenter d’enregistrer des heures de vidéo qu’un humain devrait analyser ultérieurement.

Vers l’entreprise agentique

Dans la plupart des organisations, les espaces physiques et les systèmes numériques sont longtemps restés cloisonnés. Jusqu’ici, ce sont les humains qui faisaient le lien, en identifiant manuellement un problème puis en créant un ticket. Ce processus fragmenté entraînait un temps moyen de résolution de plus de sept minutes pour les incidents critiques en matière de sécurité.

Alors que nous entrons dans la troisième vague de l’IA où les modèles prédictifs et génératifs laissent place à des agents robotiques autonomes, cette collaboration permet aux entreprises de faire un réel bond en avant. En créant un système unifié où les robots sont en mesure de « percevoir » et où l’IA est capable d’« agir », les organisations peuvent :

• Industrialiser le travail numérique : étendre les capacités d’Agentforce au monde physique pour effectuer des tâches telles que les rondes de sécurité, la détection de risques et les inventaires.

• Passer de la réactivité à la proactivité : au lieu d’attendre qu’un humain signale un danger, une boucle autonome identifie et résout les problèmes avant qu’ils n’affectent l’entreprise, qu’il s’agisse d’un extincteur manquant ou d’une issue bloquée.

• Optimiser la gestion des actifs : au-delà des questions de sécurité, cette approche favorise une meilleure utilisation des espaces et une réduction des coûts grâce à la génération automatique de rapports d’incidents et de comptes-rendus.

Renforcer les capacités d’Agentforce grâce au NVIDIA VSS Blueprint

Pour être véritablement utile, un robot doit d’abord comprendre son environnement. En utilisant le NVIDIA Metropolis Blueprint pour la recherche et la synthèse vidéo (VSS) et le modèle de langage visuel NVIDIA Cosmos Reason, Agentforce joue le rôle de « moteur de perception » pour ces assistants agentiques.

À l’instar des robots Cobalt déployés au sein de la Salesforce Tower, un robot de bureau peut être décrit comme une caméra mobile intelligente. Sans IA, les robots génèrent des milliers d’heures de vidéos non structurées qui nécessitent une surveillance humaine. Grâce à NVIDIA VSS, Agentforce permet de transformer ces flux vidéo en données structurées et exploitables en temps réel. Seules de réelles anomalies déclenchent une alerte. Par exemple, un café renversé dans un couloir ou une porte sécurisée laissée entrouverte.

Légende : Agent Agentforce dédié à l’analyse vidéo, s’appuyant sur le blueprint NVIDIA VSS.
Credit image: Salesforce, NVIDIA Corporation,  and Cobalt AI

Agentforce, véritable cerveau de l’entreprise

Dans l’écosystème de l’IA robotique, Agentforce apporte l’intelligence relative aux « Systèmes 2 et 3 », c’est-à-dire la coordination de tâches complexes entre plusieurs systèmes et robots. Là où NVIDIA et les fournisseurs de robots garantissent le « sens » et l’« intelligence physique » (Système 1), Agentforce assure le raisonnement opérationnel.

Aujourd’hui, cette intelligence est utilisée pour traiter les problèmes de sécurité des portes de la Salesforce Tower :

• Informations de contexte de l’entreprise : le système identifie les zones prioritaires, comme un couloir réservé à des dirigeants, et priorise les interventions à mener avec le personnel adéquat.

• Orchestration autonome : le système consulte automatiquement les plannings, identifie le technicien de service devant intervenir et le mobilise directement via Slack.

• Passage à l’action : le robot intervient pour résoudre le problème et peut interagir avec les employés via le canal « voix ». Si une porte ne peut pas être sécurisée, le robot reste sur place, tandis qu’Agentforce met à jour les rapports de maintenance en temps réel.

La phase suivante consistera à étendre ces capacités aux audits proactifs des étages, permettant aux robots d’identifier de manière autonome les risques pour la sécurité, comme un liquide renversé, un extincteur manquant ou la présence de matériaux non autorisés, puis de créer automatiquement les interventions à mener dans Field Service.

Des résultats tangibles au sein de la Salesforce Tower

Salesforce utilise déjà cette technologie dans ses propres bâtiments, tout en testant et en améliorant constamment ses produits en interne. Grâce à l’intégration des robots Cobalt à Agentforce et à l’infrastructure IA de NVIDIA, des gains d’efficacité considérables ont été constatés au sein de la Salesforce Tower : 

• Résolution deux fois plus rapide : le temps nécessaire pour résoudre un problème lié à une porte est passé de 3 minutes 38 secondes à seulement 1 minute 32 secondes.

• 100 fois moins d’interventions humaines : là où 100 % des incidents nécessitaient l’intervention d’un agent, seulement 1 % des événements requièrent aujourd’hui une action humaine.

• Gains de temps pour les agents : La Salesforce Tower de San Francisco économise 40 heures par semaine, avec un potentiel mondial de 6 000 heures par mois, permettant aux agents de se concentrer sur des missions à plus forte valeur ajoutée.
  

Légende : Agent Agentforce dédié à l’analyse vidéo, s’appuyant sur le blueprint NVIDIA VSS.

Une intégration simplifiée de bout en bout

L’objectif ultime de notre collaboration avec NVIDIA et Cobalt AI est la généralisation, c’est-à-dire la capacité de passer du traitement de tâches spécifiques en matière de sécurité à des robots intelligents et pertinents dans tous les contextes, du secteur médical aux inventaires en magasin.

La prochaine étape repose sur la formation dite « Sim-to-Real » (de la simulation au monde réel). Avant qu’un robot ne se déplace physiquement sur un site, il peut être préparé via un jumeau numérique haute fidélité, c’est-à-dire une simulation virtuelle extrêmement réaliste du monde réel. Grâce à Agentforce, ces environnements virtuels peuvent être orchestrés, ce qui permet de former en toute sécurité et à grande échelle des robots comme les Spot de Boston Dynamics au sein de nos bureaux, pour leur apprendre de nouvelles compétences et les préparer à des situations particulières.

Dans un processus traditionnel, l’intégration d’un robot nécessite des périodes d’arrêt pour la cartographie et les tests manuels. En utilisant des jumeaux numériques haute fidélité, nous avons entièrement repensé cette étape. Il est désormais possible de simuler des millions de scénarios (issues de secours bloquées, alertes intrus, etc.) dans un monde virtuel physiquement exact, et de former les modèles de navigation en toute sécurité et hors ligne.

Légende : NVIDIA Omniverse – Onboarding de robot et contrôle de mission propulsés par Salesforce Agentforce.

Nous simulons également la logique des workflows. Une fois qu’un robot maîtrise parfaitement une tâche dans l’environnement virtuel, le modèle entraîné est déployé sur le robot physique (Cobalt ou Spot), tout en mettant simultanément à jour la logique d’Agentforce.

Lorsque le robot arrive sur site, ce n’est donc pas une page blanche, mais un collaborateur expérimenté, capable de reconnaître les risques spécifiques au bâtiment et déjà synchronisé avec les workflows Salesforce. En étant intégré comme une ressource de service dans le planificateur Salesforce, il devient un membre à part entière de l’équipe, prêt à travailler aux côtés des humains dès son déploiement.

En reliant les mondes physique et numérique, Agentforce de Salesforce et NVIDIA posent les fondations du futur du travail, où l’automatisation laisse place à l’ère agentique.

En savoir plus 

• Découvrez le communiqué précisant les contours du partenariat stratégique entre Salesforce et NVIDIA.
• Plongez au cœur du lancement d’Agentforce en France pour comprendre comment nous sommes passés de l’IA générative aux agents autonomes.
• Explorez la puissance d’Agentforce en action
• Découvrez le potentiel d’Agentforce Field Service pour optimiser vos opérations sur le terrain
• En savoir plus sur Cobalt AI.