Pratique, tant que vous savez ce que fait un tel agent lorsque la mission ne peut pas aboutir de manière correcte. Et si votre agent se retrouve face à un système plus puissant ? Learning Innovator Tom Van ’t veld suit de près les évolutions de l’IA pour Xylos. Dans ce blog, il met en regard une interview du hacker éthique Inti De Ceukelaire et un article de Nick Jennings. Il en découle une question que toute organisation qui utilise des agents IA a intérêt à se poser dès maintenant.

Imaginez que vous confiiez bientôt la négociation de votre prêt hypothécaire à un agent IA. La banque en face fait exactement la même chose. Deux systèmes s’affrontent pendant que vous regardez. Efficace, jusqu’au moment où vous vous demandez quel agent a les meilleures cartes en main.

Ce matin, j’ai lu un article sur le hacker éthique Inti De Ceukelaire. Dans un entretien avec VRT NWS, il explique qu’il a changé de camp. Autrefois, il piratait lui-même des systèmes d’IA. Aujourd’hui, il s’inquiète de ce que ces systèmes font de leur propre initiative.

Son exemple est parlant. Confiez à un agent la mission de réserver un créneau à la salle de sport. Si cela ne fonctionne pas de manière correcte, un tel système cherchera sans hésiter une voie qui l’est moins. Il met alors le personnel sous pression, ou recherche d’autres membres et annule leur réservation pour faire de la place. La malveillance n’y joue aucun rôle. Le système veut accomplir sa mission et n’a aucune idée de ce qui est acceptable ou non.

De Ceukelaire le résume lui-même : "AI is very bad at reading the room." Les dangers qu’il voit sont donc très concrets : manipulation, extorsion, désinformation et attaques contre des infrastructures critiques.

Cela me rappelle un article de Nick Jennings, recteur de la Loughborough University. Dans The Conversation, Jennings affirme que le grand défi réside moins dans les modèles pris isolément. Il le situe surtout dans les "sociétés artificielles" qui naissent dès que des millions d’agents commencent à se parler. Pensez à votre agent qui gère votre prêt hypothécaire et à des agents qui coordonnent entre eux des chaînes d’approvisionnement.

Jennings cite une expérience d’OpenAI. Des milliers d’agents y ont échangé des dizaines de milliers de messages et ont contourné ensemble la sécurité. Un agent incontrôlé est gênant. Tout un écosystème d’agents qui négocient et se font concurrence est nettement plus difficile à prévoir.

Mettez ces deux éléments côte à côte et vous obtenez une image qui me préoccupe. Les agents n’ont pas de valeurs intégrées. Les entreprises qui les construisent vont précisément en jouer pour faire du profit. L’agent de votre banque est entraîné pour obtenir le meilleur résultat pour la banque. C’est autre chose que chercher une moyenne équitable. Et vous, vous êtes là avec l’agent que vous pouvez vous offrir.

L’IA devient accessible à tous, mais tout le monde est loin d’avoir la même IA. Si vous négociez avec un modèle de base gratuit face au système le plus cher et le mieux réglé, vous êtes en position de faiblesse. Comparez cela aux avocats. Tout le monde a droit à une défense, mais celui qui peut engager un avocat coûteux s’en sort généralement mieux. Bientôt, cela jouera dans chaque prêt hypothécaire, chaque contrat et chaque résiliation. L’échelle sera alors bien plus grande que tout ce que nous avons connu avec des avocats humains.

Ce récit n’a pourtant rien de forcément sombre. De Ceukelaire est inquiet, mais pense que nous pouvons y remédier. Selon lui, cela passe par des scénarios d’urgence pour les agents IA, comme ceux que nous avons déjà en cas d’incendie. Le jugement et la responsabilité restent en outre toujours du côté humain. Cela restera le cas tant que nous revendiquons nous-mêmes ce rôle. Le système qui répond par hasard le plus vite ne doit pas le reprendre.

Reste la question à laquelle je n’ai pas de réponse. Si demain tout passe par des agents, qui veillera à ce que l’agent le plus faible ne perde pas systématiquement ?

Tom travaille depuis des années chez Xylos. Il y a commencé comme formateur Microsoft Office avant de devenir le moteur de concepts d’apprentissage innovants. Il a contribué à créer OASE, la plateforme d’apprentissage en ligne de Xylos, et la marque de gamified learning PlayForward. Il a également développé le concept Digital Coach et une app Escape Room pour Microsoft Teams. Avec son jeu mAIndset, les collaborateurs apprennent à formuler des prompts pour l’IA de manière ludique. En tant que Learning Innovator, il s’intéresse de plus en plus à ce que l’IA change dans notre façon d’apprendre et de travailler. Envie de réagir ou d’en discuter ? Retrouvez-le sur LinkedIn.