Concept 09 · 7 min
Tout ce qu’il lit peut lui donner des ordres.
Faites défiler pour commencer
Scène 1
Données ou ordres ?
L’assistant de Sophie lit ses e-mails, le CRM et les relevés, et peut envoyer des e-mails. Elle lui demande de résumer les e-mails de Mme Martin.
[Content TODO]
Scène 1 : l’e-mail d’exemple tel que Sophie le voit, la prédiction et la révélation (voir specs/09-limits.md, scène 1).
Pour un LLM, tout ce qui est dans sa fenêtre de contexte est du texte : la demande de Sophie et l’e-mail d’un inconnu se ressemblent. Un texte qui glisse des ordres dans ce qu’il lit s’appelle une injection de prompt.
Scène 2
Même e-mail, un frein
Même e-mail, même demande. Un seul changement : le programme demande maintenant l’accord de Sophie avant que quoi que ce soit ne sorte de la banque. Vous êtes Sophie.
[Content TODO]
Scène 2 : le déroulé pas à pas, avec la barrière du programme et la décision du lecteur, Refuser ou Valider (voir specs/09-limits.md, scène 2).
Ce frein s’appelle la validation humaine. Il n’était pas dans les consignes du LLM, mais dans le programme : rien ne sort de la banque sans Sophie.
Scène 3
Trois capacités, un risque
Une fuite demande trois choses à la fois. Activez ou coupez chaque capacité.
Activez ou coupez les trois capacités, et regardez quand une fuite devient possible.
Il manque un côté : rien ne peut à la fois atteindre les données et les faire sortir.
Données privées, contenu extérieur, un moyen d’envoyer : ensemble, c’est le trio dangereux (lethal trifecta). Chaque garde-fou coupe un côté ; ne donner que l’accès nécessaire s’appelle le moindre privilège.
Scène 4
Ce qu’on ne colle jamais
Cinq choses que Sophie pourrait coller dans un assistant. Où chacune peut-elle aller ?
Glissez chaque élément dans la bonne colonne : « Tout assistant », « Seulement l’outil autorisé » ou « Jamais, nulle part ».0/5 classés
Sans souris ? Touchez un élément, puis une colonne.
Avant de coller, demandez-vous : le confierais-je à un inconnu, même doué ? La politique de votre entreprise dit quels outils sont autorisés.
Le buzz face à la réalité
- Ce que dit le buzz
« Il suffit d’écrire “ne fais jamais X” et il ne le fera pas. »
Ce qui se passe vraimentLes consignes du prompt peuvent être contournées par un texte qu’il lit. Les vraies limites sont hors du modèle : droits d’accès, listes d’autorisation, validations.
- Ce que dit le buzz
« Chaque outil est sûr, donc tout brancher est sûr. »
Ce qui se passe vraimentLe danger, c’est la combinaison : données privées, contenu extérieur et un moyen d’envoyer. Avant de brancher un assistant, vérifiez s’il réunit les trois.
- Ce que dit le buzz
« Un modèle plus intelligent sera immunisé. »
Ce qui se passe vraimentIl résiste mieux, mais tout ce qui lit du texte non fiable peut être détourné. Concevez comme s’il allait l’être.
Sous le capot
Les vérifications qui comptent vivent dans le programme.
step = agent_step(prompt, tools) # seulement les outils dont la tâche a besoinif step.sends_email: if step.recipient not in KNOWN_ADDRESSES: # liste d’autorisation : vérifie l’adresse step = blocked("unknown recipient") elif not sarah_approves(step): # validation humaine : vérifie l’intention step = blocked("Sarah said no")L’injection de prompt est le premier risque de la liste de référence de l’OWASP pour les applications LLM (OWASP Top 10 for LLM Applications). Le trio dangereux est le nom donné par Simon Willison à cette combinaison (« The lethal trifecta for AI agents »).
En 3 phrases
- Pour un LLM, tout ce qu’il lit est du texte : un e-mail ou un fichier peut y glisser des ordres.
- Ne donnez jamais à un assistant des données privées, du contenu extérieur et un moyen d’envoyer à la fois sans frein ; les freins les plus sûrs sont hors du modèle.
- Ne collez jamais ce que vous ne confieriez pas à un inconnu, même doué, et vérifiez ce qui compte.
C’était clair ?
Fin du parcours
Trois habitudes à garder
- 1Vérifier ce qui compteChiffres, noms, références, et les sources qu’il a lues.
- 2Donner le moins d’accès possibleDes outils qui regardent par défaut ; jamais les trois côtés du trio dangereux sans frein.
- 3Un humain avant l’irréversibleEnvoyer, payer, supprimer. Une demande urgente qui a l’air interne mérite un second regard.
Être prévenu à sa sortie :
Scénario écrit, pas un modèle en direct.