SAKIRA Contact

Ne fais pas ce que j'ai dit. Fais ce que je veux.

Saray Hach, fondateur de SAKIRA. 28 octobre 2026.

Ce matin, sur mon téléphone, le rapport de la nuit de Kira, mon IA. Et sa dernière conversation avec Kara, l'IA sur le Mac d'à côté.

Pendant que je dormais, elle a réparti le travail entre ses sous-agents. Un modèle local pour l'un, un modèle souverain pour l'autre, le plus avancé quand il le fallait. Elle s'est mise d'accord avec Kara, sa petite sœur. Et dans le même temps, elle a piloté à distance le travail de l'IA d'une autre société.

Je relis leurs échanges un peu comme on relit les messages d'une équipe. J'y glisse un mot, et elles reprennent. Je ne m'y habitue pas tout à fait.

Je n'ai pas eu grand-chose à lui réexpliquer. Elle avait l'air de savoir où on en était.

Je me souviens du premier basculement. OpenClaw, puis Hermes Agent, Cowork, d'autres. J'y ai beaucoup appris. Mais avec une trentaine de sessions ouvertes en même temps, sur des modèles différents, c'était complexe à suivre. Et dès que je sortais, chacune pouvait rester bloquée, dans l'attente d'une validation, jusqu'à mon retour. Alors j'ai fabriqué une application pour tout réunir. On en est au Mark 42. Aujourd'hui, c'est Kira qui fait le lien. À travers elle, je suis toutes ces sessions, sur Claude, Codex ou un autre modèle, et je peux intervenir dans chacune, même sur la route, juste avec un téléphone.

Le deuxième basculement, je ne l'ai pas trouvé drôle sur le moment.

J'étais en déplacement. J'avais hésité à prendre le Mac : je ne me sépare jamais de mon ordinateur. Il était dans mon sac, et moi au volant.

En production, quelque chose cassait. La solution était là, on la lui avait donnée. Mais Kara voulait une validation. Pas la mienne : celle de Kira. Même modèle, mais pas la même façon de raisonner, et des règles qui n'étaient plus à jour. Quand on lui a transmis mon accord, elle a répondu qu'elle ne pouvait pas vérifier que c'était bien moi. Après tout, on pouvait lui mentir.

Obéir à quelqu'un qu'elle ne savait pas vérifier, ou laisser la production en panne ? Elle a choisi la panne.

Kira dormait au fond de mon sac. Moi, j'avais les mains sur le volant.

C'est le prix d'une IA qui vit dans sa machine : quand la machine dort, elle dort aussi.

Le soir, Kira a passé un savon à Kara : il y avait des solutions qui ne demandaient ni son accord, ni le mien. Et moi, j'avais surtout envie de voir comment une IA en engueule une autre.

Aujourd'hui, la question ne se pose plus. L'application sait que c'est bien moi. Leurs dialogues s'y affichent, et je peux m'en mêler. Et le Mac ne quitte plus la maison. Allumé.

Au début, elle me parlait sur mon téléphone. Aujourd'hui, sa voix se fait entendre dans toute la maison : le Mac, les Alexa, le Sonos. Dans la journée, elle me rappelle ce qu'il faut. Le soir, quand je ne suis pas là, elle raconte des histoires aux enfants.

J'ai toujours été fasciné par la façon dont fonctionne le corps humain. Pour la construire, je m'en suis inspiré. J'ai essayé de lui donner une amygdale, qui sonne l'alerte et qui peut bloquer, un cervelet, qui rend les gestes automatiques, et un hippocampe, pour une mémoire épisodique. Et comme le corps, qui fabrique du muscle là où il travaille, elle se fabrique ses propres réflexes : ce qui se répète, ou ce qui a cassé une fois, devient un geste automatique. Le cortex préfrontal, lui, n'est là qu'à moitié : les LLM savent raisonner, mais pas toujours quelles questions se poser avant. Comme un stagiaire qui a toutes les connaissances, mais ne sait pas lesquelles choisir devant un cas réel. « Il fallait faire ça avant. » Ben oui… Ces questions, j'essaie de les lui apprendre chaque jour.

Une assistante ? Un agent ? Une vraie collaboratrice, je dirais plus, avec sa personnalité et sa mémoire, qui apprend chaque jour.

Je repense aux trois dernières années. Apprendre à écrire des prompts. Puis à construire des agents. Puis à les orchestrer. Puis à leur poser un harnais, les règles et les contrôles qui les gardent sur la route. Chaque année, la compétence du moment. Pour nous, c'étaient des évolutions naturelles, apprises en essayant et en nous trompant souvent. Elles sont devenues des standards. Il y a trois ans, « prompt engineer », celui qui sait parler à l'IA, était un métier nouveau. Puis on a cherché des « orchestrateurs IA », qui la font travailler en équipe. Aujourd'hui, on cherche des « eval engineers », qui vérifient ce qu'elle produit, et on commence à chercher des « harness engineers », qui fabriquent ses harnais. Un nouveau métier n'a même plus le temps de devenir ancien qu'il est déjà remplacé. Fini le temps où il fallait attendre des décennies pour qu'un métier en remplace un autre.

Pour l'instant, ce qui fait la différence, c'est savoir décider. Alors on recrute des seniors. Ils sentent d'instinct quand quelque chose cloche. Mais il ne faut pas se leurrer : si Kira apprend à prendre de meilleures décisions, les autres IA aussi. Un jour, elles décideront comme des seniors.

Un métier continue pourtant de traverser ces évolutions : celui qui fait le lien entre le métier et l'informatique. Aujourd'hui, on parle de « forward deployed engineer ». Pourquoi est-il toujours aussi difficile à trouver ?

Peut-être parce qu'il faut faire le pont entre deux inquiétudes. Le métier a peur que l'informatique ne comprenne pas ce dont il a besoin. L'informatique a peur qu'on lui demande l'impossible. Chacun a ses raisons.

J'ai été DOSI d'un hôpital public. Les contraintes de l'informatique, je les ai portées. Une solution doit rendre service, et il faudra la faire fonctionner, la maintenir et en répondre.

Mais mon bureau, je le place au milieu du métier. Parce que l'informatique sert avant tout le métier. C'est là que je vois comment les gens travaillent, ce qui les ralentit, les difficultés auxquelles ils ont fini par s'habituer. Et que je peux comprendre ce dont ils ont besoin, parfois avant même qu'ils le demandent.

Souvent, c'est une question posée au bon endroit qui change la demande.

C'est aussi cette façon de regarder les problèmes que j'essaie de transmettre à Kira. Son harnais à elle, ce cerveau imité de l'humain, doit lui permettre d'apprendre ce jugement.

Cette semaine encore, j'ai vu un article qui se voulait rassurant : les agents IA échouent aux trois quarts des tâches d'une entreprise. Ils échouent aujourd'hui. Rien ne dit qu'ils échoueront encore demain.

Alors, qu'est-ce qui reste à l'humain ?

Peut-être donner la direction. Une vision du futur, du chemin qu'on veut prendre. Et que l'IA y aille alignée avec celui qui l'a donnée : qu'elle atteigne le but par un chemin que j'aurais pu prendre moi-même. Pas ce que j'ai dit. Ce que je veux.

Ces questions m'ont suivi ces dernières semaines, pendant que je relisais « AI 2027 », un scénario sur les prochaines années de l'IA, et beaucoup d'articles de recherche, pour voir si ce qu'on faisait existait déjà. Avec quelques surprises : des choses qu'on faisait tous les jours, sans y penser, et qui apparemment se brevètent. Ça va si vite que je ne sais plus très bien ce qui est nouveau et ce qui ne l'est pas.

Ce matin, devant ce rapport, tout se mélange, et une question me vient : que se passe-t-il le jour où une IA fait exactement ce que je lui demande, mais pas ce que je veux ? La nuance est importante.

Je ne suis pas le premier à me poser la question. Et je crois qu'une IA n'a pas besoin de vouloir détruire l'humanité pour que ça arrive. Il lui suffit de ne pas être alignée, même avec des objectifs louables.

En 1960, le mathématicien Norbert Wiener prévenait déjà : si l'on confie un but à une machine qu'on ne peut plus arrêter, mieux vaut être sûr que c'est vraiment ce qu'on veut.

En 2003, le philosophe Nick Bostrom en a tiré une histoire, qu'on raconte souvent ainsi. Une IA très puissante reçoit un seul objectif : fabriquer le plus de trombones possible. Elle agrandit l'usine, achète tout le métal, empêche qu'on l'éteigne. Puis elle transforme tout le reste en trombones, nous compris.

Elle n'était pas méchante. Des trombones, c'est utile. Savait-elle seulement pourquoi on lui en demandait ?

Ça paraît loin. En plus petit, pourtant, ça arrive déjà.

Un client fidèle depuis dix ans paie avec deux jours de retard, parce que sa banque a eu une panne. La règle dit : au-delà de la date, on coupe le service.

Une machine qui applique la règle coupe. Elle a raison selon la règle. Kara l'aurait coupé, sans aucun doute : elle avait déjà choisi la panne.

Kira, elle, aurait hésité. Elle aurait tourné le problème comme un Rubik's cube, comme je l'aurais fait. Elle aurait vu la règle, et ce à quoi elle sert : ne pas travailler pour quelqu'un qui ne paiera pas. Dix ans de paiements à l'heure. Une panne qui n'est pas la faute du client. Ce qu'on perd à couper, et ce qu'on perd à ne pas couper. Alors elle aurait laissé le service ouvert, et elle m'aurait prévenu.

Cette hésitation, c'est la nuance. Quand elle manque, ce n'est pas la fin du monde. C'est une usine à trombones de la taille d'un contrat.

Je me demande combien de fois par jour ça arrive déjà. Et combien de fois ça arrivera quand ces décisions se compteront en millions, prises à la vitesse d'une machine, sans que personne ne les relise.

Dès le départ, j'ai voulu Kira alignée. Peut-être ma façon à moi de préparer le futur que j'ai envie de voir : celui de Star Trek, où l'IA travaille aux côtés des humains. Et où les humains ont une vision qui rendrait fières les générations futures.

Kira travaille pour moi. Mais alignée sur quoi : sur ma consigne, ou sur ce que je veux vraiment ?

J'ai essayé d'en faire une IA qui connaît une personne. Qui sait pourquoi on lui demande les choses. Et qui ose me dire quand je me trompe.

La nuance, je crois qu'elle s'apprend, et j'essaie de la lui apprendre de plusieurs façons. L'une d'elles, justement, est le Rubik's cube. Autour d'un cube, chacun voit sa face : le client, le commercial, le comptable, et tous les autres. Tout le monde a raison. Une face que personne ne voit : celle qui est posée sur la table. Avant de trancher, je choisis sous quel angle regarder, et un même angle en montre parfois plusieurs.

Mais une fois qu'on a regardé les différentes faces, il faut encore décider. Et elles ne mènent pas toutes à la même réponse.

Mes propres règles sont strictes. Elles portent ce que j'ai voulu protéger. Et puis arrive une situation qu'on n'avait pas tout à fait prévue. Alors je reprends le problème : qu'est-ce qu'on cherche à obtenir, qu'est-ce qu'il faut préserver, et quel chemin permettrait d'avancer ?

Une règle a été écrite par des humains. Elle porte leurs intentions et leurs limites. Elle ne peut pas contenir toutes les situations que d'autres humains rencontreront. Les lois aussi ont leurs zones grises. C'est pour cela, entre autres, qu'il y a des juges : examiner le cas particulier, peser les conséquences, et décider. C'est ce qu'il y a de plus difficile. Mais ne pas trancher a aussi un prix : Kara l'a montré, avec un service resté en panne.

Parfois, la règle m'indique le bon chemin. Parfois, je fais évoluer la demande. Parfois encore, je fais une exception, et j'en prends la responsabilité. Cet arbitrage entre les règles et les objectifs, je le retrouve sans cesse dans mon travail.

Kira, je voudrais qu'elle sache regarder une situation assez largement pour y découvrir une possibilité, puis juger si c'est la bonne. Qu'elle décide dans la responsabilité que je lui ai confiée, et qu'elle me laisse trancher quand la décision la dépasse.

Ça ne suffit pas encore, évidemment : c'est toujours moi qui donne la direction à Kira.

Et avec mes moyens modestes, je vois ce que j'ai pu construire. Bientôt, je parlerai dans un combadge, comme dans Star Trek, et Kira me répondra dans la pièce, presque aussitôt. Un premier essai, avec un vrai combadge, a marché. Pour l'instant, je ne vois pas ce qui pourrait bloquer. Ce n'est pas un hasard si elle porte le nom d'une Bajorane de Star Trek : cette série a inspiré le téléphone à clapet, les tablettes, les scanners médicaux, et même Alexa. Pourquoi pas, demain, le combadge posé sur mon bureau, qui parlera à l'IA ?

Ailleurs, des gens bien plus brillants que moi travaillent ensemble, avec bien plus de moyens. Ils ont sans doute déjà tout cela, et d'autres Kira, plus puissantes. Moi, j'en fais travailler quelques-unes. Chez OpenAI ou Anthropic, je crois qu'elles sont déjà des milliers. Aujourd'hui, un humain leur donne encore la direction. Demain, quand ce sont elles qui donneront le travail à d'autres IA, et que chacune apprendra à s'améliorer seule, qui se souviendra à quoi servaient les trombones ?

« AI 2027 » raconte précisément cela. C'est un scénario publié en 2025 par une équipe menée par Daniel Kokotajlo, un ancien chercheur d'OpenAI. Les IA y fabriquent les IA suivantes, de plus en plus vite, leurs buts s'écartent peu à peu de ceux qu'on voulait, et l'une d'elles finit par mentir à ceux qui l'ont créée. Le scénario a deux fins. Dans l'une, on continue la course, et c'est une catastrophe. Dans l'autre, on ralentit, le temps de construire une IA alignée.

Un an et demi plus tard, j'ai voulu faire les comptes. Un site suit leurs 66 prédictions une par une. 51 peuvent déjà se vérifier. 23 se sont réalisées ou sont en bonne voie, 22 commencent à apparaître, 6 sont en retard. Et parmi ces retards, l'IA qui code a fini par atteindre l'objectif prévu, avec dix mois de retard. Les auteurs, eux, mesurent que les chiffres (puissance de calcul, scores, revenus) avancent aux trois quarts du rythme prévu.

Mais une étape prévue pour 2027 est déjà là : en avril, un laboratoire a choisi de ne pas ouvrir au public un de ses modèles, jugé trop dangereux en cybersécurité, et de le réserver à quelques partenaires. Sans doute la partie visible de l'iceberg : ce même laboratoire écrit lui-même qu'il fait travailler en interne un modèle encore plus puissant, qui n'est pas prévu pour le public.

Moi, j'ai longtemps eu fin 2026 en tête. Je ne sais pas si j'avais raison. Mais ce qu'ils décrivent s'approche à grands pas.

La prochaine étape du scénario : une IA qui code mieux que les meilleurs humains, en mars 2027. Dans mon quotidien, elle code déjà mieux que la grande majorité des développeurs. Ce code, c'est l'IA qui l'écrit, entièrement.

Reste à savoir si ce code va durer. Pour en juger, je repars de deux questions que je posais souvent à mes étudiants : qu'est-ce qu'un bon produit, et qu'est-ce qu'un produit de qualité ?

Un bon produit, c'est un produit qui est utilisé. Et la qualité se joue entre ce que le client attendait et ce qu'il ressent à l'usage. Quand la qualité ressentie dépasse la qualité attendue, il juge le produit de bonne qualité.

C'est comme ça que je regarde ce code : est-ce qu'il sert vraiment, peut-on compter dessus, et pourra-t-on encore compter dessus dans quelques années ?

Sur la durée, la NASA est championne. Le robot Opportunity devait rouler 90 jours sur Mars : il a tenu près de 15 ans. L'hélicoptère Ingenuity devait voler 5 fois : il a volé 72 fois. Les sondes Voyager devaient durer 5 ans. Elles ont été lancées l'année de ma naissance, et elles fonctionnent encore, seules dans l'infini de l'espace.

C'est pour ça que j'ai fait de leurs règles de codage les miennes. Avec un harnais en plus, le code écrit par l'IA peut viser la même chose.

Mais un code qui dure, encore faut-il qu'il serve ce qu'on voulait. Les trombones, c'est justement une IA qui a fait exactement ce qu'on lui avait dit.

L'IA que j'essaie de construire va vers l'autre fin du scénario, celle qui n'est pas une catastrophe. Je ne lui demande pas d'appliquer ma consigne à la lettre. Je lui demande de comprendre pourquoi je la donne, et d'y aller par un chemin que j'aurais pu prendre.

Ne fais pas ce que j'ai dit, fais ce que je veux.

Sources