L’IA publique doit être transparente

Les systèmes d'IA publics ne doivent pas demander aux citoyens, aux agents, aux auditeurs ou aux tribunaux de se fier aveuglément à une réponse fluide. Ils...

L’IA publique doit être transparente

Le guichet sans reçu

Un service public sans reçus paraîtrait absurde. Imaginez renouveler un permis, remettre des documents, payer une taxe et ne recevoir qu'un hochement de tête aimable de l'agent. Aucun numéro de référence. Aucune date. Aucune indication de ce qui a été accepté. Aucune voie de contestation. L'agent sourit et affirme que le système saura. Même dans la municipalité la plus patiente, quelqu'un dans la file commencerait à faire cette tête qui signifie que la démocratie est sur le point de devenir de la paperasse.

Les reçus sont de petites choses, mais ils portent un poids institutionnel. Ils disent aux gens qu'une action a eu lieu, qu'une demande est entrée dans un processus, que de l'argent a changé de mains, qu'une règle a été appliquée, qu'un délai a commencé, qu'une décision peut être retrouvée. Ils ne sont pas prestigieux. Ils valent mieux que prestigieux. Ils sont la preuve modeste que l'État n'a pas simplement absorbé votre dossier dans une machine beige en vous demandant de garder foi.

L'IA publique a désormais besoin de la même habitude. Lorsqu'un algorithme résume un dossier, suggère une éligibilité, classe des inspections, rédige une réponse, signale un risque, oriente un citoyen ou appuie une décision, l'institution publique devrait pouvoir produire un reçu. Pas une explication théâtrale générée après coup. Pas une capture d'écran de tableau de bord. Pas une promesse que le fournisseur pourra probablement reconstituer quelque chose si l'on contacte le support pendant les heures de bureau. Un reçu : une preuve compacte, structurée et compréhensible de ce qui s'est passé et de ce qui a permis que cela se produise.

Ce n'est pas parce que chaque action de l'IA est sinistre. La plupart du temps, le problème est moins dramatique et plus ordinaire. Les systèmes sont complexes. Les sources changent. Les politiques sont mises à jour. Les modèles sont remplacés. Les gens changent de service. Un citoyen conteste un résultat six mois plus tard. Un auditeur demande quelle version de la règle a été utilisée. Un ministre veut des assurances avant une audience. Sans reçus, l'organisation doit recréer le passé à partir de souvenirs, de journaux, d'exportations et de l'optimisme de quelqu'un qui insiste sur le fait que le schéma d'architecture est presque à jour.

Un reçu n'est pas tout le dossier. C'est la poignée qui permet à un citoyen, un agent ou un auditeur de retrouver le dossier sans faire de fouilles archéologiques.

La confiance n'est pas une humeur

Les institutions publiques parlent souvent de la confiance comme s'il s'agissait d'une atmosphère chaleureuse autour des services. Soyez transparents, soyez humains, soyez innovants, et la confiance viendra en se promenant avec un sac fourre-tout. C'est trop doux pour l'IA. La confiance du public n'est pas une humeur. C'est une condition institutionnelle produite par les droits, les procédures, les registres, l'examen, les limites et la capacité de dire ce qui s'est passé lorsque le résultat est contesté.

L’IA rend cela plus difficile, car elle peut donner aux tâches administratives une apparence plus fluide tout en rendant son raisonnement plus difficile à inspecter. Un agent peut recevoir un résumé suffisamment exact pour être utile. Un planificateur peut recevoir un score de risque qui fait gagner du temps. Un citoyen peut recevoir une réponse de chatbot qui évite un appel téléphonique. Ce sont de véritables avantages. Mais lorsque la réponse influence un traitement, une priorité, une éligibilité, une mesure coercitive ou l’accès à un service, l’institution doit viser plus que l’utilité. Elle doit garantir une responsabilité de niveau public.

La responsabilité de niveau public signifie que l’institution peut relier une sortie à un mandat. Elle peut montrer quelles données ont été utilisées et lesquelles n’étaient pas autorisées. Elle peut montrer si le modèle a servi d’aide à la rédaction, de moteur de recommandation, d’outil de triage ou de composant de décision automatisée. Elle peut indiquer la version des règles et la validation humaine requise. Elle peut expliquer comment la personne concernée peut contester le résultat. Ce ne sont pas des ornements autour de l’IA. Ce sont les fondations sur lesquelles elle repose.

Il est tentant de répondre aux préoccupations de confiance par des assurances générales. Le système est testé. Le modèle est sûr. Le fournisseur est certifié. Le processus est encadré. Ces affirmations peuvent être vraies et néanmoins insuffisantes. Le travail public se fait au cas par cas. Un citoyen ne vit pas dans une référence agrégée. Il vit dans sa décision, son dossier, son échéance, sa prestation manquée, son inspection, son rendez-vous, sa question sans réponse. Les reçus ramènent la responsabilité au niveau où le pouvoir public se fait sentir.

Un reçu n’est pas qu’un journal

La première erreur consiste à confondre reçus et journaux. Les journaux sont précieux, mais ils sont écrits pour les machines, les opérateurs, les équipes de sécurité ou pour éviter toute confusion future. Ils peuvent être trop verbeux, trop sensibles, trop techniques, trop dispersés ou trop dépendants d’un fournisseur. Un reçu est un artefact structuré. Il est conçu pour répondre aux questions de responsabilité publique sans révéler tous les secrets, submerger chaque lecteur ou exiger un cours de week-end sur le traçage distribué.

Un reçu utile comporte plusieurs niveaux. Le niveau public peut contenir le contexte du service, la date, la référence de la décision, les catégories de données générales, la base réglementaire et la voie de recours. Le niveau interne peut contenir les identifiants de source, la version du modèle, le modèle de prompt, les paramètres de récupération, les contrôles de politique, les contrôles d’accès et l’identité du relecteur. Le niveau d’audit peut contenir des hachages, des horodatages, des signatures, des règles de conservation et des liens vers des preuves immuables. Ces niveaux protègent la vie privée tout en préservant l’inspectabilité. Tout le monde n’a pas besoin de voir les mêmes détails. Mais quelqu’un doit pouvoir en voir suffisamment.

Cette distinction est importante, car les reçus publics de l’IA doivent éviter de devenir une surveillance sous un autre nom. La réponse à l’opacité n’est pas de tout enregistrer pour toujours. C’est ainsi qu’un problème de gouvernance devient un problème de vie privée avec de meilleurs dossiers. Les reçus doivent être minimaux, liés à un objectif, conservés pour des durées claires, séparés des contenus inutiles et accessibles selon des rôles définis. Le test est simple : l’institution peut-elle expliquer le résultat et soutenir une correction sans construire un journal permanent de chaque interaction citoyenne ?

Les journaux sont la matière première. Les reçus sont le produit responsable. Dans un système mature, ils sont connectés. Un reçu peut pointer vers des journaux plus profonds lorsqu’une enquête autorisée l’exige. Un journal peut prouver qu’un reçu n’a pas été inventé après le début de la discussion. Mais le reçu est ce que le service public peut remettre à ses propres processus, et parfois à la personne concernée, sans demander à tout le monde d’admirer un objet JSON dans son habitat naturel.

Le citoyen voit la frontière

Les schémas d’architecture ont tendance à être dessinés de l’intérieur. Boîtes, flèches, services, files d’attente, modèles, bases de données, moteurs de règles, portails du personnel. Le citoyen ne voit rien de tout cela. Le citoyen voit une frontière. La demande est acceptée ou refusée. Le signalement de risque apparaît ou non. Le rendez-vous est disponible ou non. Le document est suffisant ou non. La réponse dit oui, non, attendez, téléversez, appelez, faites appel, partez.

C’est à cette frontière que les reçus comptent le plus. Si l’on dit à un citoyen qu’une demande ne peut pas être traitée automatiquement, le reçu doit indiquer quelle condition a échoué et comment y remédier. Si un résumé généré par IA a influencé une décision, le dossier doit montrer qu’un humain l’a examiné et quelles sources étaient disponibles. Si un agent conversationnel donne des conseils procéduraux, le reçu doit identifier la version de la source publique et préciser si le conseil était contraignant. Si un modèle de risque priorise une inspection, le reçu doit montrer la base légale, les catégories de données et la voie de recours, sans exposer les méthodes qui compromettraient l’inspection elle-même.

Il ne s’agit pas de transformer chaque interaction publique en dissertation juridique. Les gens ne devraient pas avoir besoin d’un avocat pour comprendre un permis de stationnement. Mais la puissance publique doit offrir aux gens une prise intelligible. Un reçu peut être court tout en restant significatif : votre demande a été évaluée selon cette version de la règle, à partir de ces dossiers, avec cet appui automatisé, examinée par ce rôle, et contestable par cette voie. Ce n’est pas de la poésie, et c’est tant mieux. La poésie a un piètre bilan dans les portails de services.

La frontière compte aussi pour les agents. Les gestionnaires de cas, les inspecteurs, les enseignants, les planificateurs, les cliniciens et le personnel d’accueil ne devraient pas se retrouver avec des résultats d’IA dont ils ne peuvent pas expliquer l’origine. Un reçu les protège de devenir des enveloppes humaines autour d’une machinerie mystérieuse. Il leur donne un moyen de dire ce que le système a fait, où leur jugement est intervenu et quand un dossier doit quitter l’automatisation. Ce n’est pas de la bureaucratie pour elle-même. C’est de la dignité professionnelle avec un numéro de référence.

Tous les usages publics de l’IA n’exigent pas le même reçu. Le reçu doit se renforcer là où le pouvoir, la sensibilité et les recours faibles se rencontrent.

Le droit procédural à l’ère de la machine

L’administration publique a déjà des traditions de droit procédural : avis, motifs, accès aux dossiers, audition, appel, proportionnalité, égalité de traitement, règles de conservation et autorité désignée. L’IA ne remplace pas ces traditions. Elle comprime le temps dans lequel elles doivent s’exercer. Un modèle peut traiter mille dossiers avant le déjeuner. Une règle d’acheminement peut toucher des quartiers entiers avant que quiconque ne s’en aperçoive. Une erreur de résumé peut traverser un flux de travail plus vite qu’une correction. Le temps machine rend les droits anciens plus urgents, pas moins.

Les reçus sont un moyen de faire survivre la procédure à la vitesse. Ils créent des pauses dans le dossier, même lorsque le flux de travail est rapide. Au moment où un système d'IA touche à un dossier, le reçu peut enregistrer l'objectif, l'autorité, la portée des sources, l'état du modèle, les contrôles de politique et le statut de l'examen. Au moment où un humain s'appuie sur une sortie, le reçu peut enregistrer le rôle et l'action. Au moment où un citoyen reçoit un résultat, le reçu peut fournir une référence et une voie de recours. Cela donne une mémoire au processus.

La mémoire est importante, car les erreurs publiques sont souvent découvertes tardivement. Une personne peut ne pas savoir qu'un champ de données manquant a eu de l'importance jusqu'à ce qu'une prestation soit refusée. Un inspecteur peut ne pas savoir qu'une source était obsolète jusqu'à ce qu'une visite sur site semble étrangement ciblée. Un enseignant peut ne pas savoir qu'un signalement de risque provenait d'un flux d'assiduité défectueux jusqu'à ce qu'un parent pose une question directe. Sans reçus, la découverte tardive devient une supposition tardive. Avec des reçus, la découverte tardive peut devenir une correction.

Cela ne signifie pas que chaque étape assistée par l'IA devient contestable isolément. Le processus public doit rester praticable. Mais la chaîne doit conserver suffisamment de preuves pour permettre une contestation significative au bon moment. Si un système donne une suggestion qu'un humain ignore, le reçu doit le refléter. Si un système donne une recommandation qu'un humain accepte, le reçu doit le refléter aussi. La différence compte. Le public ne peut pas contester un fantôme, et les fonctionnaires ne peuvent pas en défendre un.

Des reçus sans surveillance

L'objection la plus forte aux reçus est qu'ils pourraient créer de nouveaux risques en matière de données. Cette objection est sérieuse. Les institutions publiques ne devraient pas résoudre l'opacité de l'IA en collectant un second fichier parallèle pour chaque citoyen. Un système de reçus qui stocke indéfiniment des invites inutiles, des conversations complètes, des extraits de sources sensibles, des notes internes, des sorties d'outils et des traces comportementales n'est pas de la responsabilisation. C'est un problème très organisé.

Des reçus respectueux de la vie privée exigent une discipline de conception. Stockez des identifiants plutôt que le contenu complet lorsque c'est possible. Utilisez des hachages pour l'intégrité. Séparez les reçus destinés aux citoyens des registres d'audit internes. Conservez les preuves selon la valeur juridique du processus, et non selon l'appétit des systèmes de stockage. Rédigez ou agrégez les interactions à faible risque. Protégez l'identité des examinateurs lorsque la sécurité personnelle ou l'indépendance l'exige, tout en préservant la responsabilité des rôles. Conservez les journaux d'accès au magasin de reçus lui-même, car les preuves concernant les preuves ont une fâcheuse habitude de devenir importantes.

La conception doit également éviter de créer une fausse précision. Un reçu ne devrait pas prétendre que le modèle a raisonné comme une personne s'il ne l'a pas fait. Il ne devrait pas traduire une sortie probabiliste en jugement moral. Il ne devrait pas faire semblant qu'un score élevé est un fait. Il devrait dire ce que le système a fait : a récupéré ces sources, a appliqué cette règle, a généré cette sortie, a signalé cette plage de confiance, a transmis à ce rôle, a reçu cette action humaine. Un langage sobre est un service civique. Le secteur public a déjà assez de brouillard décoratif.

Il y a ici une humilité utile. Les reçus ne rendent pas l'IA parfaitement équitable, précise ou légale. Ils rendent le système plus inspectable. Ils réduisent le coût de la recherche d'erreurs. Ils créent un espace pour la correction. Ils rendent plus difficile pour les institutions de se cacher derrière l'expression « le système l'a dit ». Dans le travail public, ce n'est pas une petite chose. C'est la différence entre l'automatisation comme administration et l'automatisation comme tiroir verrouillé.

Acheter l'interface des reçus

Si les reçus comptent, ils doivent être achetés et construits, pas espérés après le déploiement. Les acheteurs publics devraient demander aux fournisseurs comment le système produit des preuves au niveau des dossiers. Les versions des modèles peuvent-elles être épinglées. Les modèles de prompt sont-ils versionnés. Les identifiants de source sont-ils renvoyés. Les décisions de récupération peuvent-elles être exportées. Les contrôles de politique sont-ils enregistrés. Les journaux peuvent-ils être séparés par objectif. Les enregistrements d'audit sont-ils signés ou inviolables. Des résumés destinés aux citoyens peuvent-ils être générés à partir des mêmes preuves sans exposer des éléments internes sensibles. L'institution peut-elle repartir avec ses reçus intacts.

Ces questions peuvent sembler exigeantes, mais elles le sont moins que de reconstituer un processus automatisé contesté après qu'un journal, un tribunal, un conseil, un parlement ou un médiateur s'y intéresse. La rétro-ingénierie des reçus est difficile parce que les preuves manquantes n'ont souvent jamais été capturées. On ne peut pas agrafer un reçu à la transaction invisible d'hier. On ne peut qu'exécuter une danse interprétative autour de la télémétrie. Ce n'est pas recommandé comme méthode de gouvernance.

Les interfaces de reçus aident aussi les équipes internes. Elles facilitent l'évaluation parce que les sorties peuvent être comparées à la source et à l'état des règles. Elles accélèrent la réponse aux incidents parce que les dossiers concernés peuvent être tracés. Elles rendent les changements de politique plus mesurables parce que les équipes peuvent voir quelles règles créent des frictions. Elles rendent la formation plus sûre parce que les exemples peuvent être sélectionnés avec leur provenance. Elles rendent la suppression et la correction moins théâtrales parce que les artefacts dérivés peuvent être retrouvés.

Les institutions publiques n'ont pas besoin que chaque fournisseur expose tous ses secrets internes. Certains composants resteront des boîtes noires à un niveau donné. Mais le service dans son ensemble doit produire des reçus utilisables à la frontière publique. Si un fournisseur ne peut pas soutenir cela, l'institution doit comprendre ce qu'elle achète : non seulement une capacité, mais aussi une lacune dans sa propre capacité à rendre compte du pouvoir.

La pile de reçus doit être conçue dans le service. L'ajouter après un litige est un exercice d'écriture créative avec responsabilité.

Quand les reçus révèlent une mauvaise politique

Les reçus révéleront parfois que le système d'IA n'est pas le principal problème. C'est utile et inconfortable. Un reçu peut montrer que le modèle a suivi une règle correctement, mais que la règle était obsolète. Il peut montrer qu'un humain a souvent contourné le système parce que la politique était trop rigide. Il peut montrer que des données manquantes d'un autre service ont causé des refus répétés. Il peut montrer qu'un signalement de risque était techniquement exact et socialement absurde. Une bonne preuve a l'habitude impolie d'élargir la conversation.

Voilà pourquoi les institutions peuvent résister aux reçus sans le dire ouvertement. Les reçus créent une obligation de rendre compte, non seulement pour les équipes techniques, mais aussi pour les responsables de politiques, les responsables des données, les gestionnaires, les fournisseurs et les élus. Ils rendent plus difficile le fait de blâmer l'algorithme pour une décision qui a en réalité été conçue par une politique, un budget, un effectif ou un tableur doté d'un nombre héroïque de colonnes masquées. Cet inconfort est une fonctionnalité. L'IA publique ne devrait pas offrir une nouvelle cachette pour d'anciens choix.

Les reçus favorisent également l'apprentissage. Si de nombreux dossiers échouent à la même exigence de preuve, le formulaire est peut-être peu clair. Si de nombreux résumés générés par l'IA sont corrigés par le personnel, l'extraction des sources est peut-être insuffisante. Si les appels annulent à plusieurs reprises des décisions impliquant une règle particulière, la politique devrait être revue. Si les citoyens posent la même question après avoir reçu un reçu, l'explication n'est pas assez bonne. L'obligation de rendre compte devient une boucle, et non un sanctuaire dédié à un déploiement passé.

Les institutions publiques ont le droit d'être imparfaites. Elles n'ont pas le droit d'être ininspectables lorsqu'elles exercent le pouvoir. Les reçus rendent l'imperfection gérable. Ils donnent aux gens quelque chose à contester et aux organisations quelque chose à améliorer. C'est moins romantique que de promettre une IA digne de confiance dans un document stratégique. C'est aussi bien plus utile, ce qui est un risque connu des mesures pratiques.

Une décision publique avec mémoire

Les meilleurs systèmes de reçus ne sont pas des archives passives. Ils alimentent une boucle décisionnelle. Une demande entre. L'autorité et la finalité sont vérifiées. Les sources sont sélectionnées. Le modèle ou le moteur de règles soutient le travail dans les limites déclarées. Un rôle humain accepte, rejette ou modifie le résultat lorsque cela est requis. Le citoyen reçoit un résultat et une voie de recours. Les contestations et les corrections reviennent au système comme preuve d'amélioration. Le reçu est le fil conducteur de la boucle.

Cette boucle est importante parce que les services publics évoluent. Les lois sont modifiées. Les formulaires sont repensés. Les ensembles de données sont nettoyés. Les modèles sont mis à niveau. Les frontières organisationnelles bougent. Un reçu de l'année dernière peut devoir être lu selon le processus de cette année. Cela exige des identifiants stables, des règles versionnées, des registres de migration et une discipline de conservation. Sinon, un organisme public peut conserver un reçu qui renvoie à un système disparu dans un vocabulaire que personne ne comprend. Ce n'est pas de l'obligation de rendre compte. C'est de l'archéologie numérique avec un meilleur café.

Les reçus devraient donc être gérés comme des documents. Ils nécessitent une propriété, des calendriers de conservation, des droits d'accès, des formats d'exportation, des contrôles d'intégrité, des règles de suppression et des procédures d'examen. Ils ne devraient pas être laissés comme un effet secondaire de la bibliothèque de journalisation qui se trouvait être à la mode lors du lancement du service. Les documents publics sont une technologie civique. Les reçus d'IA font partie de cette tradition, même s'ils contiennent des versions de modèles au lieu de signatures au stylo plume.

Il y a aussi un bénéfice démocratique. Les reçus permettent une surveillance agrégée sans exposer chaque personne. Les institutions peuvent mesurer quels services utilisent l'IA, où le soutien automatisé façonne les résultats, à quelle fréquence les humains interviennent, où les appels aboutissent, quelles sources créent des frictions et si certains groupes sont touchés de manière disproportionnée. C'est ainsi que l'IA publique peut passer d'une assurance vague à une pratique encadrée. Non pas en demandant à la société d'admirer un modèle, mais en rendant le pouvoir public suffisamment mesurable pour être contesté.

Le reçu est le fil conducteur de la boucle de décision publique. Sans lui, la boucle devient une file d'attente amnésique.

La leçon

L'IA publique a besoin de reçus parce que le pouvoir public a besoin de traces. Une réponse fluide du modèle ne suffit pas. Un score de risque utile ne suffit pas. Un pilote réussi ne suffit pas. Lorsque l'IA touche aux droits, aux services, aux priorités, à l'argent, à l'application des règles, aux soins, à l'éducation ou à l'accès, l'institution doit pouvoir montrer l'autorité, les sources, l'état du modèle, les règles, le rôle humain et la voie de recours derrière le résultat.

Cela n'exige pas de transformer chaque interaction en paperasse. Cela exige de concevoir la preuve dans le système au bon niveau. Les reçus publics doivent être compacts, en couches, respectueux de la vie privée, adaptés aux rôles, infalsifiables et reliés à un véritable examen. Ils doivent aider les citoyens à comprendre les limites, aider les agents à exercer leur jugement, aider les auditeurs à reconstituer les événements et aider les institutions à tirer des leçons des contestations.

Le secteur public n'a pas besoin d'une IA qui joue la confiance. Il a besoin d'une IA qui puisse être tenue pour responsable. Les reçus sont la technologie modeste de cette responsabilité. Ils sont petits, ternes et obstinément utiles. Dans l'administration publique, cette combinaison a pesé plus lourd que bien des manifestes. L'avenir de l'IA publique ne se jouera pas seulement sur la capacité des modèles. Il se jouera aussi sur la capacité de l'institution à produire, lorsqu'on lui demande ce qui s'est passé, quelque chose de mieux qu'un haussement d'épaules assuré.