IA pública precisa de comprovativos
O balcão sem recibo
Um serviço público sem recibos pareceria absurdo. Imagine renovar uma licença, entregar documentos, pagar uma taxa e receber apenas um aceno simpático do funcionário. Sem número de referência. Sem data. Sem indicação do que foi aceite. Sem via para contestar. O funcionário sorri e diz que o sistema saberá. Mesmo no município mais paciente, alguém na fila começaria a fazer aquela cara que significa que a democracia está prestes a transformar-se em papelada.
Os recibos são coisas pequenas, mas carregam peso institucional. Dizem às pessoas que uma ação aconteceu, que um pedido entrou num processo, que dinheiro mudou de mãos, que uma regra foi aplicada, que um prazo começou, que uma decisão pode ser encontrada novamente. Não são glamorosos. São melhores do que glamorosos. São prova humilde de que o Estado não absorveu simplesmente o seu caso numa máquina bege e lhe pediu para manter a fé.
A IA pública precisa agora do mesmo hábito. Quando um algoritmo resume um processo, sugere elegibilidade, classifica inspeções, redige uma resposta, sinaliza risco, encaminha um cidadão ou apoia uma decisão, a instituição pública deve ser capaz de produzir um recibo. Não uma explicação teatral gerada depois do facto. Não uma captura de ecrã de um painel. Não uma promessa de que o fornecedor provavelmente consegue reconstruir algo se o apoio for contactado durante o horário de expediente. Um recibo: prova compacta, estruturada e compreensível do que aconteceu e por que razão foi permitido que acontecesse.
Isto não acontece porque cada ação de IA é sinistra. Na maioria das vezes, o problema é menos dramático e mais comum. Os sistemas são complexos. As fontes mudam. As políticas são atualizadas. Os modelos são substituídos. As pessoas mudam entre departamentos. Um cidadão contesta um resultado seis meses depois. Um auditor pergunta qual versão da regra foi utilizada. Um ministro quer garantias antes de uma audição. Sem recibos, a organização tem de recriar o passado a partir de memórias, registos, exportações e do otimismo de alguém que insiste que o diagrama de arquitetura está quase atualizado.
A confiança não é um estado de espírito
As instituições públicas falam frequentemente de confiança como se fosse uma atmosfera acolhedora à volta dos serviços. Seja transparente, seja humano, seja inovador, e a confiança virá passear com um saco de pano. Isso é demasiado suave para a IA. A confiança pública não é um estado de espírito. É uma condição institucional produzida por direitos, procedimentos, registos, revisão, limites e pela capacidade de dizer o que aconteceu quando o resultado é contestado.
A IA torna isto mais difícil porque pode fazer o trabalho administrativo parecer mais fluido enquanto torna o seu percurso de raciocínio mais difícil de inspecionar. Um gestor de caso pode receber um resumo suficientemente exato para ser útil. Um planeador pode receber uma pontuação de risco que poupa tempo. Um cidadão pode receber uma resposta de chatbot que evita uma chamada telefónica. Estes podem ser benefícios reais. Mas quando a resposta influencia o tratamento, a prioridade, a elegibilidade, a aplicação da lei ou o acesso a um serviço, a instituição precisa de mais do que utilidade. Precisa de responsabilização de nível público.
Responsabilização de nível público significa que a instituição consegue ligar um resultado a um mandato. Consegue mostrar quais os dados que foram utilizados e quais os que não foram permitidos. Consegue mostrar se o modelo atuou como auxiliar de redação, motor de recomendação, ferramenta de triagem ou componente de decisão automatizada. Consegue mostrar a versão das regras e a aprovação humana quando exigidas. Consegue explicar como a pessoa afetada pode contestar o resultado. Estes não são enfeites em torno da IA. São o piso sobre o qual ela assenta.
Há a tentação de responder às preocupações com a confiança através de garantias amplas. O sistema foi testado. O modelo é seguro. O fornecedor está certificado. O processo tem governação. Estas afirmações podem ser verdadeiras e ainda assim insuficientes. O trabalho público acontece caso a caso. Um cidadão não vive dentro de uma referência agregada. Vive dentro da sua decisão, do seu processo, do seu prazo, do seu benefício perdido, da sua inspeção, da sua consulta, da sua pergunta sem resposta. Os recibos trazem a responsabilização para o nível onde o poder público é sentido.
Um recibo não é apenas um registo
O primeiro erro é confundir recibos com registos. Os registos são valiosos, mas são escritos para máquinas, operadores, equipas de segurança ou para evitar confusão futura. Podem ser demasiado extensos, demasiado sensíveis, demasiado técnicos, demasiado dispersos ou demasiado dependentes de um fornecedor. Um recibo é um artefacto moldado. É concebido para responder a questões de responsabilização pública sem expor todos os segredos, sobrecarregar todos os leitores ou exigir um curso de fim de semana em rastreio distribuído.
Um recibo útil tem camadas. A camada pública pode conter o contexto do serviço, a data, a referência da decisão, as categorias de dados de alto nível, a base das regras e a via de recurso. A camada interna pode conter identificadores de origem, versão do modelo, modelo de instrução, parâmetros de recuperação, verificações de políticas, controlos de acesso e identidade do revisor. A camada de auditoria pode conter hashes, carimbos de data e hora, assinaturas, regras de retenção e ligações para provas imutáveis. As camadas protegem a privacidade enquanto preservam a capacidade de inspeção. Nem toda a gente precisa de ver o mesmo detalhe. Mas alguém precisa de conseguir ver o suficiente.
Esta distinção é importante porque os recibos públicos de IA devem evitar tornar-se vigilância com outro nome. A resposta à opacidade não é registar tudo para sempre. É assim que um problema de governação se torna um problema de privacidade com pastas melhores. Os recibos devem ser mínimos, limitados a um propósito, retidos por períodos claros, separados de conteúdo desnecessário e acessíveis através de funções definidas. O teste é simples: consegue a instituição explicar o resultado e apoiar a correção sem construir um diário permanente de cada interação do cidadão.
Os registos são a matéria-prima. Os recibos são o produto responsabilizável. Num sistema maduro, estão ligados. Um recibo pode apontar para registos mais profundos quando uma investigação autorizada o exigir. Um registo pode provar que um recibo não foi inventado depois de a discussão começar. Mas o recibo é a coisa que o serviço público pode entregar aos seus próprios processos, e por vezes à pessoa afetada, sem pedir a todos que admirem um objeto JSON no seu habitat natural.
O cidadão vê a fronteira
Os diagramas de arquitetura tendem a ser desenhados de dentro para fora. Caixas, setas, serviços, filas, modelos, bases de dados, motores de políticas, portais para funcionários. O cidadão não experiencia nada disso. O cidadão experiencia uma fronteira. O pedido é aceite ou rejeitado. O sinalizador de risco aparece ou não aparece. A consulta está disponível ou não. O documento é suficiente ou não. A resposta diz sim, não, aguarde, carregue, ligue, recorra, saia.
É nessa fronteira que os comprovativos mais importam. Se for dito a um cidadão que um pedido não pode ser processado automaticamente, o comprovativo deve indicar qual condição falhou e como corrigi-la. Se um resumo de IA influenciou uma decisão, o registo deve mostrar que um humano a reviu e que material de origem estava disponível. Se um chatbot der aconselhamento processual, o comprovativo deve identificar a versão da fonte pública e esclarecer se o aconselhamento era vinculativo. Se um modelo de risco priorizar uma inspeção, o comprovativo deve mostrar a base legal, as categorias de dados e a via de revisão, sem expor métodos que comprometessem a própria inspeção.
Não se trata de transformar cada interação pública numa dissertação jurídica. As pessoas não devem precisar de um advogado para perceber uma licença de estacionamento. Mas o poder público deve às pessoas uma pega compreensível. Um comprovativo pode ser curto e ainda assim significativo: o seu pedido foi avaliado ao abrigo desta versão da regra, com estes registos, com este apoio automatizado, revisto por esta função e contestável por esta via. Isso não é poesia, o que é uma sorte. A poesia tem um historial fraco em portais de serviços.
A fronteira também importa para os funcionários. Gestores de caso, inspetores, professores, planeadores, clínicos e funcionários de atendimento não devem ficar com resultados de IA cuja origem não conseguem explicar. Um comprovativo protege-os de se tornarem invólucros humanos em torno de maquinaria misteriosa. Dá-lhes uma forma de dizer o que o sistema fez, onde entrou o seu juízo e quando um processo deve sair da automatização. Isso não é burocracia por si só. É dignidade profissional com um número de referência.
Processo devido em tempo de máquina
A administração pública já tem tradições de processo devido: notificação, fundamentação, acesso aos registos, audição, recurso, proporcionalidade, igualdade de tratamento, regras de conservação e autoridade nomeada. A IA não substitui estas tradições. Comprime o tempo em que têm de operar. Um modelo pode processar mil processos antes do almoço. Uma regra de encaminhamento pode afetar bairros inteiros antes de alguém reparar. Um erro num resumo pode percorrer um fluxo de trabalho mais depressa do que uma correção. O tempo de máquina torna os direitos antigos mais urgentes, não menos.
Os recibos são uma forma de garantir que o devido processo sobreviva à velocidade. Criam pausas no registo mesmo quando o fluxo de trabalho é rápido. No momento em que um sistema de IA toca num caso, o recibo pode registar a finalidade, a autoridade, o âmbito das fontes, o estado do modelo, as verificações de políticas e o estado da revisão. No momento em que um ser humano depende do resultado, o recibo pode registar o papel e a ação. No momento em que um cidadão recebe um desfecho, o recibo pode fornecer uma referência e uma via. Isto dá memória ao processo.
A memória é importante porque os erros públicos são muitas vezes descobertos tarde. Uma pessoa pode não saber que um campo de dados em falta era relevante até um benefício ser negado. Um inspetor pode não saber que uma fonte estava desatualizada até uma visita ao local parecer estranhamente direcionada. Um professor pode não saber que um sinal de risco veio de um feed de assiduidade defeituoso até um pai fazer uma pergunta direta. Sem recibos, a descoberta tardia torna-se em suposições tardias. Com recibos, a descoberta tardia pode tornar-se correção.
Isto não significa que todos os passos assistidos por IA se tornem recorríveis isoladamente. O processo público tem de continuar a ser exequível. Mas a cadeia deve preservar provas suficientes para um desafio significativo no momento certo. Se um sistema der uma sugestão que um ser humano ignore, o recibo deve refletir isso. Se um sistema der uma recomendação que um ser humano aceite, o recibo deve refletir isso também. A diferença importa. O público não pode contestar um fantasma, e os funcionários não podem defender um.
Recibos sem vigilância
A objeção mais forte aos recibos é que poderiam criar novos riscos de dados. Essa objeção é séria. As instituições públicas não devem resolver a opacidade da IA recolhendo um segundo ficheiro paralelo para cada cidadão. Um sistema de recibos que armazene para sempre pedidos desnecessários, conversas completas, excertos sensíveis de fontes, notas internas, resultados de ferramentas e vestígios comportamentais não é responsabilização. É um problema muito organizado.
Recibos que preservam a privacidade exigem disciplina de design. Armazene identificadores em vez de conteúdo completo sempre que possível. Use hashes para integridade. Separe os recibos virados para o cidadão dos registos de auditoria internos. Retenha provas de acordo com o valor legal do processo, não de acordo com o apetite dos sistemas de armazenamento. Redija ou agregue interações de baixo risco. Proteja as identidades dos revisores quando a segurança pessoal ou a independência o exigir, preservando ao mesmo tempo a responsabilização dos papéis. Mantenha registos de acesso para o próprio armazenamento de recibos, porque provas sobre provas têm o infeliz hábito de se tornarem importantes.
O design deve também evitar criar falsa precisão. Um recibo não deve afirmar que o modelo raciocinou como uma pessoa se não o fez. Não deve traduzir resultados probabilísticos num julgamento moral. Não deve fingir que uma pontuação alta é um facto. Deve dizer o que o sistema fez: recuperou estas fontes, aplicou esta regra, gerou este resultado, assinalou este intervalo de confiança, entregou a este papel, recebeu esta ação humana. Linguagem seca é um serviço cívico. O setor público já tem nevoeiro decorativo suficiente.
Há aqui uma humildade útil. Os recibos não tornam a IA perfeitamente justa, precisa ou legal. Tornam o sistema mais inspecionável. Reduzem o custo de encontrar erros. Criam um lugar para a correção. Dificultam que as instituições se escondam atrás da frase o sistema disse. No trabalho público, isso não é coisa pequena. É a diferença entre automação como administração e automação como uma gaveta fechada.
Comprar a interface de recibos
Se os registos de prova importam, têm de ser comprados e construídos, não desejados para existência após a implementação. Os compradores públicos devem perguntar aos fornecedores como o sistema produz provas ao nível do caso. Podem as versões do modelo ser fixadas. São as predefinições de prompt versionadas. São devolvidos identificadores de origem. Podem as decisões de recuperação ser exportadas. São os controlos de política registados. Podem os registos ser separados por finalidade. São as auditorias assinadas ou à prova de adulteração. Podem os resumos dirigidos aos cidadãos ser gerados a partir da mesma prova sem expor internos sensíveis. Pode a instituição sair com os seus registos intactos.
Estas perguntas podem parecer exigentes, mas são menos exigentes do que reconstruir um processo automatizado contestado depois de um jornal, tribunal, conselho, parlamento ou provedor de justiça se interessar. Adaptar registos retroativamente é difícil porque a prova em falta muitas vezes nunca foi capturada. Não se pode anexar um recibo à transação invisível de ontem. Só se pode fazer uma dança interpretativa em torno da telemetria. Isto não é recomendado como método de governação.
As interfaces de registo também ajudam as equipas internas. Facilitam a avaliação porque os resultados podem ser comparados com a fonte e o estado das regras. Tornam a resposta a incidentes mais rápida porque os casos afetados podem ser rastreados. Tornam as alterações de política mais mensuráveis porque as equipas podem ver quais as regras que criam fricção. Tornam a formação mais segura porque os exemplos podem ser selecionados com proveniência. Tornam a eliminação e a correção menos teatrais porque os artefactos derivados podem ser encontrados.
As instituições públicas não precisam que todos os fornecedores exponham todos os segredos internos. Alguns componentes permanecerão caixas negras numa camada. Mas o serviço como um todo deve produzir registos utilizáveis na fronteira pública. Se um fornecedor não conseguir apoiar isso, a instituição deve compreender o que está a comprar: não apenas uma capacidade, mas uma lacuna na sua própria capacidade de prestar contas do poder.
Quando os registos revelam más políticas
Os registos revelarão por vezes que o sistema de IA não é o principal problema. Isso é útil e desconfortável. Um registo pode mostrar que o modelo seguiu uma regra corretamente, mas a regra estava desatualizada. Pode mostrar que um humano anulou o sistema com frequência porque a política era demasiado rígida. Pode mostrar que dados em falta de outro departamento causaram negações repetidas. Pode mostrar que um sinal de risco era tecnicamente preciso e socialmente absurdo. Boa prova tem o hábito indelicado de alargar a conversa.
Esta é uma das razões pelas quais as instituições podem resistir aos recibos sem o dizerem diretamente. Os recibos criam responsabilização não só para as equipas tecnológicas, mas também para os responsáveis pelas políticas, pelos dados, pelos gestores, pelos fornecedores e pelos líderes eleitos. Tornam mais difícil culpar o algoritmo por uma decisão que foi, na realidade, desenhada por uma política, um orçamento, uma equipa ou uma folha de cálculo com um número heróico de colunas ocultas. Esse desconforto é uma funcionalidade. A IA pública não deve proporcionar um novo esconderijo para escolhas antigas.
Os recibos também apoiam a aprendizagem. Se muitos casos falham no mesmo requisito de prova, o formulário pode não ser claro. Se muitos resumos de IA são corrigidos pelos funcionários, a extração de fontes pode ser fraca. Se os recursos anulam repetidamente decisões que envolvem uma regra específica, a política deve ser revista. Se os cidadãos fazem a mesma pergunta depois de receberem um recibo, a explicação não é suficientemente boa. A responsabilização torna-se um ciclo, não um santuário dedicado a uma implementação passada.
As instituições públicas podem ser imperfeitas. Não podem, porém, ser inspecionáveis quando exercem poder. Os recibos tornam a imperfeição gerível. Dão às pessoas algo para contestar e às organizações algo para melhorar. Isto é menos romântico do que prometer uma IA fiável num documento de estratégia. É também muito mais útil, o que é um risco conhecido das medidas práticas.
Uma decisão pública com memória
Os melhores sistemas de recibos não são arquivos passivos. Alimentam um ciclo de decisão. Entra um pedido. A autoridade e a finalidade são verificadas. As fontes são selecionadas. O modelo ou motor de regras apoia o trabalho dentro dos limites declarados. Um papel humano aceita, rejeita ou modifica o resultado quando necessário. O cidadão recebe um resultado e um percurso. As contestações e correções regressam ao sistema como prova para melhoria. O recibo é o fio condutor do ciclo.
Este ciclo é importante porque os serviços públicos mudam. As leis são alteradas. Os formulários são redesenhados. Os conjuntos de dados são limpos. Os modelos são atualizados. As fronteiras organizacionais movem-se. Um recibo do ano passado pode ter de ser lido à luz do processo deste ano. Isso exige identificadores estáveis, regras com versões, registos de migração e disciplina de conservação. Caso contrário, um organismo público pode preservar um recibo que se refere a um sistema desaparecido, num vocabulário que ninguém compreende. Isso não é responsabilização. É arqueologia digital com melhor café.
Os recibos devem, por isso, ser geridos como documentos. Precisam de titularidade, calendários de conservação, direitos de acesso, formatos de exportação, verificações de integridade, regras de eliminação e procedimentos de revisão. Não devem ficar como um efeito secundário da biblioteca de registos que estava na moda quando o serviço foi lançado. Os documentos públicos são uma tecnologia cívica. Os recibos de IA fazem parte dessa tradição, mesmo que contenham versões de modelos em vez de assinaturas de caneta de tinta permanente.
Há também um benefício democrático. Os recibos permitem uma supervisão agregada sem expor cada pessoa. As instituições podem medir quais os serviços que utilizam IA, onde o apoio automatizado molda os resultados, com que frequência os humanos intervêm, onde os recursos são bem-sucedidos, quais as fontes que criam fricção e se determinados grupos são desproporcionalmente afetados. É assim que a IA pública pode passar de uma garantia vaga para uma prática governada. Não pedindo à sociedade que admire um modelo, mas tornando o poder público suficientemente contável para ser questionado.
A lição
A IA pública precisa de recibos porque o poder público precisa de registos. Uma resposta fluente do modelo não chega. Uma pontuação de risco útil não chega. Um projeto-piloto bem-sucedido não chega. Quando a IA toca direitos, serviços, prioridades, dinheiro, aplicação da lei, cuidados, educação ou acesso, a instituição tem de ser capaz de mostrar a autoridade, as fontes, o estado do modelo, as regras, o papel humano e a via de revisão por detrás do resultado.
Isto não exige transformar cada interação em papelada. Exige desenhar a evidência no sistema ao nível certo. Os recibos públicos devem ser compactos, em camadas, respeitadores da privacidade, sensíveis ao papel, à prova de adulteração e ligados a uma revisão real. Devem ajudar os cidadãos a compreender limites, ajudar os funcionários a exercer juízo, ajudar os auditores a reconstruir acontecimentos e ajudar as instituições a aprender com os desafios.
O setor público não precisa de IA que representa confiança. Precisa de IA que possa ser responsabilizada. Os recibos são a tecnologia modesta dessa responsabilização. São pequenos, monótonos e teimosamente úteis. Na administração pública, essa combinação pesou mais do que a maioria dos manifestos. O futuro da IA pública não será decidido apenas pela capacidade dos modelos. Será também decidido por saber se, quando perguntarem o que aconteceu, a instituição consegue apresentar algo melhor do que um encolher de ombros confiante.