Alucinações de IA: quando a IA inventa coisas (e porquê)

Alucinações de IA: quando a IA inventa coisas (e porquê)

A mentira confiante

A IA disse-me que a Torre Eiffel foi construída em 1889 para a Exposição Universal. Correto.

A IA disse-me que foi desenhada por Gustave Eiffel. Correto.

A IA disse-me que foi originalmente planeada para ser desmontada ao fim de 20 anos. Correto.

A IA disse-me que foi pintada de rosa vivo em 1962 para celebrar a independência francesa. Totalmente falso. Disse-o com confiança. Com detalhes específicos. Totalmente inventado.

Isto é uma alucinação. A IA a gerar informação falsa apresentada como facto. Perceber porque é que isto acontece é importante. Porque confiar numa IA que alucina é perigoso.

O que são realmente as alucinações de IA

Uma alucinação é quando a IA gera informação que é factualmente incorreta, sem sentido ou infiel ao material de origem. Mas apresenta-a com confiança. Como se soubesse.

• Não são erros aleatórios: As alucinações não são erros de digitação. São falsidades com aparência plausível. A Torre Eiffel pintada de rosa parece plausível. Ano específico. Razão específica. Simplesmente errado.
• Alta confiança, baixa precisão: A IA não diz "talvez" ou "possivelmente". Afirma factos. Sem hesitações. Sem marcadores de incerteza. Entrega confiante de informação falsa.
• Tipos de alucinações: Alucinações factuais: Informação errada sobre coisas reais. "Einstein ganhou o Prémio Nobel em 1922" (foi em 1921).

• Entidades fabricadas: Inventar coisas que não existem. "O estudo significativo do Dr. Johnson em 2019..." (esse estudo não existe).
• Resumos infiéis: Resumir texto incorretamente. Acrescentar afirmações que não estão na fonte. Omitir qualificadores cruciais. Alterar o significado.
• Inconsistências lógicas: Contradizer-se a si própria. O parágrafo 1 diz X. O parágrafo 3 diz não-X. Ambos afirmados com confiança.

Tudo apresentado como verdade. É isto que torna as alucinações perigosas.

Porque é que as alucinações acontecem

Compreender a causa ajuda a compreender a solução:

Conclusão de Padrões, Não Recuperação de Conhecimento:

As redes neuronais não têm uma base de dados de factos. Completam padrões. "A Torre Eiffel foi pintada..." desencadeia a correspondência de padrões. Rosa + celebração + ano parece plausível. O modelo completa o padrão. Mas o padrão não está ancorado em factos.

É um preenchimento automático sofisticado. Não é uma consulta de factos. O modelo prevê que palavras devem vir a seguir. Por vezes, essas palavras formam falsidades.

Limitações dos Dados de Treino:

O modelo aprende com os dados de treino. Se o tópico for raro nos dados de treino, o modelo adivinha. Essas suposições podem estar erradas. Tópicos de baixa frequência = maior risco de alucinação.

Exemplo: Pergunte sobre um artigo de investigação específico de 2023. Se não estiver no treino (o corte do treino foi em 2022), o modelo extrapola. Cria um artigo falso mas com aparência plausível.

• Sobregeneralização: O modelo vê o padrão X→Y com frequência. Assume que é universal. Aplica-o ao caso Z onde não se verifica. Gera informação incorreta por generalização falsa.
• Viés de Confirmação na Geração: Depois de o modelo começar numa direção, continua. O primeiro token sugere "rosa" → os tokens seguintes reforçam a narrativa do rosa. História coerente. Apenas falsa.

Os modelos de linguagem são máquinas de consistência. Mantêm narrativas coerentes. Isso não significa que essas narrativas sejam verdadeiras.

Sem Verificação da Verdade:

Os modelos não verificam factos. Não há verificação interna. Não há um passo de "isto é verdade?". Otimizam para fluência e coerência. A verdade é secundária. Na verdade, a verdade não é de todo um objetivo explícito.

Exemplos reais de alucinações

Casos documentados:

• Citações Jurídicas (ChatGPT em Tribunal): Um advogado usou o ChatGPT para pesquisar casos. O modelo citou vários precedentes. Nomes de casos. Decisões judiciais. Acórdãos específicos. O advogado submeteu-os. Problema: esses casos não existiam. Inventados pela IA. O advogado enfrentou sanções. A IA alucinou precedentes jurídicos.
• Informação Médica: O utilizador pergunta sobre uma doença rara. A IA fornece sintomas, tratamentos, nomes de medicamentos. Parece médico. Cita dosagens específicas. Mas combina nomes reais de medicamentos com utilizações erradas. Ou inventa tratamentos inexistentes. Perigoso se for seguido.
• Fontes Académicas: "De acordo com um estudo de 2020 de Smith et al. publicado na Nature..." Revista específica. Autores. Ano. O estudo não existe. Totalmente fabricado. Mas segue o padrão de citações reais.
• Acontecimentos Históricos: "O Tratado de Paris de 1783 incluía disposições sobre..." Acrescenta disposições que não estavam no tratado. Ou funde detalhes de tratados diferentes. Revisão histórica com aparência plausível.
• Geração de Código: A IA gera código usando uma biblioteca. Inventa métodos de API que não existem. Ou usa nomes de métodos corretos com assinaturas erradas. O código parece correto. Não é executado. API alucinada.

Todos os exemplos partilham: apresentação plausível, detalhes específicos, falsidade completa.

Detetar alucinações

Como é que as identifica?

• Verificar detalhes específicos: Afirmações específicas podem ser verificadas. "Estudo de X na revista Y, ano Z" → procure por ele. Alucinações incluem frequentemente detalhes falsos específicos. Verifique-os.
• Referências cruzadas: Várias fontes. Se a IA disser algo surpreendente, verifique noutros locais. Wikipédia. Fontes oficiais. Bases de dados de investigação reais. Não confie apenas na IA.
• Procurar linguagem hesitante: A incerteza real inclui "pode", "possivelmente", "segundo algumas fontes". Confiança absoluta em tópicos obscuros é suspeita. Respostas legítimas reconhecem a incerteza.
• Testar a consistência interna: Faça a mesma pergunta de formas diferentes. As alucinações produzem frequentemente respostas inconsistentes. O conhecimento real permanece consistente.
• Pedir fontes: Pergunte à IA onde aprendeu isto. As alucinações não podem citar fontes reais. Podem inventar fontes, mas pode verificá-las.
• Revisão por especialistas do domínio: Os especialistas reconhecem alucinações na sua área. A incorreção subtil destaca-se. Para aplicações críticas, a revisão por especialistas é obrigatória.

Estratégias de mitigação

Como reduzir as alucinações:

Geração Aumentada por Recuperação (RAG):

Não dependa apenas da formação do modelo. Recupere documentos relevantes. Fundamente as respostas no texto recuperado. O modelo vê: "Aqui está o material de origem. Responda com base nisto."

Reduz as alucinações. O modelo continua a gerar texto, mas fundamentado em documentos reais. Ainda não é perfeito (pode interpretar mal as fontes), mas é muito melhor.

• Descodificação restringida: Limite o que o modelo pode dizer. Forneça listas de entidades, bases de dados de factos, valores permitidos. O modelo só pode usar informação aprovada. As alucinações ficam reduzidas ao conjunto aprovado.
• Calibração de confiança: Treine os modelos para expressarem incerteza. Confiança baixa em tópicos raros. Confiança alta em tópicos bem cobertos. O utilizador vê pontuações de confiança. Sabe quando ser cético.
• Afinação para a factualidade: Treine os modelos especificamente para serem factuais. Recompense afirmações verdadeiras. Penalize as falsas. Aprendizagem por reforço com feedback humano focada na verdade, e não apenas na utilidade.
• Cadeia de verificação: O modelo gera a resposta. Depois verifica-a. Autoverificação. "Esta afirmação é precisa? Consigo encontrar provas que a apoiem?" Captura algumas alucinações antes da saída.
• Consenso entre vários modelos: Pergunte a vários modelos. Se concordarem, provavelmente está correto. Se discordarem, investigue. As alucinações são frequentemente específicas de cada modelo. O consenso aumenta a confiança.
• Ligação explícita a fontes: Exija citações para cada afirmação. Se o modelo não puder citar uma fonte, não faça a afirmação. Força a fundamentação. Reduz afirmações sem suporte.

Abordagens baseadas em restrições (a perspetiva da Dweve)

Os sistemas de restrições binárias oferecem um caminho diferente:

• Representação explícita do conhecimento: As restrições codificam factos de forma explícita. "A entidade X tem a propriedade Y." Não são padrões estatísticos. É conhecimento efetivamente codificado. A recuperação é determinística. Não há geração a partir de padrões difusos.
• Resultados verificáveis: Cada conclusão remonta às restrições. "Esta resposta vem das restrições C1, C2, C3." Existe uma trilha de auditoria. Verifique as restrições. Se estiverem corretas, a resposta está correta. Não há conclusão oculta de padrões.
• Sem alucinações generativas: Os sistemas de restrições não geram da mesma forma. Eles correspondem a padrões. Aplicam regras. Recuperam conhecimento. Não existe a dinâmica de "completar uma história plausível". Se o conhecimento não estiver nas restrições, o sistema diz "não sei". Não inventa.
• Conhecimento delimitado: O sistema sabe o que sabe. O grafo de conhecimento tem arestas ou não tem. As restrições existem ou não existem. É binário. Há limites claros. Fora desses limites? Incerteza explícita.

Compromisso: Menos flexível do que os modelos generativos. Não consegue preencher lacunas de forma criativa. Mas para a fiabilidade factual, isso é uma funcionalidade, não um defeito. Estar limitado à verdade é o objetivo.

Resposta regulatória europeia (alucinações como responsabilidade legal)

Os reguladores europeus tratam as alucinações como falhas graves de conformidade, não como pequenos erros.

Requisitos de transparência do Regulamento Europeu sobre IA: O artigo 13.º determina que os sistemas de IA de alto risco devem ser "suficientemente transparentes para permitir que os utilizadores interpretem o resultado do sistema e o utilizem de forma adequada". As alucinações, falsidades confiantes, violam diretamente este princípio. O artigo 15.º exige "níveis adequados de exatidão, robustez e cibersegurança". Os sistemas que geram informação fabricada têm dificuldade em cumprir estes requisitos de exatidão e enfrentam desafios regulatórios durante as avaliações de conformidade.

Interseção com o RGPD: Quando a IA alucina informações pessoais (inventa credenciais, histórico profissional, condições médicas), pode criar processamento de dados não autorizado ao abrigo do artigo 6.º do RGPD. A autoridade francesa de proteção de dados (CNIL) estabeleceu precedentes de aplicação para violações relacionadas com IA, com coimas até 20 milhões de euros ou 4% do volume de negócios global por infrações graves. Isto cria responsabilidade legal para fabricações geradas por IA, tratando-as como violações de conformidade e não como meros erros técnicos.

Implementação nos Estados-Membros: Os reguladores alemães e franceses indicaram que os sistemas de IA implementados em infraestruturas críticas devem demonstrar mecanismos de verificação da correção factual. Embora os protocolos de teste específicos variem consoante o setor, o princípio é claro: os sistemas propensos a alucinações enfrentam um escrutínio acrescido na saúde, nas finanças e em aplicações críticas para a segurança.

Porque é que as alucinações importam para a implementação

A base de dados de alucinações de IA regista 426 processos legais a nível global envolvendo fabricações geradas por IA. A investigação mostra taxas de alucinação entre 58-88% para modelos de uso geral ao responder a perguntas factuais específicas, e até ferramentas especializadas mostram taxas de alucinação de 20-33%. Estes não são casos extremos; são desafios arquitetónicos fundamentais.

Domínios de alto risco particularmente vulneráveis: Profissionais de direito documentaram casos em que a IA citou jurisprudência inexistente, o que levou a sanções profissionais. Projetos-piloto na área da saúde revelaram casos em que a IA sugeriu interações medicamentosas inexistentes ou protocolos de tratamento inventados. Os serviços financeiros encontraram métricas alucinadas e relatórios de analistas fabricados. Chatbots do setor público forneceram orientações processuais incorretas com base em regulamentos inventados.

O padrão entre setores: As alucinações criam responsabilidade real: financeira, regulatória e reputacional. As organizações europeias tratam cada vez mais a IA propensa a alucinações como um risco inaceitável em aplicações críticas, preferindo sistemas com mecanismos explícitos de verificação ou optando por restringir a implementação da IA a casos de uso de menor risco, onde as invenções causam danos mínimos.

O futuro da redução de alucinações

Para onde isto vai?

• Melhor Fundamentação: Integração mais estreita com bases de conhecimento. Cada afirmação apoiada por uma fonte recuperável. Fundamentação obrigatória, não opcional.
• Quantificação da Incerteza: Modelos que sabem o que não sabem. Expressar a confiança com precisão. Sinalizar automaticamente potenciais alucinações.
• Integração da Verificação de Factos: Verificação de factos em tempo real. O modelo gera a afirmação. O verificador valida. Apenas afirmações verificadas são emitidas.
• Arquiteturas Híbridas: Modelos generativos para fluência. Sistemas simbólicos para factos. O melhor dos dois mundos. Legibilidade com fiabilidade.
• Requisitos de Transparência: A regulamentação pode exigir atribuição de fontes. Cada afirmação da IA deve citar fontes. As alucinações tornam-se legalmente problemáticas. Forçam mudanças arquitetónicas.

O objetivo: IA que gera com fluência E com veracidade. Não uma ou outra. Ambas.

Abordagens emergentes para a redução de alucinações

Instituições de investigação em todo o mundo estão a desenvolver soluções arquitetónicas para o problema das alucinações:

Geração limitada por confiança: Sistemas que geram múltiplas respostas candidatas, avaliam a confiança de cada afirmação e devolvem apenas afirmações de alta confiança com atribuição de fonte. Afirmações de baixa confiança são sinalizadas como incertas, em vez de serem apresentadas como factos.

Ciclos de verificação iterativos: Arquiteturas em que um modelo gera respostas enquanto um segundo verifica afirmações contra bases de conhecimento. Contradições desencadeiam regeneração com correções, continuando até a verificação passar ou o sistema declarar explicitamente incerteza. O custo computacional é mais elevado, mas as taxas de alucinação diminuem significativamente.

Sistemas híbridos simbólico-neuronais: Combinar modelos generativos para fluência linguística com sistemas simbólicos para fundamentação factual. Cada afirmação factual deve existir num grafo de conhecimento: se não existir, o sistema declara "incapaz de verificar" em vez de adivinhar, prevenindo a invenção através de restrição arquitetónica.

Geração orientada pela fonte: Inverter o fluxo tradicional começando por fontes verificadas e, em seguida, gerar texto que explica ou resume essas fontes sem exceder o conteúdo da fonte. Cada frase permanece rastreável a documentos-fonte específicos, tornando a alucinação impossível por conceção.

O padrão nestas abordagens: resolver a alucinação através da arquitetura, em vez de esperar que um melhor treino seja suficiente. As compensações, o custo computacional mais elevado e a flexibilidade criativa reduzida, provam ser aceitáveis para aplicações em que a fiabilidade factual é o que mais importa.

O que precisa de recordar

• 1. As alucinações são falsidades confiantes. Detalhes específicos. Sem hesitações. Completamente erradas. Apresentação plausível.
• 2. Ocorrem devido à conclusão de padrões. Não é recuperação de factos. Os modelos preveem continuações plausíveis. Isso não significa que sejam verdadeiras.
• 3. Os tipos variam. Erros factuais, entidades fabricadas, resumos infiéis, inconsistências lógicas. Tudo apresentado como verdade.
• 4. A deteção exige verificação. Verifique os detalhes. Faça referências cruzadas. Teste a consistência. Revisão por especialistas. Não confie cegamente.
• 5. Existem medidas de mitigação. RAG, descodificação restringida, calibração de confiança, cadeia de verificação. Não são perfeitas, mas são melhores.
• 6. Os sistemas de restrição ajudam. Conhecimento explícito. Resultados verificáveis. Sem fabricação generativa. Fiabilidade limitada.
• 7. O futuro melhora. Melhor fundamentação, quantificação da incerteza, verificação de factos, arquiteturas híbridas. O progresso continua.
• 8. Os regulamentos europeus tratam as alucinações com seriedade. Requisitos de exatidão do Regulamento IA da UE, regras de processamento de dados do RGPD. As fabricações criam responsabilidade potencial: financeira, regulamentar, reputacional.
• 9. Os setores de alto risco são particularmente afetados. Jurídico, saúde, finanças, serviços públicos. Casos documentados de sanções profissionais, falhas de implementação, exposição a responsabilidade. A prevenção é essencial para aplicações críticas.
• 10. Estão a surgir soluções arquiteturais. Geração limitada por confiança, verificação iterativa, sistemas híbridos simbólico-neuronais, abordagens que priorizam a fonte. Investigação que aborda a alucinação através do design, não apenas da formação.

A conclusão final

As alucinações de IA são fundamentais para as arquiteturas atuais. Não são erros. São características de sistemas de correspondência de padrões. Os modelos completam sequências plausíveis. Essas sequências não são garantidamente verdadeiras.

O perigo é a confiança. A IA não diz "talvez" ou "provavelmente". Ela afirma. Os utilizadores confiam. Essa confiança é infundada para conteúdo alucinado.

Existem soluções. Geração aumentada por recuperação. Sistemas baseados em restrições. Camadas de verificação. Nenhuma é perfeita. Mas todas reduzem o risco de alucinação.

As aplicações críticas exigem fiabilidade. Diagnóstico médico. Investigação jurídica. Aconselhamento financeiro. As alucinações são inaceitáveis. A arquitetura é importante. Escolha sistemas concebidos para a factualidade, não apenas para a fluência.

Para uso geral, seja cético. Verifique as afirmações. Consulte as fontes. Faça referências cruzadas. Não assuma que a IA sabe. Ela prevê. Por vezes, erra. Errar com confiança é o tipo mais perigoso.

O futuro da IA deve abordar isto. Não apenas gerar. Gerar com verdade. Com fontes verificáveis. Incerteza explícita quando apropriado. Isso é IA fiável. Não é o que temos hoje. Mas é o que devemos construir amanhã.

Os quadros regulamentares como o Regulamento IA da UE reconhecem as alucinações como desafios fundamentais para a fiabilidade da IA. Ao exigir exatidão, transparência e robustez, estes regulamentos impulsionam o desenvolvimento para mecanismos de verificação e soluções arquiteturais. A questão não é se devemos abordar as alucinações; é se devemos fazê-lo proativamente através de um melhor design ou reativamente após falhas de implementação.

Quer uma IA com base em factos? Explore o Dweve Loom e o Nexus. Conhecimento com restrições binárias. Cadeias de raciocínio explícitas. Resultados verificáveis. Conhecimento limitado com incerteza clara. O tipo de IA que sabe quando não sabe. E que não inventa para preencher as lacunas.