A grande ilusão da IA: por que "mais dados" não nos vai salvar
A ilusão do bilião de parâmetros
Há uma corrida a acontecer na IA. Não é uma corrida para construir melhores sistemas. Não é uma corrida para resolver problemas reais. É uma corrida para construir números maiores.
Cem mil milhões de parâmetros. Quinhentos mil milhões. Um bilião. Dez biliões. Cada anúncio é recebido com comunicados de imprensa eufóricos e ações em alta. Cada modelo é comercializado como o próximo avanço na inteligência artificial.
Só que não são avanços. São apenas maiores.
E em algum momento, toda a indústria convenceu-se de que maior é igual a melhor. Que mais parâmetros significam mais inteligência. Que se continuarmos a escalar, a acrescentar zeros, a consumir mais dados e mais poder computacional, acabaremos por tropeçar na inteligência artificial geral.
É a maior ilusão da tecnologia moderna. E está a rachar.
O evangelho das leis de escala
Em 2020, os investigadores descobriram aquilo a que chamaram "leis de escala." Alimente uma rede neuronal com mais parâmetros e mais dados, e o seu desempenho melhora de forma previsível. Duplique os parâmetros, reduza a taxa de erro para metade. Era bonito. Matemático. Repetível.
As leis de escala tornaram-se evangelho. A planear investigação em IA? Basta aumentar a escala. Quer melhor desempenho? Acrescente mais parâmetros. Precisa de competir? Construa modelos maiores.
Todos os grandes laboratórios adotaram a mesma estratégia: modelos maiores, mais dados, mais poder de computação. O GPT-3 tinha 175 mil milhões de parâmetros. O GPT-4 foi maior. O Gemini foi mais longe. Foram anunciados modelos com um bilião de parâmetros. Discutiu-se a possibilidade de dez biliões.
A lógica parecia inatacável: se a escala tem funcionado até agora, porque haveria de parar?
Só que está a parar. Agora mesmo.
O muro que ninguém previu
No final de 2024, aconteceu algo inesperado. A próxima geração de modelos emblemáticos não apresentou as melhorias esperadas.
O dobro dos parâmetros. O triplo dos dados de treino. Dez vezes mais poder de computação. E o desempenho mal se mexeu. Em alguns casos, piorou.
As leis de escala, que se tinham mantido tão fiáveis durante anos, estavam a desmoronar-se. Os rendimentos decrescentes já não eram teóricos. Estavam aqui.
A TechCrunch noticiou em novembro de 2024 que as leis de escala da IA estão a "mostrar rendimentos decrescentes, forçando os laboratórios de IA a mudar de rumo." A DeepLearning.AI documentou como as grandes empresas reconheceram que "a próxima geração de modelos de alto perfil não tem mostrado as melhorias esperadas, apesar de arquiteturas maiores, mais dados de treino e mais poder de processamento."
A evidência é clara: a escala bateu num muro. Em vários muros, na verdade.
O muro dos dados
Primeiro muro: estamos a ficar sem dados de treino de qualidade.
Os grandes modelos de linguagem consomem a internet. Literalmente. O GPT-3 foi treinado com centenas de milhares de milhões de palavras recolhidas de sites, livros, artigos, fóruns. Todo o texto humano razoavelmente acessível online.
Mas a internet só tem tanto para dar. Uma investigação publicada em 2022 previu que esgotaremos os dados textuais de alta qualidade entre 2026 e 2032, se as tendências atuais se mantiverem. A análise da Epoch AI concluiu que, embora as estimativas anteriores apontassem para o esgotamento em 2024, uma metodologia refinada indica agora que tal poderá acontecer em 2028.
De qualquer forma, o tempo está a esgotar-se. O texto humano de alta qualidade gerado por pessoas é finito.
A resposta? Dados sintéticos. Modelos a gerar texto para treinar outros modelos. Parece inteligente até percebermos que é como fazer fotocópias de fotocópias. Cada geração degrada-se. Os erros acumulam-se. Os enviesamentos amplificam-se.
A Nature publicou investigação em 2024 que demonstra que modelos treinados com dados gerados recursivamente sofrem de "colapso de modelo". O estudo mostrou que treinar indiscriminadamente com conteúdo sintético leva a uma deterioração do desempenho, a uma redução da diversidade e, em última análise, a modelos de IA que produzem resultados cada vez mais genéricos.
Não se pode escalar infinitamente quando a fonte de combustível é finita. E dados de qualidade, conhecimento humano real, são de facto muito finitos.
O colapso da qualidade
Segunda parede: mais dados não significa melhores dados.
O artigo Chinchilla de 2022 revelou algo crucial: o modelo ideal não é o maior. É aquele com a melhor proporção entre parâmetros e tokens de treino. Por cada aumento de 4× na computação, é necessário um aumento de 2× no tamanho do modelo E um aumento de 2× na qualidade dos dados.
Mas o que acontece quando já se usaram todos os bons dados? Começa-se a recolher fontes de qualidade inferior. Fóruns com desinformação. Conteúdo traduzido por máquinas. Spam gerado por IA. O refugo da internet.
Mais dados de treino. Pior desempenho. Porque "lixo entra, lixo sai" não deixa de ser verdade só porque temos um bilião de parâmetros.
Um estudo de 2024 concluiu que a qualidade dos dados importa mais do que a quantidade para modelos de linguagem pequenos. Outro concluiu que conjuntos de dados cuidadosamente selecionados com 1 milhão de exemplos superam conjuntos de dados recolhidos aleatoriamente com 100 milhões de exemplos.
A resposta da indústria? Continuar a escalar na mesma. Atirar mais computação para o problema. Esperar que a força bruta supere os maus dados.
Não supera.
O teto da computação
Terceira parede: a física da computação.
Treinar um modelo com um bilião de parâmetros exige quantidades absurdas de computação. Estamos a falar de dezenas de milhares de GPUs a funcionar durante meses. Consumo de energia que rivaliza com pequenos países. Custos de infraestrutura na casa das centenas de milhões.
E para quê? Melhorias marginais. Ganhos de desempenho que mal justificam o aumento exponencial dos custos.
Uma estimativa sugere que treinar um hipotético modelo com 10 biliões de parâmetros consumiria mais eletricidade do que alguns países europeus usam anualmente. Para uma única execução de treino. Que provavelmente precisará de ser repetida dezenas de vezes antes de funcionar.
Os retornos económicos já não justificam os custos de computação. As leis de escala prometiam melhorias lineares com investimento linear. A realidade está a entregar melhorias logarítmicas com investimento exponencial.
Isso não é um modelo de negócio. É uma bolha prestes a rebentar.
A ilusão da inteligência
Mas aqui está o problema mais profundo: mesmo quando a escala funcionava, não estava a criar inteligência. Estava a criar correspondência estatística de padrões a uma escala enorme.
Um bilião de parâmetros não pensa. Não raciocina. Não compreende. Prevê o próximo token com base em padrões nos dados de treino. É algo profundamente diferente de inteligência.
A ilusão é convincente porque a escala consegue aproximar a compreensão. Dê a um modelo exemplos suficientes e ele consegue encontrar padrões que produzem respostas aparentemente inteligentes. Mas é imitação, não compreensão.
É por isso que os modelos falham em problemas novos. Porque não conseguem fazer raciocínio multi-etapas de forma fiável. Porque alucinam factos incorretos com confiança. Não estão a pensar. Estão a recuperar e a recombinar padrões.
E nenhuma quantidade de escala resolve isto. Adicionar mais parâmetros a um correspondente de padrões apenas dá um correspondente de padrões maior.
A armadilha europeia
Para a Europa, o paradigma da escala cria uma situação impossível.
Os gigantes tecnológicos americanos têm a computação. Têm os dados. Têm a infraestrutura para treinar modelos com um bilião de parâmetros. As empresas europeias não têm.
Tentar competir na corrida da escala significa que a IA europeia estará sempre a recuperar terreno. Sempre uma geração atrás. Sempre em desvantagem na computação e superada nos gastos com recolha de dados.
É um jogo viciado à partida. As regras favorecem quem tem mais recursos, não quem tem as melhores ideias.
E agora, à medida que as leis de escala se desmoronam, a desvantagem da Europa nessa corrida torna-se irrelevante. Porque a própria corrida está a terminar.
A alternativa mais inteligente
Então qual é a alternativa? Se maior não é melhor, o que é?
A resposta é elegância. Eficiência. Rigor matemático.
Na Dweve, nunca acreditámos na ilusão da escala. Não tentámos construir modelos maiores. Construímos modelos mais inteligentes.
Redes neuronais binárias com 456 especialistas de domínio. Cada especialista de domínio focado em tipos específicos de raciocínio. Ativação esparsa significa que apenas os especialistas de domínio relevantes são ativados para cada tarefa. Sem computação desperdiçada. Sem parâmetros desnecessários.
O resultado? Desempenho de ponta com uma fração dos parâmetros. Melhor raciocínio com menos dados. Sistemas implementáveis que não exigem infraestrutura à escala de um centro de dados.
O Loom 456 não está a tentar memorizar a internet. Foi concebido para raciocinar com restrições, para pensar através de problemas, para compreender verdadeiramente a estrutura.
Isto é inteligência através da arquitetura, não através da acumulação.
Qualidade em vez de quantidade
O artigo Chinchilla acertou numa coisa: a proporção importa mais do que os números brutos.
Mas a verdadeira perceção vai mais fundo: modelos cuidadosamente concebidos com regimes de treino selecionados superam modelos massivos com acumulação indiscriminada de dados.
Pense na aprendizagem humana. Não se fica inteligente por ler tudo. Fica-se inteligente por ler as coisas certas, na ordem certa, com a orientação certa. A qualidade da aprendizagem importa mais do que a quantidade de informação.
A IA não é diferente. Um modelo treinado com dados bem estruturados e cuidadosamente selecionados superará um modelo a afogar-se em texto aleatório da internet. Mesmo que o segundo modelo tenha 100× mais parâmetros.
É aqui que a Europa pode competir. Não construindo maior, mas construindo melhor. Não recolhendo mais dados, mas usando regimes de treino mais inteligentes.
O Dweve Core demonstra este princípio. A nossa estrutura de redes neuronais binárias alcança um desempenho competitivo com ordens de grandeza menos parâmetros do que os modelos padrão. Porque nos focámos na elegância matemática em vez de na expansão por força bruta.
A vantagem da arquitetura
Eis o que a multidão da expansão não vê: a arquitetura importa mais do que o tamanho.
Podes ter um bilião de parâmetros organizados de forma estúpida, ou mil milhões de parâmetros organizados de forma inteligente. A organização inteligente ganha sempre.
As arquiteturas de Mistura de Peritos (MoE) provam isto. Em vez de ativar todos os parâmetros para cada tarefa, ativa apenas o subconjunto relevante. De repente, obténs desempenho de biliões de parâmetros com custos de computação de mil milhões de parâmetros.
As redes neuronais binárias levam isto mais longe. Cada operação é matematicamente mais simples, mas a arquitetura geral é mais sofisticada. Raciocínio baseado em restrições em vez de aproximação probabilística. Lógica discreta em vez de suposições de vírgula flutuante.
O resultado são sistemas que raciocinam em vez de recuperar. Que compreendem a estrutura em vez de memorizar padrões. Que funcionam de forma fiável em vez de alucinar de forma plausível.
Este é o futuro que as leis de expansão não conseguem alcançar: inteligência real, não apenas imitação maior.
Para além da ilusão
A era da escala está a terminar. Não com um colapso dramático, mas com um reconhecimento lento de que continuar a atirar mais poder computacional para o problema já não funciona.
Muros de dados. Colapso de qualidade. Tetos computacionais. Retornos decrescentes. Estes não são contratempos temporários. São limites fundamentais do paradigma da escala.
Mas para aqueles que nunca acreditaram na ilusão, isto não é uma crise. É uma oportunidade.
Uma oportunidade de construir IA baseada em princípios reais de inteligência, em vez de correlação estatística. De criar sistemas que funcionam com eficiência, em vez de desperdício. De desenvolver tecnologia acessível, em vez de exigir orçamentos de milhares de milhões de dólares.
A corrida dos biliões de parâmetros foi sempre um beco sem saída. Só tivemos de esperar que todos os outros embatessem no muro para o provar.
O verdadeiro avanço
Eis a ironia: o verdadeiro avanço na IA não será um modelo maior. Será a perceção de que temos andado a otimizar para a coisa errada.
Não mais parâmetros. Melhor arquitetura.
Não mais dados. Melhor aprendizagem.
Não mais poder computacional. Matemática mais inteligente.
As redes neuronais binárias representam esta mudança. Da acumulação à elegância. Da força bruta ao rigor matemático. De monstros de biliões de parâmetros a sistemas de milhares de milhões que realmente pensam.
A plataforma da Dweve prova que funciona: Core como o enquadramento algorítmico binário, Loom como o modelo de inteligência especialista em 456 domínios, Nexus como o enquadramento de inteligência multiagente, Aura como a plataforma de orquestração de agentes autónomos, Fabric como o painel unificado e centro de controlo, Mesh como a camada de infraestrutura descentralizada.
Tudo construído sobre o princípio de que a inteligência vem da estrutura, não do tamanho.
A escolha que se segue
A indústria da IA enfrenta uma escolha. Continuar a perseguir a ilusão da escala, deitar dinheiro bom atrás de mau, esperando que a próxima ordem de grandeza consiga finalmente romper os muros. Ou aceitar que o paradigma tem limites e avançar para algo melhor.
Os dados dizem que a escala está esgotada. A física diz que os custos computacionais são insustentáveis. A matemática diz que há abordagens mais inteligentes.
A Europa não precisa de vencer a corrida da escala. A Europa precisa de a tornar obsoleta. Construir IA que não exija modelos de biliões de parâmetros. Criar sistemas que funcionem com eficiência em vez de desperdício. Desenvolver tecnologia baseada na compreensão, não na memorização.
A grande ilusão da IA está a desmoronar-se. Mais dados não a vão salvar. Modelos maiores não a vão salvar. Mais poder computacional não a vai salvar.
O que quebra a ilusão? Reconhecer que a inteligência nunca foi uma questão de tamanho.
O futuro da IA não são biliões de parâmetros. São arquiteturas inteligentes, computação eficiente e elegância matemática. São sistemas concebidos para compreender, não para memorizar. Inteligência através da estrutura, não da acumulação.
O paradigma da escala cumpriu o seu propósito. Mostrou-nos o que a força bruta consegue alcançar. Mas agora chegámos aos seus limites. O próximo capítulo da IA exige um pensamento diferente: precisão em vez de escala, arquitetura em vez de parâmetros, inteligência em vez de tamanho.
Esse futuro está a ser construído agora. Por investigadores focados na eficiência. Por engenheiros que priorizam a explicabilidade. Por empresas que desenvolvem IA que funciona sem exigir infraestrutura de centros de dados. A Europa tem a oportunidade de liderar esta mudança, não ao vencer a corrida da escala, mas ao torná-la irrelevante.
A grande ilusão da IA está a desmoronar-se. Mais dados não a vão salvar. O que vem a seguir será mais inteligente.
A Dweve desenvolve IA com redes de restrições binárias e arquiteturas de mistura de especialistas de domínio. A Loom utiliza 456 especialistas de domínio para um raciocínio eficiente. Desenvolvimento nos Países Baixos, ao serviço de organizações europeias. O futuro da IA é elegante, não apenas grande.