A IA está enchendo a web de conteúdo. A questão é: o que acontecerá quando ela se retroalimentar dele?

Os modelos de IA generativa estão ganhando destaque, mas também estão inundando a web com novos conteúdos a um ritmo acelerado. Estamos vendo isso claramente com o Midjourney e sua capacidade criativa, bem como com o ChatGPT, que, por exemplo, está ajudando spammers a criar milhares de sites. Agora, estudos indicam que isso representa um grande problema futuro: o chamado "colapso do modelo".

O que é o colapso do modelo? Como indicado no estudo citado, no mundo das Redes Generativas Antagônicas (GANs), o "modo colapso" - do qual se origina o termo "colapso do modelo" - ocorre quando o gerador começa a se retroalimentar e produzir a mesma saída repetidamente. O colapso do modelo refere-se a um processo de aprendizagem degenerativa onde os modelos começam a esquecer eventos improváveis com o tempo, à medida que o modelo é "envenenado" com sua própria projeção da realidade.

Sim, o problema é que, como a IA está preenchendo a web com conteúdo e essa IA está sendo treinada e atualizada com toda essa web que fervilha e cresce, o que acontece com essa retroalimentação? Como a influência desses modelos afetará o fato de que cada vez mais dados de treinamento venham de conteúdos gerados por IA, e não por seres humanos?

Defeitos irreversíveis. De acordo com os pesquisadores, "o uso de conteúdo gerado pelo modelo em seu treinamento causa defeitos irreversíveis nos modelos resultantes". Na verdade, apontam que "o processo é inevitável, mesmo em casos com condições quase ideais para o aprendizado a longo prazo". Por quê?

Degeneração rápida. Segundo eles, com o tempo, "os erros nos dados gerados se agravam e, eventualmente, forçam os modelos que aprendem a partir dos dados gerados a perceber a realidade de forma ainda mais equivocada". Ilia Shumailov, um dos autores do estudo, destacou em VentureBeat que essa degeneração pode ocorrer muito rapidamente: "os modelos podem rapidamente esquecer a maioria dos dados originais dos quais inicialmente aprenderam".

Outro autor do estudo, Ross Anderson, da Universidade de Edimburgo, comparou o que está acontecendo com os oceanos, que estão cheios de plásticos. Isso, ele afirma, "dará vantagem às empresas que já estavam fazendo isso ou que controlam o acesso a interfaces humanas em larga escala. De fato, já vemos como empresas de IA estão explorando o The Internet Archive".

Ecoando a visão. Outro efeito decorrente do problema seria o de uma espécie de IA com um efeito de eco, se alimentando continuamente. Ted Chiang, autor de 'Story of Your Life' - o romance que inspirou o filme 'A Chegada' - explicou no The New Yorker que o colapso levará a uma qualidade cada vez pior, semelhante ao que acontece com uma imagem JPEG quando ela é copiada e degrada repetidamente.

Os pesquisadores apontam duas maneiras de evitar esse problema. A primeira é mantendo uma espécie de "cópia mestre" do conjunto de dados de treinamento original "produzido por humanos" e evitar "contaminá-lo" com dados gerados por uma IA. A segunda é adicionar novos conjuntos de dados gerados por humanos ao longo do treinamento em etapas subsequentes.

Por enquanto, tudo está bem. Até agora, os modelos foram treinados com dados gerados por humanos - os usados pelo ChatGPT foram atualizados até o outono de 2021, aproximadamente - e resta saber o que acontecerá com futuros modelos atualizados com dados que incluam aqueles gerados por esses modelos de IA. As previsões do estudo certamente não são animadoras.