Envenenamento de Dados e Colapso de Modelos O Cataclismo da IA Imimente
Envenenamento de Dados e Colapso de Modelos O Cataclisma Iminente da IA
Ferramentas de IA generativa como o ChatGPT parecem ser boas demais para ser verdade: basta criar uma simples solicitação e a plataforma gera texto (ou imagens, vídeos etc.) sob encomenda.
Por trás das cortinas, o ChatGPT e outros aproveitam vastas porções da World Wide Web como dados de treinamento – o ‘grande’ em ‘modelo de linguagem grande’ (LLM) que dá nome a essa tecnologia.
A IA generativa, no entanto, possui suas desvantagens. Ela favorece a plausibilidade em detrimento da veracidade, muitas vezes gerando conversa fiada (consulte meu artigo recente sobre a conversa fiada).
No entanto, a falta de veracidade não é a única desvantagem. A IA generativa é tão bem-sucedida na criação de conteúdo plausível que as pessoas estão enviando-o de volta para a web, o que significa que da próxima vez que um modelo de IA generativa usar a web para treinamento, ele estará aproveitando uma quantidade cada vez maior de dados gerados por IA.
- Repositórios AI em alta no GitHub Semana de 9 de outubro de 2023
- Aragon AI Review O Gerador de Retratos de Inteligência Artificial Definitivo em 2023?
- Encontre suas soluções de IA na Expo AI ODSC West
Essa espécie de ciclo vicioso Ouroboros, no entanto, é algo ruim, pois leva ao colapso do modelo e envenenamento de dados. Dado que não existem maneiras práticas de prevenir esses problemas, esse ciclo pode tornar a maioria ou toda a IA inutilizável.
Vamos dar uma olhada mais de perto.
Colapso do modelo e envenenamento de dados
O colapso do modelo ocorre quando modelos de IA são treinados com conteúdo gerado por IA. É um processo em que pequenos erros ou viéses nos dados gerados se acumulam a cada ciclo, eventualmente desviando o modelo da geração de inferências com base na distribuição original dos dados.
Em outras palavras, o modelo eventualmente esquece completamente os dados originais e acaba criando ruído inútil.
O envenenamento de dados é um processo relacionado, mas diferente. O envenenamento de dados é um tipo de ciberataque em que um ator mal-intencionado introduz intencionalmente informações enganosas nos conjuntos de dados de treinamento para fazer com que o modelo gere resultados fracos – ou, na realidade, quaisquer resultados que o ator mal-intencionado desejar.
O exemplo familiar de envenenamento de dados é a corrupção do chatbot do Twitter da Microsoft, Tay, em 2016. Os usuários alimentaram o chatbot com tweets ofensivos, treinando assim o Tay a agir de maneira hostil.
Embora o colapso do modelo e o envenenamento de dados sejam problemas diferentes, sua sobreposição é particularmente preocupante. Se atores mal-intencionados usarem IA para gerar dados envenenados com a intenção de colapsar um modelo, é provável que eles alcancem seus objetivos nefastos sem detecção.
O problema com conjuntos de dados públicos
As pessoas estão envenenando a web o tempo todo. Talvez até você já tenha feito isso. Tudo o que você precisa fazer para realizar essa ação nefasta é publicar qualquer conteúdo gerado por IA online.
O envenenamento, afinal, pode ser intencional ou acidental. Enquanto o envenenamento de dados intencional é uma ameaça cibernética, o envenenamento acidental está acontecendo continuamente na web, mídias sociais, intranets, canais do Slack e qualquer outro lugar em que as pessoas possam publicar conteúdo gerado por IA.
O colapso do modelo, na verdade, não é o único resultado indesejável do envenenamento da web. Qualquer mecanismo de busca também é um alvo.
Os mecanismos de busca estão rastreando a web muito antes dos LLMs aparecerem. Mas agora que o gato da IA generativa saiu da caixa, qual é a probabilidade de que os resultados de uma pesquisa no Google sejam páginas com conteúdo gerado por IA?
Talvez a porcentagem de resultados de pesquisa gerados por IA seja relativamente baixa hoje, mas essa porcentagem só aumentará com o tempo. Se essa tendência se consolidar, os mecanismos de busca se tornarão cada vez mais inúteis, pois só irão exibir conteúdo envenenado, enquanto os LLMs que se baseiam no mesmo conteúdo inevitavelmente colapsarão.
Envenenamento sintético: o fentanil da IA
O envenenamento de dados pode ser intencional ou acidental – mas há uma terceira possibilidade: conjuntos de dados de treinamento sintéticos.
Em algumas situações, é impraticável aproveitar conjuntos de dados reais para treinar LLMs, por exemplo, se esses conjuntos de dados incluírem informações privadas, como registros de saúde.
Em vez disso, os especialistas em IA aproveitam a IA para criar conjuntos de dados sintéticos – conjuntos de dados que aparentemente se assemelham a conjuntos de dados reais em todos os aspectos, exceto por não conterem as informações sensíveis em questão.
No entanto, como a IA está criando os dados sintéticos, há o risco de que os conjuntos de dados que treinaram os modelos de criação de dados sintéticos tenham incluído dados criados por IA, estabelecendo assim o ciclo vicioso que leva ao colapso do modelo.
Como resolver o problema de envenenamento de dados/colapso do modelo
As soluções mais óbvias para esse problema são as mais impraticáveis. Certamente, poderíamos proibir as pessoas de publicarem conteúdo gerado por IA online ou usá-lo para treinar nossos modelos. No entanto, a aplicação dessa proibição seria impossível.
Também poderíamos melhorar nossos modelos de IA a ponto de reconhecerem conteúdos gerados por AI e excluí-los dos algoritmos de treinamento. Essa solução também é impraticável, pois a tecnologia para enganar ferramentas de detecção de conteúdo gerado por IA parece estar avançando mais rapidamente do que as próprias ferramentas. No máximo, isso funcionaria apenas parte do tempo – mas os dados corrompidos que passarem despercebidos ainda colapsariam os modelos.
A melhor solução, dada a situação das tecnologias envolvidas, é evitar o treinamento de modelos em dados sintéticos públicos ou gerados por AI. Em outras palavras, as organizações devem curar cuidadosamente seus conjuntos de dados de treinamento, selecionando apenas conjuntos de dados de fontes ‘pristinas’ que possam ser verificados e excluindo dados gerados por AI.
Treinar LLMs na Web atual está fora de cogitação. A única maneira de usar a Web com segurança seria usar apenas páginas que datam de antes do surgimento da AI generativa. Não é de admirar que o Internet Archive esteja observando um aumento significativo em downloads.
Dados sintéticos representam um problema mais complicado. As organizações certamente poderiam criar dados sintéticos sem o uso de AI (como têm feito há anos), mas então teriam os mesmos problemas que sempre tiveram com esses conjuntos de dados: a introdução de erros humanos e vieses neles.
Talvez os dados sintéticos possam evitar o problema de envenenamento de dados/colapso do modelo se os dados de treinamento para a criação de dados sintéticos utilizarem conjuntos de dados cuidadosamente curados que excluam todo o conteúdo gerado por AI.
A Opinião da Intellyx
Podemos pensar na AI gerativa como se comportando como antibióticos: drogas maravilhosas em seu início que se tornaram cada vez mais problemáticas com o tempo à medida que a resistência se acumulava até que parassem de funcionar completamente.
Ou talvez devamos considerar conjuntos de dados públicos, como a World Wide Web, como um recurso limitado, apesar do tamanho incompreensível e crescimento inexorável da Web.
A presença de conteúdo gerado por AI, no entanto, se espalhará como uma praga, envenenando os resultados de pesquisa e colapsando modelos de IA que dependem dessas informações públicas para o treinamento.
A boa notícia é que a curadoria é uma solução viável – e, na verdade, muitas aplicações de negócios de AI generativa já dependem de conteúdo curado.
Essa curadoria, no entanto, requer vigilância contínua. Simplesmente assumir a posição de que uma organização está imune ao colapso do modelo porque usa exclusivamente dados corporativos como fonte de treinamento pode levar a um senso irreal de complacência.
Sem monitoramento e governança cuidadosos, até mesmo conjuntos de dados cuidadosamente curados podem inadvertidamente incorporar conteúdo gerado por AI. O antídoto para essa complacência é a constante vigilância.
