Os chatbots estão em alta no momento, e o ChatGPT é o principal deles. Mas, graças ao quão poderosas e humanas são suas respostas, acadêmicos, educadores e editores estão todos lidando com a crescente onda de plágio e trapaça gerados por IA. Suas antigas ferramentas de detecção de plágio podem não ser suficientes para distinguir o verdadeiro do falso.
Neste artigo, falo um pouco sobre esse lado de pesadelo dos chatbots de IA, verifico algumas ferramentas de detecção de plágio online e exploro como a situação se tornou terrível.
Muitas opções de detecção
A última versão de novembro de 2022 do ChatGPT da startup OpenAI basicamente colocou as proezas do chatbot no centro das atenções. Permitia que qualquer Joe comum (ou qualquer profissional) gerasse ensaios ou artigos inteligentes e inteligíveis e resolvesse problemas matemáticos baseados em texto. Para o leitor desavisado ou inexperiente, o conteúdo criado pela IA pode facilmente passar por um texto legítimo, e é por isso que os alunos adoram – e os professores odeiam.
Um grande desafio com as ferramentas de escrita de IA é sua capacidade de faca de dois gumes de usar linguagem e gramática naturais para criar conteúdo exclusivo e quase individualizado, mesmo que o próprio conteúdo tenha sido extraído de um banco de dados. Isso significa que a corrida para vencer a trapaça baseada em IA começou. Aqui estão algumas opções que encontrei e que estão disponíveis agora gratuitamente.
O GPT-2 Output Detector vem direto do desenvolvedor do ChatGPT, OpenAI, para demonstrar que possui um bot capaz de detectar o texto do chatbot. O Output Detector é fácil de usar – os usuários só precisam inserir texto em um campo de texto e a ferramenta fornecerá imediatamente sua avaliação de quão provável é que o texto tenha vindo de um ser humano ou não.
Mais duas ferramentas que possuem UIs limpas são o Writer AI Content Detector e o Content at Scale. Você pode adicionar um URL para verificar o conteúdo (somente gravador) ou adicionar texto manualmente. Os resultados recebem uma pontuação percentual de quão provável é que o conteúdo seja gerado por humanos.
GPTZero é uma ferramenta beta caseira hospedada no Streamlit e criada pelo estudante da Universidade de Princeton, Edward Zen. Difere do resto na forma como o modelo de “algarismo” (plágio assistido por IA) apresenta seus resultados. GPTZero divide as métricas em perplexidade e estouro. Burstiness mede a aleatoriedade geral para todas as frases em um texto, enquanto a perplexidade mede a aleatoriedade em uma frase. A ferramenta atribui um número a ambas as métricas — quanto menor o número, maior a possibilidade de que o texto tenha sido criado por um bot.
Apenas por diversão, incluí o Giant Language Model Test Room (GLTR), desenvolvido por pesquisadores do MIT-IBM Watson AI Lab e Harvard Natural Language Processing Group. Assim como o GPTZero, ele não apresenta seus resultados finais como uma clara distinção entre “humano” ou “bot”. O GLTR basicamente usa bots para identificar o texto escrito por bots, já que os bots são menos propensos a selecionar palavras imprevisíveis. Portanto, os resultados são apresentados como um histograma codificado por cores, classificando o texto gerado por IA em relação ao texto gerado por humanos. Quanto maior a quantidade de texto imprevisível, mais provável é que o texto seja de um humano.
Colocando-os à prova
Todas essas opções podem fazer você pensar que estamos em um bom lugar com a detecção de IA. Mas para testar a eficácia real de cada uma dessas ferramentas, eu queria experimentar por mim mesmo. Então, executei alguns parágrafos de amostra que escrevi em resposta a perguntas que também fiz, neste caso, ChatGPT.
Minha primeira pergunta foi simples: por que a compra de um PC pré-montado é desaprovada? Veja como minhas próprias respostas se comparam à resposta do ChatGPT.
minha verdadeira escrita | ChatGPT | |
Detector de Saída GPT-2 | 1,18% falso | 36,57% falso |
Escritor AI | 100% humano | 99% humano |
Conteúdo em escala | 99% humano | 73% humano |
GPTZero | 80 perplexidade | 50 perplexidade |
GLTR | 12 de 66 palavras provavelmente por humano | 15 ou 79 palavras provavelmente por humanos |
Como você pode ver, a maioria desses aplicativos poderia dizer que minhas palavras eram genuínas, sendo as três primeiras as mais precisas. Mas o ChatGPT enganou a maioria desses aplicativos detectores com sua resposta também. Ele obteve 99% de humano no aplicativo Writer AI Content Detector, para começar, e foi marcado como apenas 36% falso pelo detector baseado em GPT. GLTR foi o maior ofensor, alegando que minhas próprias palavras tinham a mesma probabilidade de serem escritas por um humano do que as palavras do ChatGPT.
Decidi tentar mais uma vez e, desta vez, as respostas melhoraram significativamente. Pedi ao ChatGPT para fornecer um resumo da pesquisa do Instituto Federal Suíço de Tecnologia sobre antiembaçamento usando partículas de ouro. Neste exemplo, os aplicativos detectores fizeram um trabalho muito melhor ao aprovar minha própria resposta e detectar o ChatGPT.
minha verdadeira escrita | ChatGPT | |
Detector de Saída GPT-2 | 9,28% falso | 99,97% falso |
Escritor AI | 95% humano | 2% humano |
Conteúdo em escala | 92% humano | 0% (Obviamente IA) |
GPTZero | 41 perplexidade | 23 perplexidade |
GLTR | 15 de 79 palavras provavelmente por humano | 4 de 98 palavras provavelmente por humano |
Os três primeiros testes realmente mostraram sua força nessa resposta. E embora o GLTR ainda tenha dificuldade em ver minha própria escrita como humana, pelo menos foi bom pegar o ChatGPT dessa vez.
fechando
É óbvio pelos resultados de cada consulta que os detectores de plágio online não são perfeitos. Para respostas ou textos mais complexos (como no caso do meu segundo prompt), é um pouco mais fácil para esses aplicativos detectar a escrita baseada em IA, enquanto as respostas mais simples são muito mais difíceis de deduzir. Mas claramente, não é o que eu chamaria de confiável. Ocasionalmente, essas ferramentas de detecção classificam erroneamente artigos ou ensaios como gerados pelo ChatGPT, o que é um problema para professores ou editores que desejam confiar neles para detectar trapaceiros.
Os desenvolvedores estão constantemente ajustando a precisão e as taxas de falsos positivos, mas também estão se preparando para a chegada do GPT-3, que apresenta um conjunto de dados significativamente melhorado e recursos mais complexos do que o GPT-2 (do qual o ChatGPT é treinado).
Nesse ponto, para identificar o conteúdo gerado por IAs, editores e educadores precisarão combinar criteriosidade e um pouco de intuição humana com um (ou mais) desses detectores de IA. E para usuários de chatbot que têm ou estão tentados a usar chatbots como Chatsonic, ChatGPT, Notion ou YouChat para passar seu “trabalho” como legítimo – por favor, não o faça. A reutilização de conteúdo criado por um bot (que se origina de fontes fixas em seu banco de dados) ainda é plágio, não importa como você olhe para ele.
Recomendações dos editores