Professores perdem confiança nos detectores de texto por IA à medida que as ferramentas continuam a falhar

Apesar do avanço da tecnologia, os detectores de texto por IA ainda falham em identificar com precisão textos gerados por máquinas, deixando professores preocupados com plágio e falsas acusações. Este artigo explora os desafios enfrentados por educadores ao confiar nessas ferramentas.

Márcio Rocon

Última atualização: 03/09/2024

Detectores de IA deixam professores inseguros e frustrados

À medida que os alunos retornam à escola, os educadores ainda estão lutando com o desafio de identificar tarefas que podem ter sido escritas por chatbots em vez de alunos. É frustrante, certo? Você tem essas ferramentas que deveriam ajudar a pegar trapaceiros, mas, em vez disso, eles estão tropeçando em si mesmos, deixando você se perguntando se eles valem a pena.

Ferramentas comerciais de detecção de texto de IA, mesmo aquelas que ostentam altas taxas de precisão, têm ficado aquém. E não estou falando de pequenos deslizes. A verdade é que essas ferramentas frequentemente deixam passar conteúdo gerado por IA, enquanto às vezes sinalizam falsamente o trabalho do aluno como gerado por máquina. Isso não é apenas inconveniente; é totalmente estressante para professores que estão tentando manter a integridade acadêmica sem acusar falsamente os alunos.

A batalha entre geradores de texto de IA e detectores de texto de IA é como uma corrida armamentista de alta tecnologia. O professor Chris Callison-Burch da Universidade da Pensilvânia aponta que, à medida que um lado avança, o outro também avança. O resultado? Detectores de texto que não conseguem acompanhar e muita frustração para os educadores.

Desafios com verificadores de texto de IA

Referência: Axios

Você pode ver onde isso vai dar, certo?

É uma situação de perder-perder, onde a tecnologia que deveria nos ajudar mal está cumprindo sua parte do acordo. Até mesmo ferramentas desenvolvidas por especialistas líderes, como RAID, mostraram que os detectores atuais não funcionam tão bem quanto anunciado.

O sistema é tão falho que às vezes é mais seguro assumir que cada ensaio pode ter sido escrito por um bot até que se prove o contrário. Não é exatamente a abordagem mais encorajadora.

A falsa promessa da detecção de texto por IA

Lembra quando o Google anunciou sua nova técnica de marca d’água para ajudar a detectar texto gerado por IA? Sim, isso não aconteceu como esperado. Apesar do burburinho inicial, não houve uma atualização da ferramenta, deixando os professores na mão. E mesmo que a marca d’água fosse mais eficaz, não seria uma bala de prata. Primeiro, ela exige que as empresas de IA adotem amplamente a prática e, sejamos realistas, isso não vai acontecer tão cedo.

Os alunos que são experientes o suficiente ainda podem encontrar maneiras de gerar texto sem essas marcas d’água. O software de IA de código aberto dá a eles as ferramentas para voar sob o radar, o que significa que os professores ficam tentando pegar fumaça com uma rede. É uma tarefa impossível, e não é de se admirar que a confiança nessas ferramentas de detecção esteja se esgotando.

Evolução da educação em face da IA

Então, onde isso nos deixa? A verdade é que a IA só vai melhorar em imitar a escrita humana. Isso significa que os educadores precisarão repensar como ensinam e avaliam o trabalho dos alunos. Ferramentas como Grammarly estão tentando resolver isso oferecendo recursos que revelam o uso de IA generativa, mas mesmo essa abordagem tem suas limitações.

A nova ferramenta beta do Grammarly, Authorship, é um passo na direção certa. Ela não tenta ser um detector de texto; em vez disso, ela rotula partes de um documento que foram digitadas pelo usuário em vez daquelas que foram copiadas e coladas de uma ferramenta de IA. É uma maneira mais honesta de abordar o problema, reconhecendo que a IA veio para ficar e que o objetivo deve ser a transparência em vez de um jogo interminável de gato e rato.

Perguntas frequentes

P: Por que os professores não podem confiar nos verificadores de texto de IA?

Os verificadores de texto de IA geralmente não conseguem detectar com precisão o conteúdo gerado por IA e, às vezes, sinalizam erroneamente o conteúdo escrito por humanos como gerado por IA, o que leva à falta de confiança entre os educadores.

P: Qual é o principal problema com as ferramentas de detecção de texto de IA?

O principal problema é que essas ferramentas não são tão precisas quanto dizem ser. Elas frequentemente deixam passar conteúdo gerado por IA ou acusam falsamente os alunos de usar IA quando não o fizeram.

P: Existem métodos confiáveis ​​para detectar texto gerado por IA?

Embora algumas ferramentas como a técnica de marca d’água do Google sejam promissoras, elas não são amplamente adotadas e podem ser facilmente ignoradas por usuários sofisticados. Até agora, nenhum método é infalível.

P: Como os educadores estão se adaptando ao crescimento da IA ​​na escrita?

Os educadores estão começando a repensar como ensinam a escrever e avaliam o trabalho dos alunos. Alguns estão usando ferramentas que incentivam a transparência, como o recurso de autoria do Grammarly, que rotula seções assistidas por IA de um documento.

P: Qual é o futuro da IA ​​na educação?

À medida que a IA continua a evoluir, o foco provavelmente mudará da detecção para a divulgação, com os educadores enfatizando a importância de entender e usar adequadamente as ferramentas de IA no trabalho acadêmico.

Está claro que, embora os verificadores de texto de IA devam ser uma solução, eles introduziram um novo conjunto de problemas. Os educadores ficam fazendo malabarismos entre capturar trapaceiros em potencial e evitar falsas acusações. À medida que as ferramentas de IA ficam mais inteligentes, a tecnologia na qual confiamos para manter a integridade acadêmica intacta precisa melhorar muito — ou talvez tenhamos que encontrar uma nova maneira de abordar o problema completamente.