A tutoria por IA igualou a humana num teste de admissão…

Notas do episódio

O trabalho chama-se StudentBench, é assinado por Curtis Northcutt e mais cinco autores e foi publicado como preprint no arXiv a 23 de setembro de 2026 (a versão que lemos é a segunda, de 30 de setembro). Quem o financiou foi a Handshake AI, o que os autores declaram na secção de ética. Não encontrámos indicação de que tenha passado por revisão de pares, e convém lê-lo com essa condição à vista. O teste escolhido foi o GRE, a prova usada sobretudo nos Estados Unidos para candidaturas a mestrados, doutoramentos e escolas de gestão, com uma parte de raciocínio quantitativo e outra de raciocínio verbal, em inglês. Os participantes foram 2383 adultos, 83% deles entre os 18 e os 24 anos, recrutados numa plataforma de emprego para jovens e pagos com 50 dólares por sessão, fizessem bem ou mal. Cada um fez um teste inicial de 27 perguntas, passou cinco minutos a rever os erros e depois uma hora numa de três situações, atribuída ao acaso: tutoria por IA, tutoria humana ou nada (neste último caso viram documentários de natureza). Terminada a hora, fizeram um segundo teste, com perguntas novas mas da mesma dificuldade, escritas por antigos autores de questões do ETS e da Kaplan. O ganho de aprendizagem é a diferença entre as duas notas, em pontos percentuais. Do lado da IA estiveram 13 tutores, construídos a partir de 12 modelos de várias empresas. Receberam os erros do aluno, planearam a aula, criaram os exercícios e conversaram por escrito, com instruções deliberadamente curtas. Nunca viram o teste final. Os tutores humanos davam a aula por videochamada e eram antigos funcionários do ETS ou da Kaplan, ou pessoas com pelo menos cinco anos de experiência em explicações de GRE.