🤦 Confiança no GPT e Intervenção Humana

Notas do episódio

O texto é um artigo de Kenneth Church publicado na revista Natural Language Engineering em 2024, que explora a confiabilidade dos modelos de linguagem grandes (LLMs), como o GPT, e a necessidade de intervenção humana. O autor descreve um trabalho de casa dado aos seus alunos, que revelou que eles tendem a confiar cegamente no ChatGPT, mesmo quando ele produz informação falsa ou alucinações, como referências inventadas e erros factuais em ensaios históricos. Church argumenta que, embora os LLMs sejam incrivelmente bons em tarefas como metáforas e documentação, eles são surpreendentemente ruins em citações e referências, o que exige mais avaliações com o humano-no-circuito para mitigar o risco de disseminação de informações incorretas. Ele conclui que a popularidade e a facilidade de uso do ChatGPT garantem seu crescimento contínuo, mas a preguiça dos usuários em verificar fatos pode levar a uma perda de credibilidade digital.