MacBehaviour: An R package for behavioural experimentation on large language models

Notas do episódio

O artigo (JÄRVERS et al., 2024) apresenta o MacBehaviour, um novo pacote da linguagem R desenvolvido para facilitar a realização de experimentos psicológicos e comportamentais com modelos de linguagem de grande escala (LLMs). Essa ferramenta permite que pesquisadores interajam com mais de 100 modelos, incluindo as famílias GPT, Claude e Llama, padronizando processos de design experimental e coleta de dados. O software automatiza tarefas complexas como a apresentação de estímulos, manipulação de parâmetros e registro de probabilidades de tokens, tornando o estudo da psicologia das máquinas mais acessível a não programadores. Para demonstrar sua eficácia, os autores (JÄRVERS et al., 2024) validaram o pacote replicando estudos sobre associações entre fonologia e gênero em nomes próprios, obtendo resultados consistentes em diferentes arquiteturas de IA. Em suma, o recurso busca transformar o campo da ciência cognitiva ao tratar modelos de inteligência artificial como participantes experimentais em ambientes controlados e reproduzíveis.