💻 MacBehaviour: Experimentação Comportamental em LLMs

Notas do episódio

O artigo apresenta "MacBehaviour", um pacote R que visa simplificar e padronizar a condução de experimentos comportamentais em uma vasta gama de Modelos de Linguagem Grande (LLMs), tratando-os como participantes em estudos psicológicos. O pacote foi desenvolvido para abstrair as complexidades de programação e protocolos de API, permitindo que pesquisadores se concentrem no design experimental para modelos como GPT, Claude e Llama. Para validar sua utilidade, os autores realizaram três experimentos que replicaram a associação entre som e gênero em LLMs, demonstrando que esses modelos exibem tendências de inferência de gênero semelhantes às humanas com base na fonologia de nomes. Os experimentos de validação utilizaram diferentes designs (múltiplos-testes-por-execução e um-teste-por-execução) e coleta de probabilidades de token, destacando a importância da padronização dos procedimentos para garantir a comparabilidade e reprodutibilidade dos resultados em pesquisa de comportamento de máquina. Em suma, o pacote MacBehaviour oferece uma ferramenta acessível e integrada para estudos de comportamento de LLM em diversas áreas, como psicolinguística e economia comportamental.