Avaliação de LLMs

Notas do episódio

Hoje vamos explorar um tema essencial na atualidade da inteligência artificial: como avaliar e medir o desempenho dos grandes modelos de linguagem, os chamados Large Language Models (LLMs). Com o crescimento exponencial de ferramentas como o ChatGPT, GPT-4 ou Bard, surge a questão fundamental: Como sabemos se um modelo realmente compreende o que diz, ou se está apenas a reproduzir padrões previamente decorados? Para responder a isto, vamos analisar a importância dos benchmarks—testes padronizados que avaliam diferentes capacidades dos modelos, desde conhecimentos gerais até ao raciocínio lógico, passando pela capacidade de tomar decisões autónomas e executar tarefas práticas. Ao longo do episódio, vamos ainda descobrir as métricas-chave que determinam a qualidade destes modelos, perceber porque é que algumas das ferramentas mais avançadas falham quando confrontadas com problemas ligeiramente diferentes dos habituais, e examinar estudos recentes—como o da Apple, que questiona seriamente se osmodelos realmente “pensam” ou se apenas simulam essa capacidade. Vamos também discutir as forças e limitações dos atuais métodos de avaliação, abordando as diferenças entre modelos de código aberto e fechado, e apresentar sugestões para melhorar a forma como medimos o verdadeiro potencial da IA. AI News: https://www.news-medical.net/news/20250713/Novel-AI-application-diagnoses-endocrine-cancers-with-speed-and-accuracy.aspx https://www.bbc.com/news/articles/c1e02vx55wpo Microsoft’sAI Is Better Than Doctors at Diagnosing Disease | TIME https://time.com/7299314/microsoft-ai-better-than-doctors-diagnosis/ Email us at podcast@buildingthefuture.pt Produção: Beatriz Herrera González - https://www.linkedin.com/in/beahgonzalez/ Hosts: Marco António Silva: https://www.linkedin.com/in/marconsilva/ José António Silva: https://www.linkedin.com/in/canoas/ Vitor Santos: https://www.linkedin.com/in/vitor-santos-ab87662/