Tudo que você precisa saber sobre GPU, LLMs e IA

Notas do episódio

GPU, LLMs e infraestrutura de IA: esses três termos estão na boca de todo mundo, mas poucos conseguem explicar o que de fato acontece por baixo do capô quando você roda um modelo de linguagem ou monta um pipeline de inteligência artificial. Se você já tentou rodar um LLM localmente e se perguntou por que sua máquina não aguenta, ou ficou com o olho arregalado na fatura do cloud depois de escalar um agente, este episódio foi feito exatamente para você. O Wellington Cruz traz uma conversa que vai do zero ao avançado, desmistificando de vez por que a GPU virou o coração da IA moderna, como funciona o processamento paralelo de redes neurais e o que separa uma implementação mediana de uma absurdamente eficiente.O convidado desta vez é Jomar Silva, Developer Relations Manager da NVIDIA para a América Latina e um dos profissionais mais afiados do Brasil quando o assunto é computação acelerada. Ao longo de quase duas horas, Jomar explica desde os fundamentos de redes neurais e multiplicação de matrizes até temas como transformers embarcados em hardware, a arquitetura Grace Blackwell, o framework NIM para inferência de LLMs, fine tuning de SLMs, a tecnologia DeepStream para visão computacional e o DGX Spark como workstation definitiva para desenvolvimento de IA. O papo também passa por casos reais de empresas brasileiras que estão usando clusters de GPU para revolucionar finanças e saúde, além de dicas práticas de como acessar modelos no build.nvidia.com para testar, experimentar e prototipar sem gastar nada. Um dos momentos mais reveladores é quando Jomar mostra como trocar um simples import em Python pode acelerar um algoritmo em 450 vezes, sem tocar em uma linha de lógica.Jomar Silva é engenheiro eletrônico, programador desde os 12 anos e uma das vozes mais respeitadas no ecossistema de desenvolvedores de IA na América Latina. Se você é desenvolvedor, arquiteto de soluções, gestor de tecnologia ou simplesmente um entusiasta que quer entender como o mundo da inteligência artificial funciona de verdade, este episódio vai mudar a forma como você enxerga infraestrutura de IA. ConvidadosJomar Silvahttps://www.linkedin.com/in/homembit/00:00:00 Teaser: O que você vai aprender sobre GPUs e LLMs hoje00:00:46 Apresentação: Jomar Silva, Dev Relations da NVIDIA para a América Latina00:05:23 Caso Real: Rodando LLMs em Casa e o Problema de Custo na Nuvem00:09:33 O Segredo da Performance: Software Otimizado + GPU (TensorRT, NIM e VLLM)00:22:36 Por Que a GPU Domina a IA? CPU vs GPU e o Poder do Paralelismo00:26:40 Como Funciona uma Rede Neural: Pesos, Treinamento e Overfitting00:36:55 IA Generativa e LLMs: De GANs ao Transformer que Virou Hardware00:43:00 A História da NVIDIA com a IA: Da AlexNet à Doação para a OpenAI00:51:13 Infraestrutura Enterprise: GPUs na Nuvem, MIG, NVLink e Grace Blackwell01:04:53 DGX Spark: O Supercomputador de IA que Cabe na Mochila01:14:39 IA Agêntica na Prática: Jarvis, Bruce e o Futuro dos Agentes Locais01:26:59 Repatriar ou Nuvem? Como Reduzir Custo de Token com Infraestrutura Própria01:34:16 Demo ao Vivo: Explorando o build.nvidia.com e Deployando Modelos com Docker01:41:55 Startups Brasileiras que Estão Revolucionando com IA (Biofy, Ne Space, Forlex)01:47:58 Dicas Finais: Como Montar seu Homelab de IA e Próximos PassosLinksStanford CME295: Transformers and Large Language Models: https://www.youtube.com/playlist?list=PLoROMvodv4rOCXd21gf0CF4xr35yINeOyBuild Nvidia: https://build.nvidia.com/Youtube: https://youtu.be/xASPRR1kntQOutras plataformas: https://linktr.ee/pptnaocompila Acompanhe nas redesInstagram e Twitter: @pptnaocompilaLinkedIn: https://www.linkedin.com/company/pptnaocompila Criação e Apresentação: Wellington Cruz - https://www.linkedin.com/in/wellingtoncruz/