#48 - Attention is all you need. Entendendo Transformers.

Notas do episódio

Fala galera, nesse episódio eu finalmente explico a rede Transformers! O artigo Attention is all you need que propos o modelo de Transformer foi revolucionário para o domínio de NLP e agora também está revolucionando todos as áreas de Deep Learning. No episódio eu explico o modelo de atenção, self-attention e multi-head attention para ambos Encoder e Decoder, além do famoso positional encoding. Vão lá escutar o episódio porque ele ficou muito bom! Original paper: https://arxiv.org/pdf/1706.03762.pdf Self-attention GitHub code: https://github.com/filipelauar/projects/blob/main/self_attention.ipynb YouTube video explaining the architecture: https://www.youtube.com/watch?v=TQQlZhbC5ps Nice blog post with code 1: http://peterbloem.nl/blog/transformers Nice blog post with code 2: https://nlp.seas.harvard.edu/2018/04/03/attention.html Instagram: https://www.instagram.com/podcast.lifewithai/ Linkedin: https://www.linkedin.com/company/life-with-ai