#60 - Como entrar o texto no seu modelo? Entendendo tokenizers.

Notas do episódio

Fala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras. Instagram: https://www.instagram.com/podcast.lifewithai/ Linkedin: https://www.linkedin.com/company/life-with-ai Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary