
Sign up to save your podcasts
Or


Fala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras.
Instagram: https://www.instagram.com/podcast.lifewithai/
Linkedin: https://www.linkedin.com/company/life-with-ai
Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary
By Filipe LauarFala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras.
Instagram: https://www.instagram.com/podcast.lifewithai/
Linkedin: https://www.linkedin.com/company/life-with-ai
Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary

108 Listeners

179 Listeners

91 Listeners

43 Listeners

1,010 Listeners

121 Listeners

78 Listeners

16 Listeners

34 Listeners

170 Listeners

32 Listeners

7 Listeners

16 Listeners

1 Listeners

1 Listeners