Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia.

BitNet paper: https://arxiv.org/pdf/2310.11453

1.58 bit paper: https://arxiv.org/pdf/2402.17764

Instagram do podcast: https://www.instagram.com/podcast.lifewithai

Linkedin do podcast: https://www.linkedin.com/company/life-with-ai