Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodcastPodlodka

Ведущие в выпуске:

Женя Кателла, Андрей Смирнов

Полезные ссылки:

Illustrated Transformer

https://jalammar.github.io/illustrated-transformer/

Attention is all you need

https://arxiv.org/abs/1706.03762

Illustrated BERT

https://jalammar.github.io/illustrated-bert/

GPT-family models overview

https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/

A bit of overview of tokenization

https://huggingface.co/learn/llm-course/en/chapter6/1