Misreading Chat

#111: Formal Algorithms for Transformers


Listen Later

勤務先への脅威に怯える森田が Transformer を復習しました。ご意見ご感想などはおたより投書箱Reddit にお寄せください。iTunes のレビューや星も歓迎です。

今回は録音に際し Adobe Podcast (beta) のバグを引き当ててしまい、向井と森田の音声トラックがずれてしまいました。ごめんなさい。次回からは non-beta の手堅いツールで録音しようと思います・・・。

  • [2207.09238] Formal Algorithms for Transformers
  • #15 – Neural Machine Translation by Jointly Learning to Align and Translate
  • #38 – Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
  • #51 – Attention Is All You Need
  • #53 – BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • Jay Alammar – YouTube
  • GitHub – openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI’s models.
  • GitHub – karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs.
  • Let’s build GPT: from scratch, in code, spelled out. – YouTube
  • ...more
    View all episodesView all episodes
    Download on the App Store

    Misreading ChatBy Hajime Morrita, Jun Mukai

    • 5
    • 5
    • 5
    • 5
    • 5

    5

    6 ratings


    More shows like Misreading Chat

    View all
    セキュリティのアレ by セキュリティのアレ

    セキュリティのアレ

    1 Listeners

    Rebuild by Tatsuhiko Miyagawa

    Rebuild

    49 Listeners

    バイリンガルニュース (Bilingual News) by Michael & Mami

    バイリンガルニュース (Bilingual News)

    244 Listeners

    backspace.fm by backspace.fm

    backspace.fm

    11 Listeners

    楽しいラジオ「ドングリFM」 by donguri.fm

    楽しいラジオ「ドングリFM」

    6 Listeners

    fukabori.fm by iwashi

    fukabori.fm

    2 Listeners

    EM . FM #EMFM by EM.FM

    EM . FM #EMFM

    0 Listeners

    Off Topic // オフトピック by Off Topic

    Off Topic // オフトピック

    16 Listeners

    ゆる言語学ラジオ by Yuru Gengogaku Radio

    ゆる言語学ラジオ

    54 Listeners

    ひまじんプログラマーの週末エンジニアリングレッスン by ひまじんプログラマー

    ひまじんプログラマーの週末エンジニアリングレッスン

    0 Listeners

    ゆるコンピュータ科学ラジオ by ゆるコンピュータ科学ラジオ

    ゆるコンピュータ科学ラジオ

    14 Listeners

    Podcast by Yuka Studio // ユカスタポッドキャスト by Podcast by Yuka Studio

    Podcast by Yuka Studio // ユカスタポッドキャスト

    3 Listeners

    となりのデータ分析屋さん by 佐々木亮とたっちゃん

    となりのデータ分析屋さん

    0 Listeners

    耳で学ぶAI、ロボシンク by 矢野 哲平

    耳で学ぶAI、ロボシンク

    0 Listeners

    中島聡のLife is Beautiful by Satoshi Nakajima

    中島聡のLife is Beautiful

    0 Listeners