Misreading Chat

#53 – BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Listen Later

NN の自然言語処理で transfer learning を実現した BERT について向井が話します。感想などはハッシュタグ #misreading か [email protected] にお寄せください。

https://misreading.chat/wp-content/uploads/2019/03/ep53.mp3

  • [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • Improving Language Understanding by Generative Pre-Training
  • GitHub – openai/gpt-2: Code for the paper “Language Models are Unsupervised Multitask Learners”
  • [1901.11504] Multi-Task Deep Neural Networks for Natural Language Understanding
    • Microsoft’s New MT-DNN Outperforms Google BERT – SyncedReview – Medium
    • BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳
      • Follow up
      • Jay Alammar جهاد العمار | LinkedIn
      • STV
        • ...more
        View all episodesView all episodes
        Download on the App Store
        Misreading ChatBy Hajime Morrita, Jun Mukai
        • 5
        • 5
        • 5
        • 5
        • 5

        5

        6 ratings

        More shows like Misreading Chat

        View all
        セキュリティのアレ by セキュリティのアレ

        セキュリティのアレ

        1 Listeners

        Rebuild by Tatsuhiko Miyagawa

        Rebuild

        51 Listeners

        バイリンガルニュース (Bilingual News) by Michael & Mami

        バイリンガルニュース (Bilingual News)

        238 Listeners

        backspace.fm by backspace.fm

        backspace.fm

        11 Listeners

        楽しいラジオ「ドングリFM」 by donguri.fm

        楽しいラジオ「ドングリFM」

        4 Listeners

        fukabori.fm by iwashi

        fukabori.fm

        2 Listeners

        EM . FM #EMFM by EM.FM

        EM . FM #EMFM

        0 Listeners

        Off Topic // オフトピック by Off Topic

        Off Topic // オフトピック

        16 Listeners

        ゆる言語学ラジオ by Yuru Gengogaku Radio

        ゆる言語学ラジオ

        49 Listeners

        ひまじんプログラマーの週末エンジニアリングレッスン by ひまじんプログラマー

        ひまじんプログラマーの週末エンジニアリングレッスン

        0 Listeners

        ゆるコンピュータ科学ラジオ by ゆるコンピュータ科学ラジオ

        ゆるコンピュータ科学ラジオ

        17 Listeners

        Podcast by Yuka Studio // ユカスタポッドキャスト by Podcast by Yuka Studio

        Podcast by Yuka Studio // ユカスタポッドキャスト

        3 Listeners

        となりのデータ分析屋さん by 佐々木亮とたっちゃん

        となりのデータ分析屋さん

        0 Listeners

        耳で学ぶAI、ロボシンク by 矢野 哲平

        耳で学ぶAI、ロボシンク

        0 Listeners

        中島聡のLife is Beautiful by Satoshi Nakajima

        中島聡のLife is Beautiful

        0 Listeners