白金鉱業.FM

73.言語モデルは中間部分を見ていない？「Lost in the Middle」とテキストデータのaugmentation？「GReaT」の話

Listen Later

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！

匿名でのお便りもgoogle formにてお待ちしております！
—

目次
  • 00:27～：Lost in the Middle: How Language Models Use Long Contexts
  • 12:43～：Language Models are Realistic Tabular Data Generators
    • show notes
    • 辻さんが紹介している論文：Lost in the Middle: How Language Models Use Long Contexts
      • 関連する情報が入力コンテキストの先頭または末尾にある場合に性能が最も高くなることが多く、
      • 長いコンテキストの途中で関連する情報にアクセスしなければならない場合に性能が著しく低下することがわかった
      • さらに、入力コンテキストが長くなるにつれて、明示的に長いコンテキストを持つモデルであっても性能が大幅に低下する
      • 金さんが紹介している論文:Language Models are Realistic Tabular Data Generators
        • ICLR 2023 posterにて選定された
        • 実際にKaggleのPlaygroundコンペ用のデータに使われている
          • Regression with a Crab Age Dataset
          • Make Synthetic Crab Age Data
          • GReaTのPythonパッケージ
            • ...more
            View all episodesView all episodes
            Download on the App Store
            白金鉱業.FMBy 白金鉱業

            More shows like 白金鉱業.FM

            View all
            Rebuild by Tatsuhiko Miyagawa

            Rebuild

            51 Listeners

            backspace.fm by backspace.fm

            backspace.fm

            12 Listeners

            regonn&curry.fm - 最新の生成AI動向を週刊でお届け - by 恋言(@regonn_haizine), カレーちゃん(@currypurin)

            regonn&curry.fm - 最新の生成AI動向を週刊でお届け -

            0 Listeners

            歴史を面白く学ぶコテンラジオ （COTEN RADIO） by COTEN inc.

            歴史を面白く学ぶコテンラジオ （COTEN RADIO）

            224 Listeners

            PRESIDENT Online 音声版 by プレジデント社

            PRESIDENT Online 音声版

            17 Listeners

            佐々木亮の宇宙ばなし by 佐々木亮

            佐々木亮の宇宙ばなし

            1 Listeners

            ゆる言語学ラジオ by Yuru Gengogaku Radio

            ゆる言語学ラジオ

            50 Listeners

            ひまじんプログラマーの週末エンジニアリングレッスン by ひまじんプログラマー

            ひまじんプログラマーの週末エンジニアリングレッスン

            0 Listeners

            ゆるコンピュータ科学ラジオ by ゆるコンピュータ科学ラジオ

            ゆるコンピュータ科学ラジオ

            17 Listeners

            News Connect あなたと経済をつなぐ5分間 #ニュースコネクト by Chronicle

            News Connect あなたと経済をつなぐ5分間 #ニュースコネクト

            19 Listeners

            安住紳一郎の日曜天国 by TBS RADIO

            安住紳一郎の日曜天国

            144 Listeners

            入山章栄の経営理論でイシューを語ろう/Business Insider Japan by Business Insider Japan

            入山章栄の経営理論でイシューを語ろう/Business Insider Japan

            2 Listeners

            となりのデータ分析屋さん by 佐々木亮とたっちゃん

            となりのデータ分析屋さん

            0 Listeners

            耳で学ぶAI、ロボシンク by 矢野 哲平

            耳で学ぶAI、ロボシンク

            0 Listeners

            ながらAIラジオ by usutaku/gomichan

            ながらAIラジオ

            0 Listeners