ZENKEI AI ポッドキャスト、シーズン３８は２０２３年２月２２日に開催した ZOOMライブの模様です。
この日のテーマは「ChatGPT 話題ですね」です。

エピソード２は、パート１「Transformer を完璧に理解する！」の前半、これまでの試みです。

• 当日の市來の発表資料

このブラウザでは再生できません。
再生できない場合、ダウンロードは🎵こちら




















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちは、ZENKEI AI FORUM です。
はい、皆さんこんばんはです。ZENKEI AI FORUM、2023年の2月22日、2月の回になります。

はい、進めますパート1にね、いきますけども、ちょっと全座は予想よりもスムーズに話が進んでもうちょっと時間かけてもよかったかな今日ね、僕ね、あの、まああれだなここ、HTMLで書いてるんだけど、ちょっと書きすぎて話は結構はしょりながらいかなきゃ、たぶん一番見せたいところが一番最後にあるんだけどそこまでいかないかなと思って、そこを見せることがゴールなんでどうかなと思ってるんですがいきます、パート1、いきますねTransformerを完璧に理解するAIフォーラムは、AIをなんだろうなそういう専門知識を専門家だけで独占するのではなくみんなに共有し、みんなをエンライトするそういうコミュニティ、そういうサークルを意図して始めましたっていうのは、あのジェレミー・ハワードのファーストAIで僕がビデオで学んでもう金沢に住んでるけどもその頃サンフランシスコにまだいたジェレミーがYouTubeでビデオを共有して、共有というか公開してそれを見て、ああって、分かりやすいじゃん、ああそういうことかっていう風になったその感動を僕の身の回りにいる人たちにも分かったらいいんじゃないかなと思って始めたわけですがねえ、2023年の今そういうセンスでAIを表面的にね、ちょっと紙でね、ちょっとGPTがーとかっていうレベルではなくて仕組みがどうなってるんですかとか、今のAIはどうしてこうなってるの?みたいなところまで、ひと味違う理解を得るっていう風な時に今2023年で抑えておくべきポイントはどこにあるんだろうって考えた場合には2023年っていうかな、これ去年から言ってるからね2つ軸があって、トランスフォーマーとディフュージョンモデルでしょうとああ、今日ね、Amazonからやっとね注文してた岡野原さんのディフュージョンモデルの本が配達されるって言って僕、うちに配達されるのは好きじゃないんで、いつもコンビニ受取にしててまだコンビニ受取に行ってないんで、僕の手元にはまだないですけどももう多分配達されたはずなんで、後で楽しみだなと思ってますがそれはそれとして、2つね、今抑えておくべきはっていうのはシーンが変わったっていう認識なんですねつまり、もうほぼ5年って言ってんのにいいのかな全系AIフォーラム初めて5年みたいなもんですけどもその頃、わーって盛り上がってたのは何で?って思い出したらわかりますが、イメージネットで人間が画像分類するよりもAIの方が成績が良かったとか、それも多分アンドレカパーシーじゃなかったっけあの頃、ガーッと話題になりましたよねTensorFlowをGoogleが共有してっていう話ねあの頃、何がキーアルゴリズムキーテクノロジーですかって言ったらみんな、ほぼ間違いなくCNN、Convolutional Neural NetworkとSequentialのね、Recurrent Neural NetworkあるいはLSTMみたいに言ってたと思いますが、シーンはごろっと2022年、2023年変わりましたそれが、かたやトランスフォーマーでありかたやディフュージョンモデルこれはどうも、違う仕組みで動いてないそこのところをきちんと押さえとかないといけないなという問題意識はずっと持ってたんだけども怠け者なのでなかなか進まなかったですねもちろん、やんなきゃいけないっていう気持ちがあってっていうので、振り返りね反省のもとに成長っていうのがあるっていうトランスフォーマーを押さえなきゃいけないって言い始めてたのはどの辺かっていうと2021年8月に、その頃はハギンフェイスがまだ出始めっていうかねハギンフェイスすげーってトランスフォーマーズっていうトランスフォーマーをいろいろまとめるそういうものをリリースしてみんなが使いやすいって熱狂してた頃にいかに言ってもトランスフォーマーの強力さは揺るぎないなと思ってそれまでも論文とかたくさん出てくるから全部読んでらんないじゃんっていう言い訳のもとにペンディングしてたんだけどもトランスフォーマー今こそきちんと押さえるべきだっていうので一度、くわだてました一番大事なアテンション・イズ・オリニーレトロスペクティブに今振り返ってもこの論文はたぶん素晴らしい論文で色褪せないっていうかねいまだにほぼアーキテクチャーの側面においてはトランスフォーマーはここの論文にほぼ尽きてると言っても過言ではないみたいですねなんでこの時きちんと読んどけばまたよかったんだけどもこの時は読まなかった読んだんだその翌月、9月にね秋の夜長は読書っていう企画で全経営フォーラムで読みました論文読んだんだけど論文を読むっていうことと腹落ちするっていうのはねたぶんねちょっと違うんですねなんかね書いてあることはまあわかったけどもアテンションが大事よって言っててもなんかよくわかんないっていうんで構想立てたらもうちょっと深掘りしてみようって言ってアテンションがそもそもLSDMっていうかRNNに導入されたあたりのところからきちんと抑えれば腹落ちすんじゃねえかなとこの時思って一段階サブルーチンっていうかね一旦潜ることにしたんだけど戻ってこれなくなっちゃってよくあるパターンですはいもう一個の軸ディフュージョンモデルも注目されて結構経ちますっていうのはダリーあたりだよねステーブルディフュージョンとかね画像の生成系って言ったらギャーンが流行ってっていうのが一斉を風靡しましたがクオリティがなかなかとか学習がうまくいかんみたいな話があったところに今やもうデファクトスタンダードになりましたね生成系といえばディフュージョンモデルとで、でもなんでディフュージョンモデルなのかディフュージョンモデルの何がそんなにすごいのかよくわかってないっていうのがずっとあってそれを完璧に基礎を抑えなきゃいけないなっていうのを去年の9月ね思ったんですね思ったっていうのはこの8月あたりにステーブルディフュージョンでわーっと盛り上がってっていうんでちょっとそうこうしてたらだってもうレビューペーパーがね複数出てきたりしてたんでもおいみんな研究者たちはまとめモードに入っとるぞと思ってちょっと勉強しなきゃいけないと思ってたんだけどポイントがよくわかんなくてっていう風に思ってたら11月の全系アイフォーラムでですねジェレミー・ハワードの今年っていうか去年2022年版のレクチャーっていうのがYouTubeに上がっててそれにディフュージョンモデルを少なくちから書くっていうのがテーマになっててジェレミーがね一通りイントロダクションで解説してた話があってそれ一回聞いたらああそういうことかわかったわかったっていうか雰囲気的にはねそこから自分で手を動かしてっていうモードに行かなきゃいけなかったんだけどもはいっていう試みがありましたこれは他の話のほうがさっきも言ったようにもうコンビニに来てるのでその前に自分でもきちんと押さえておきたいなと思ってっていうのあるんですがこっちも今回トランスフォーマー完璧にわかったモードなんでその次はディフュージョンモデル完璧にわかったに進む予定です高校期待ということでね今日はトランスフォーマー改めてね今度こそやるぞ何度目の正直かっていう話ですでポイントはプラクティショナーのっていうのはジェレミー・ハワードファーストAIのモットーでそれは結構重要な視点だなと思って同じノリですね素朴に実際に動くものを通して理解しようという話にやっと着手するとっていうのも前回ねちらっとねわーわーと盛り上がってたのを横目にそのねマーケターの人とかあの辺の人あとフューチャリストっていうのがなんか競馬の予想市みたいな人たちばっかり今たくさん上がってきてこっちだーっちだーみんなこっちに行かないとやばいぞあっちに行かないとそういうの聞いてるとうんざりしてくる中で心の潤いがこのアンドレ・カーパシーのスクラッチからGPTをコーディングするよっていうビデオをアップしたよっていうのがツイッターに流れてきたねこれであのちょっと心を落ち着けたいなぁと思ってるって前回言いましたけども見ました2時間のビデオだったんだけどね見ましたでGPT完璧にわかりましたっていうか自分で打ってねきちんと動いて自分で打ってきちんと動くってことはこれは全部わかったっていうことだってそういうことですっていう話を今日共有します皆さんに皆さんも僕がやったのと同じようにGPTを完璧にわかってほしいなっていうメッセージが今日のメッセージですこのビデオを見ていただければいいんですけれどもその前に僕がわかったっていう話を共有する前にアンドレ・カーパシーカーパシーいいのかな読み方ねとはちょっと振り返りますこの人はこの人こそがやっぱり今GPTを手取り足取りっていうかな説明するべき人であるしその人が説明したっていうんででどこにポイントがあるのかっていうことねcarpacy.aiってサイトがありますここに行けば彼のプロジェクトとか履歴っていうかありますが着目っていうか僕がと思って一番この人の多分存在をアイデンティティをきちんと認識したのはこいつですねペットプロジェクトってリストアップしてるやつのこれcarrnnキャラクターベースのrnnのをスクラッチから書いたっていう話があってこれをね見たらここのページですけど2015年5月って書いてあるんだけども多分僕はジェレミー経由でこのコンテンツにたどり着いたんじゃないかなっていう気がするそうすると多分2015っていうことはなくて2017とかだと思うんですがこれねブログサイトがありますがここでやってることは彼自身がねこの頃はテンサーフローgoogleがテンサーフローを出すか出さないかぐらいの話時代じゃないかなっていうのも何パイは使ってたかな何パイだけでオートグラッドを独自実装する形で多分彼がrnnをスクラッチから実装してでランゲージモデルを学習して俺はこんなことできるよすごいだろうっていうことをみんなに啓蒙した記念すべきブログなんですけども今見てもねセンスがいいっていうか革新的っていうか今起こってることは全部ここで彼がツバつけてるやんっていう話だなっていうのを改めて思いましたねそうで応用例ねランゲージモデルっていうのは要するに途中まで書いた文章の続きを書くっていうAIが続きを書くっていう機能ですけどもそのためのだからラベルなしデータ山のようなドキュメントがあればモデルを学習することができるんですねっていうことでじゃあ何このランゲージモデル何作るっていうアイデア勝負になるんだけども定番のこと一通りやってるんですねオールグレアムっていうのは有名なこの人は企業かプログラマー系なエンジニア系のインフルエンサーじゃないけど有名な人がいてブログいっぱい書いてて僕とかもいっぱい読んだ記憶は多分ありますけどもブログを学習させればその人風の文章が生成できるAIができるでしょうっていうのをデモしたりこれうるさいなはいでも僕はここねセンスいいと思っててすげーと思ったんで記憶に残ってるんだけどもそれは何かっていうとこれねLatifのソースコードをランゲージモデルに学習させてもうソースコードよBegin、Equationとか入ってるやつをそのまんま学習させてそのモデルで文章を生成させるとLatifのソースを吐き出すわけねそれをコンパイルしたらPDFになるわけですけどもそうやってできた架空の数学の論文がこれだよっていう風なのをね2015年に出してんのこれ一番記憶に残ってるねおーってこれでAndreっていう存在が脳裏に刻みつけられたわけですが今回このコンテンツ作るにあたってねあのサイト再び訪れて一通り見てたら多分最初の時は僕全然そんなに強い意識は持ってなかったからどうかあんまり覚えてないんだけどGitHubのLinuxのKernelのソースコードももちろんねGitHubだからソースコード意識あるんだけどもプログラムのもうテキストファイルですからねプログラムのCのソースコードとヘッダーファイルを全部一つにまとめてLanguageモデルに学習させたで、ほんて多分今のCopilotみたいな形でコメントで途中まで書いて続きを書かせるんじゃなくて多分ソースコード全部入れたモデルで要を挑んで書かせてできたプログラムだと思いますけども想像で言ってますからCのコードを吐き出したよって言ってコンパイルできたとかできてないとか書いてあったっけ詳しく見てないですかコンセプトとしてはだからもうCopilotを2015年の時点でもういいProof of Conceptね、僕ね作ってたんだよすごいね、感動したねそういう人が今のね、ChatGPTが盛り上がってるこの時にじゃあTransformer GPTをみんなにゼロから解説するねっていうのはまさに適任だなと思う理由のその1ね理由のその2えっとね去年の春頃に春じゃない夏頃に彼はTeslaねその時いたんだけども辞めてしばらくフリーっていうかねプラプラするって言ってたんですねでその後どうするんだろうなと思ってたら今年に入ってこれ彼のツイートね、後で見てくださいね気になる人もね、見る必要もないけど2月だな、今年に入ってねOpenAIにジョインする、再び元々OpenAIにいてTeslaに行ってだったんだけどねOpenAIに2月に行くだからOpenAIの中の人元々だったし再びまた中の人になったんですねこれ理由のその2ね彼がGPTをコードから説明するよっていうのは多分、彼しかできないポジションに今彼はいるわけだなっていうことですねなのでこれを見る価値はあるともっと言うとっていうかね1年くらい前だったかなって書いてあるけどもその後Twitterで検索して見つけたんだ、それを2020年だ、2020年に彼はGPT流行った頃にねで、皆さんご承知の通りでOpenAIはソースコードは出さないモデルも出さないってみんなすげえイライラしてたところにちっちゃいGPTのトランスフォーマーを実装したねソースコードを書いたよってGithubに公開してたんだねこの時に、え、後で後で見ておこうって面白いなって言ったんだけど、結局2020年から僕は全然ソースコードも見なかったね今もありますけども、ここにねminGPTねそういうのもやってるなので、その彼が今2023年の2月にビデオ2時間作ってプログラム書きました、PyTorchで動くGPTミニマルなGPTを0から書きますよって書いたんですねそれを僕がこの1月の間のどこかの時間で見たで、完璧に分かったとその話に入りますありがとうございました