ZENKEI AI ポッドキャスト、シーズン３９は２０２３年３月２９日に開催した ZOOMライブの模様です。
この日のテーマは「AI の進歩から、振り落とされるな！」です。

エピソード３は、パート２「今日の AI」の前半で、GPT-4 の出現までです。

• 当日の市來の発表資料

このブラウザでは再生できません。
再生できない場合、ダウンロードは🎵こちら




















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちは 全景AIフォーラムです
はい こんばんはです 全景AIフォーラム 今日は2023年3月29日 全景AIフォーラムZoomライブイベントスタートします こんばんは

で 進めようかな パート2に行きます パート2は今日に来るわけですね 未来に対して不安だなと思ってた考えから じゃあ今日のAIっていうタイトルで ちょっとしゃべります パート2ですけども脱線 まず脱線 今日のといえばやっぱり僕は今日の芸術ですね これもおすすめです時代を想像する者は誰かって書いてありますが結構あの司作的な本でした おすすめですで パート2では3月ね 2023年3月1月1ヶ月 この間に僕に何が起きたのかっていうか 僕の目に何が入ってきたのかっていうか世界がどういうふうに変わっていったのかっていうかもうちょっと自分を追ってね 時間を追って振り返ってみようかなと思いますそれはあの今を理解するためでもあるし 最初から言ってるように前向きになるためにってことですね 闇を抜けるためにねあのもう僕は闇を抜けている僕ですけども 今説明しててまたやっっていう話ですあの1ヶ月に僕に起きたことねで 予想されていたことではあるんですがこの1月はやっぱりね この1月っていうかなスピードが 明らかにやっぱりね加速してるなぁ 思いません加速するよするよって僕はずっと言ってたんだけどだから何言っとんだっていう話であると同時にここで予測されていたって言ってる のはここで具体的に僕がこう書いているのは gpt 4の話をしてるんですが3月の中旬に 15だっけ4だっけgpt 4がオープン ai からアナウンスされたんですけども その2週間ぐらい前に1週間だけ8リーク情報があって うちはのマイクロソフトさんがですねヨーロッパのドイツの cto が口を滑らせだって言うんであーもうすぐアナウンスされるねっていうのはみんなしてたんだけどもっていう話を 予想されていたと書いてますがそういうのが出てくるのは織り込み済みだったん 心の準備はしてたんですけども怒涛だったとその話をします ねここしばらくの僕に起きたことっていうのは週1で今リリースしている個人的なポッドキャストやってますって言いましたがそれのトーク エピソードにおいてだいたいね触れてるんですねえっと これ2023年2月の17っていうのは1000件フォーラムの2月の回が22ですからその直前なんだけども 世間あの ai の進歩はなんか盛り上がってなんかみんな熱狂してて疲れたって言うことをここでは言ってるんだけどその後 ai フォーラムやってで24日の英語会の喋りの時にコーヒー&イースタンドペーパーブックって書いてますがね3つテーマを並べてるだけですがこれのイーストねイーストってイースト菌のいい人ねパンを膨らませている膨らませる 空気のこと疲れたなぁと思ってみんな騒ぎすぎじゃねーって思った心境だったんだけども いいお話をしていて8興味ある人はのポッドキャスト聞いてくださいここでは繰り返しませんが でえっと3月に入って3月の1717ねいろいろバタバタ起きた直後ぐらいの話ですけども ここはね話の今一応書き出したんでわかりやすいコピペしてきたんですけども このねーセクションを分けするとこのこんなごちゃごちゃ喋ってるんですけどもねせせいあいの衝撃っていう 緊急企画が日本 d プラーニング協会かなであの ビデオカンパネンス的なことがあったりとかしたりとかしてなんかああって思っちゃりしての 3月24日24日っていうのはついこの間ですけども英語会 のエピソードで8まだごちゃごちゃ大変だった アウィークオブミッドマーチgpt 4が出たんだけども なんかこうこの辺ですねねー さっき言ったね明らとかソラリスとかこの辺の話とかターミネーターとスタートレックがみたいな話を 結局ポッドキャストを喋るときにはと考えていることを喋っててっていうないよねあちなみに ほぼ1週間遅れで公開しているので喋ってる内容は24日の6日前とかに思ってたことを喋ってますか こういう僕は3月を送ってきたって話ですねこれをもうちょっといったの分かりやすくまとめて振り返っていこうと思いますん でね何がきつかったってねーこれなんですよ8 エリーズゆっこーすきーさん に出会ってしまったんですね月曜日この週の でこの人は僕はここで衝撃的な出会いをするまでは名前知らなかったもぐりの ai a 愛好家この人は後から知るにさっき上で言ったね ai アライメントっていう領域の第1人者と言ってもいいねあの 有名な一番有名なと言ってもいいあのなんていうのが辛口なっていうのかな キキの方の指摘をガーッとしている方の多分一番有名な人なんですねただ僕は全然知らなくてどうして知ったのかっていうと 水っこのツイートはねお目にした このツイートアライメンだから ai は進歩しすぎてやばいんじゃないのみたいな部分の文脈で あのツイートしている人がいてあーどういう内容かなと思って見に行ったんですね言及されているの youtube のビデオが言及されたでポッドキャストタイプの youtube で コスト2人いてゲストを呼んで専門家を呼んでトークするっていうタイプのトークショー的なポッドキャストちゃんねで1時間50分これねあの 喋りのポッドキャストの頭にね人類の存亡に関わるようなテーマなので 心の準備ができてない人はこのビデオを見ないでねきちんと前置きしたんですよ タイトルからしてねいうオーガナダイスからねお前らみんな死んじゃうぜ いうタイプの話ねでもあの僕興味あったんで見たんですね 見てまあ警告もされてんだけどもそれでも見て 見事に食らってしまったんですねっていうツイートね愚痴のツイートしてるんですけども えっとねでこれ見てねあの あーやっぱやばいよね普通考えてと思ってでね 本棚から本をね引っ張り出してきたのこのスーパーインテリジェンス何かっていうと これねあのこの問題は僕にとっては今初めて触れる問題ではなくて実は 3年前とかかな4年ぐらい前かなえっとね1回ね 気になっていろいろね読んだり考えたりしてた時期があった その時に買った本がスーパーインテリジェンスでありライフ3ポイントをなったりするんですけどもその他の本ねあの ai がこのまま 普通に考えればロジカルに考えればねシンギュラリティとか今いまシンギュラリティってこれもいう人いなくなったねって言ってたら多分今またタイムライン見たらみんな急に始めてるかもしれないんで断言はしないけども 一時期ねシンギュラリティとかわーわー言ってた時ありましたね多分その頃どうなるんだろうと思って考えていろいろ勉強してた時にやっぱりねだんだんね 気がめいってきたねでああなんか嫌なムードになってきたなぁと思って1回やめたの これはやばい僕自身がやばいと思ってその方向にはちょっとあの俺は準備できてないからちょっと ペンディングしとこうでもやっぱり気になってるんだけどもこのマックステッドマークの本 のさっき言ったコンシャスネスっていうセクションが一番最後の方やって その辺を読んでたらなんていうかな僕の中のその当時の闇は抜けたのねあーってちょっとホッとしたっていうかね 意識について考えまあまあその後に僕個人的には仏教分もやってくるわけですがまあそれは置いておいてだから新しい話じゃなくてただしその時期から このねニックボストロンのスーパーインテリジェンスは持ってたんだけども本棚にしまってたらしまってたっていうよりももう置いては置き 放しにして忘れてたんだけども改めてこの間ねゆーずこう好き の衝撃を受けてから立ち直るためには問題を直視しないといけないだろうと思ってスーパーインテリジェンスの中身きちんと読んでないなぁと思って引っ張ってきて 開いたのね開いたら作品見るとゆーずこう好きの名前 いっぱい言及したんだねああもうね はいあの改めてこの人いわあの先駆者っていうかねあの頑張ったんだなぁと思いました でパラパラと見てたらあの視察的なっていうかね面白い映画ってこれは一応共有しとかがと思いますがこれ視察的なのね 今僕たちがgpt 系のモデルがラージュランゲージモデルが すげーすげーって言ってますでもう騒がしいぐらいねだけどそれってやっぱりなんかハイプっていうかちょっと 過剰反応じゃないのっていう気はやっぱりしているんですね当初からねでそれは何だろうと思ったんだけどもこういうことかなーっていうことの一つねあのん まあ知能と呼びますけどものスケールっていうのがゼロから 無限大まで走っていて人間はどっか中間のポイントにいて iq がどうな方で今 ai が足し算しかできないところからだんだん性能が上がってきて 今今や gpt は人間レベルになってとかテストを合格するぐらいになったとかってなり始めてみんなは すげーすげー言い始めたでもここの図に書いてあるように人間僕たちがあの人は賢いとかあの人はバカだって言ってる 違いっていうのはん 知能っていうスケールを引いてみたときにすごいも些細なっていうかもうほとんど一定に収束するぐらいのちっちゃな話を 議論しているai さんはこういうスケールの上でゼロからピューンってこう多分一定の速度なのか 加速しているのかわかんないけども上昇してるわけこの画面的にはこっちからこうした方がいいか ねえ人間は止まってるからねだから近づいてきている時に今は言ってる速度感がすげーって言ってんのは 半分はバイアスがかかってるよぐらいの意味で僕は全否定しているつもり全然ない 実際ねあの進歩は進んでるかね8電車がすれ違うようなシチュエーションを想起すれば多分なんかそういう要素 バイアス的なものがあるんだろうなぁと思っていてっていうのはみんな自分基準で考えすぎじゃねっていうのは一言なんだけども 電車が遠くからすれ違いますよっていうねレール右と左で配行しててこうすれ違うシチュエーションで遠くにいる時は近づいてる 速度をほぼ感じないんだけどもだんだん近づいてくるとスピードがこっち向かってきてるっていうのを認知して すごく近くになるとすごいスピードを感じてピュンってこうね通り過ぎたら今度離れていくんだけども最初はすごいスピードで離れていくように感じるんだけども 遠くに行っちゃうとね離れているのか止まってるのかわかんないようになっちゃう でしょ主観的に考えたらねそれを 客観視点で見ると一定速度でこうすれ違ってるだけなんだけどもみたいな話なんじゃないのかなとバイアス的に だから何がしたいって話ではなくてイネビタブルだとね ai がこう通過していくのはもうしょうがないことで今ただ我々がその彼らの変化具合をすごい認知しやすいレベルに彼らのレベルが 高くなっているから一騎一遊してるけども ね渋が期待みたいにねジタバタしてもしょうがない世紀末が来るん かなんて何の救いでもないですけどそういうポンあの要素があるんではないかなと思います ねいうことね もちろん細かいことを言えばなく書いてますねはい で何が言いたいのかというと5位今僕は自分で書いたことを忘れている自分で読んでますが未来はどうなるんだろう 僕らより知能なのか能力なのかが高い ai それはアーティフィシャルジェネラルインテリジェンスと呼ばれたり アーティフィシャルスーパーインテリジェンスで呼ばれるような存在そういうものが 通り過ぎちゃった存在がいるっていうのはもうもう変えようがないって言った時にね ああこれが言いたいんだなどういう選択肢がありますかっていうシチュエーションで 簡単順に考えるとっていう話ね単純化するしか未知の状況に対処する方法がないんで その1っていうのはそういう 超存在が我々のよりも劣ってる存在から成長していってね神になるみたいなの 雑誌で見送るのか あるいはそんなもったいないことをしないよとその巨人の音方に乗って俺も行くぜっていう風に 今多分ほとんどの人とか持っているんですよこれなん 相棒になってとかねそういう話ねあのっていう選択を取るのかねあるいはっていうかこれもあの 対比でも何でもないですけどもさっき言ったよねミスアラインドで人類が滅亡されるのかあるいは もうそんな下々の人類なんて気にしない神はただ黙って我々を放置して超越的な存在になっていくのか どうなんだろうなぁってあれこれ考えさせられたわけですねユドコウスキーのビデオを見てね これが僕の暗黒期単月13日 月曜日で こういう暗い気分の後にgp スポーンのアナウンスがあったと 14日ですねあのアメリカ時間サンフランシスコ時間で僕たちは日本人は朝起きたら gpt 4アナウンスされてたことに至ると はいこれね気を取り直してじゃあ gpt 4さんは何なんだろうっていうの僕は頑張ってね ここ歯を食いしばってるわけですが発表と同時に ね gpt 4テクニカルリポートっていうのはオープン ai 出しましたすんげー評判悪いよねこれねあの 100ページもあるんだけどモデルの詳細モデルのサイズとかアーキテクチャーとかに関する記述は何も なくて学習に対する記述も何もなくてみたいなあの 自慢しか書いてねーじゃんみたいなあの世間の対応でしたね僕もあの目次ぐらいしかあってかね項目ぐらいしか100ページですからね 読んでないんですけども思ったのはあれねえっとリインフォースメントラーニング few マンいいフィードバック rl hf これなんかいいなんかわかりやすい名前の付け方なかったんだけどこれ言いにくいよね えっとこいつコミのシステムのことを gpt 4って呼ぶことにしたんだなぁと思いますね今まではあの gpt 3 d のベースモデル t 今呼ばれてるもんですねラーランゲージもで それにインストラクト gptチャット gpt いう上に川を向けて リインフォースメントラーニング for withヒューマンフィードバック をのっけてだからこれがえっとオープン ai の考える一つのえっと ランゲージモデルを人間にアラインさせるための技術的なツールなんだけども それ込みでも名前を gpt 4ってよく子でまぁ当たり前だよねチャット gpt 4とか言いたくないよね ぐらいの感覚しかこの100ページのレポートちらっと眺めて考えはなかったんですがはいはいって感じでしたけども 後日後日というのは翌週かな 25日だから先週この前の週末だ マイクロソフトマイクロソフトっていうのは今オープン ai にドーンと投資しててオープン ai はマイクロソフトと 86000契約っていうのとは違うんだろうけども 一番密にやっている内輪の人ですねねマイクロソフトがレポートだしタイトルは sparks of artificial general intelligenceでねあの gpt 4に関するテストや マイクロソフトさんが多分プレビューを提供されてみたいな話だと思うんですけどもその結果のレポートですよとそのタイトルが スパークを a gi とggi のスパーク 見られたよっていうなんかすげータイトルですよね でおこれは読まなきゃいけないじゃんと思って週末ね頑張って読もうと思いました皆さんも読みましょうねで452ページ でもこれたぶんね読む価値あると思いますねん で僕あの興味があるところだけつまみ食いして読みました英語ですけども読みました一応ね感想をいくつか一応まとめておきたいと思いますかgpt 4さんねマルチモーダルマルタイモーダルっていうのが多分売りだっていうのは アナウンスメントに含まれてましたが8ここの論文で触れられているのは アリバージョンですねリリース前の gpt 4がターゲットになって多分マルチモーダル系の機能は言及されてなかったと思います 普通のラジランゲージモデルバージョンアップされたらしランゲージモデルの話だったと思いますが それでも音楽に関してできることできないことの議論がありました でもまあ僕音楽興味あるんでどんなことやって見てみたいんですけども8業界にはですね業界っていうのはコンピューターミュージックっていうのとは違うん だけどもあの楽譜を楽譜をっていうのかな 8テキストファイルで記述する abc 記法っていうのがあるんですねでランゲージモデルなんでデータとして abc 記法のデータセットっていうのも含まれて いてそれを学習しているラージあの gpt 4学習しているので abc 記法で音楽を書か書いてくださいって書かした 音楽を評価するみたいなことをやってみたという話ですねまあできるんでしょうねと思いますねあのテキストで入出力インターフェイスするっていう 話ですからねで結果はっていうと8まああんまり良くなかったと8僕がさらっと読んだ 8ものを8一行であのまとめると コードっていう概念 まで8 gpt 4さんは 理解が到達してないみたいです大方的なっていうかたい方て何やっていう話だけでもね カウンターパートでこう動かすだけやってランダムでもいいみたいな話かもしれないけど8の辺は見た目なんかそう それっぽいかもしれないけどもっていう形だけでもコードプログレッションとかコードみたいなセンスは 持ってないっていうのはあの結論だったかなと思いますへえって感じですけどもまあでもそれもさもありなんでいうのは多分 想像するに abc 記法で書かれた情報量が多分圧倒的に足りないんでしょうとでえっとオープン ai のあの論文とか読んでわかりますが データ量こそがパワーっていうのが現状のねgpt モデルの成功の 理由ですからabc 記法の楽譜を もう山のように与えればもう音楽の多分同じ言葉を理解しているぐらいのレベルであっという間に 学習は済んでしょうねそうなった時に 世の中はどうなるのか面白いなぁと思いますね僕はもう最初から最初からっていうのはなる マジェンタが8財布するプログラムを d プラーニングで書いた時から 音楽は人間が自分でやるのがいいだろうと思い続けている現なんです わーのちょっとバイアスかかってますけどねはいそのに感想そのにやっぱりみんな盛り上がってますが gpt は所詮ランゲージモデルなんだとそこは 夢夢忘れてはいけないことだよねっていうことですねで ランゲージモデルなのにこんなことができるすげーっていうのはあるそこは100パー認めますが ランゲージモデルさんをいかに えっと使えるものに寄せていくかっていう努力を頑張った結果 多分ねどこ思いそういう路線で頑張ってるんですねきっとあのメーターもソウルだしgoogle もディープマインドもそうだしオープン ai も頑張っている どういうわけか多分オープン ai の頑張りが一番高を走していてうまくいってるとだからおそらくは 公表されてないなんかティップスとか秘伝のなんとかとかあるんじゃないかみたいなのを言ってる人たちもいますけどね でも所詮はあのランゲージモデルっていうね嘘つき小僧をなんとかフィルタリングして ねえいいとこだけ出すようにしてみたいなんでそう真実がまあ論文を読んでください452ページのねあの明確に ハルシネーションとかね真実ファクチュアル 性質とかねそもそもないんですよという話なんでそこを抑えて 活用するんやったら活用しなさいいうのはまあそうだろうなぁと もうこれはあのもう最初からもそうだよと思ったんだけども今回僕はあーと思ったのはやっぱりでかい データセットでランゲージモデルっていうのは要するに言葉がこう続いていった並びの次は何ですか それが自然な次の言葉を予想しろっていうタスク自体が そういうふうに説明するとすげーおもちゃタスクに感じられるけども それの本当に意味するとかこの辺はあれだね誰かも言ってよね以下で示すビデオ誰だったか忘れましたがまあそう言われてみればさああれだな イリアイリアさんがイリアサスカバーさんが のビデオで多分彼自身が言っちゃうねあのそう文脈を理解しないとそれっぽい言葉っていうの出てこない じゃあ当たり前じゃないっていうんでそれを大量のサンプルを与えることでこういう並びが来たらこういう感じっていう ねえやっとディストレーションってありますよね普通のディープラーニングとかでもねあの上流って言うやつですけども なんらかの形でさあのデータの中から 共通項じゃないけど意味を取り出すみたいな形の抽象概念の抽出みたいなのが実際その行われていた結果 僕たちが問いモデルだと思ってた以上の結果を出すような場合があってその部分にみんなを驚いているというふうなことなのかなと思いますねそう言われると アンスそれは怒りうるだろうなとつまり8常識とか ねここに書いた正しさっていう何が正しい正しくないっていう意味も僕たちを普段使いますけどもいろんなものを含んでいて 常識ね100人の人がいたら コンセンサスとしての常識みたいなねあの大雑把に言えばアベレチですよねあるいはメジアンなのかわかんないけどもそういう総意みたいな としての正しさっていうのは一つ正しさの意味としてあるだろうし典型的にそのものに典型的な振る舞い普通 どういうふうに人は振る舞いますかみたいなことは統計平均というのがそういうものだったりするわけですよね だからビッグデータ今ビッグデータで誰も言わなくなった誰も言わなくなったね ビッグデータからそういう常識とか典型的な振る舞いみたいなのは 平均とったらそういうポイントに出てくるでしょうっていうのと同じレベルでランゲージモデルっていうのもたくさんのデータからそういうものを 引き出すことはできるやろうなぁとそういう正しさにおいては有効なあの 使い方とかあるんでしょうねとただし正しさって言った時に真実 真理事実 っていうものは別な種類ですよねと文章としてあのね このスーパーマーケットのいいグランプリンゴは100円です丸でもそのスーパーマーケット固有名刺のその スーパーマーケットのリンゴの値段は200円かもしれない実はみたいな話ねが困るわけですよね そういうところに使っちゃいけそれはね ディインフォースメントラーニングでどうこうできる話じゃないでしょうっていうのは原理的に思うんですよそう原理的な限界っていうのをきちんと把握してない人が 使うと非常に危険じゃないかなというてがね思いますでもそれは様子なことなんですねもうスタイル撮るね