こんにちわ！ AI ポッドキャスト、シーズン４４は２０２３年８月２６日に開催した ZOOMライブの模様です。
この日のテーマは「最近の話題から -- AI の意識 　あるいは　 AI と意識」です。

エピソード３は、パート２「AI と意識について」その１、「Yoshua Bengio について」です。

• 当日の発表資料

このブラウザでは再生できません。
再生できない場合、ダウンロードは🎵こちら




















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

はい、こんばんはです。8月です。2023年8月26日。8月末ですね。気がついたら土曜日です。


8早く終わるかもしれないですけども進めますねパート2ね
そうそういう心持ちで 暮らしました
暮らしてたっていうかまあまあ日々暮らしてたんですけども ai
勉強しながらね 8
マックステルマークこれいつだこれごく最近だと思いますが
見る 日本語をしてみる
14日 8月14日
マックステルマークは
twitter で 吉田弁譲の
ね 吉田弁譲は何者か知らない人にね吉田弁譲は
ai のすごい重要なゴッドファーザーの一人ですよねっていうんでそういう人の話を
ね聞きたいんだったら聞きにあのちんと読んでって ポストしてて
ねー 吉田弁譲はマックステルマークや
ヤンルカーンと違って twitter をやってないアカウントを持ってないんで
古き良きねブログ ポストになってるんで
で何だろうなぁと思って 見に行ったんですね
8月12日付で ブログポストパーソナーランドサイコロジカル
ディメンジョンス オブエアリーサーチャーズコンフロンティング ai カタストピックリスク
っていうブログポストしてて これは今のね僕上に書いてるなぁあの
安心を持ってたんでこれは きちんと
腰を据えて読まなきゃいけない ものだなぁと
認識して でこれを今日の話のメインに据えようと思って
読んでたんですね
ねそれが全体としてどういう話になるかっていうのはその時には何も想像でき てなかったですがこれを最初に読むんですね
なんでちょっと紹介していきましょうということですが 8ページに
今行ってみますか 行ってみますと
ね わーどクラウド
うしっ あんまりあんまりこう視察的じゃない
ああ よしは便所をやってるのママミン
8ねページとしてはね これぐらいのもんですね
ちなみにね僕最近ね
英語のページ web ページ論文とかでも
なんかあのいや前も言ったけどあの オーディオブックいいよねっていう話前にしましたねあの
あれはなんだ あの sf の方
プロジェクトヘールメイメーリー a 女あり あれ皆さん読みましたかあれあれ面白いですよね
8 英語の文字を追ってくっていうのは結構
大変でだけど 今あのね僕ここなんか改良したいなと思うんだけども僕マック使っていてこれはあの
まあクロムですけども 8これアップルのマップの機能としてだと思いますが
スピーチ してくれね喋ってくれね
これすると 1パラグラフごとに
もう無理やりにでも 読んでくれるんで機械的にねそうすると
機械的に文章が読める 言ってるんだけどそうやってあの大体こなしこなしてんです思い込んだらを回すって
いうシェスで読んでああ だいたいそういうことかと思ったんだけど真面目に読むときはやっぱり
正しく理解したいなと思うときは 愚直でも日本語にした方がいいかなって僕は未だに思っていて
機械翻訳じゃなくてね自分でねああ そういうオールドスクールって古いタイプに人間なんでいろいろと
タイパーが悪いですけどね えっと
全文はあの 日本語にしませんでしたが
あの大事そうなところはちょっと 読んでみましたでね
あとでまああのこのページは発表資料として共有するんで 見たい人は見てもらったらいいしあの適当ですよ
威圧っていうかね自分が満足すればいいぐらいの話だし もっと言えば日本語で読みたい人は
これを
dプルとかねあの google translate とが入れれば日本語にしてくれるんでそれで満足する人は満足したらいいと思います
ああ なんか
すごいあの誠実な人だなぁと思いましたねこれをこれを読んでいてね
し 彼自身の
だって ai
研究者やジェフリーイントンが google をやめて
っていうのはいろんな ワチャワチャしたことをクリアにするためにやめて
自分がの個人の責任で個人的に思っていることを自由に言うっていう立場になって
ai クライシスはみんな真剣に考えなきゃいけないよって言ってるのを見た時の 心境とまあ同じですよねあの
自分がねゴッドファーザーですかね ai 海の親である身分自分が開発したものが
もしかしたらそのせいで人類存亡の危機かもしれないっていう立場に立つ点は 想像を絶する多分なシチュエーションなんだろうなぁと
その時も思ったしこの吉原弁優のログポストを見てて読んでてもうそれを感じ ました
し 言ってみればもう
人生の方向性が180度 展開しちゃったみたいな当事者ですね
ヤンルカンはまだ行け経営で必ずくっ めちゃちゃ入れてますけどすいませんですけども
8ねー で
この ブログポストのタイトルにあるようにパーソナルでありかつ
サイコロジカルな 葛藤だよねあのに関して
率直に 書いてい
ものであの なんかこの辺の
ことに興味がある人は一読をお勧めします
8 まあ後でね別なあのビデオとかもいっぱい
これをきっかけにして僕 吉原弁優のいろんな主張とかを
今回いろいろ見てね あのでまだその辺の話は後ろにするんですけども
このこのこれを読んだ時に何を僕は まず誰
いうべきかなぁ
食べることシナリオにしてないんで今ここで言及すべきことはないなのか あれですけども
僕吉原弁優っていう個人研究者個人の ヒストリーとあと今の関心事とか研究の流れとかを
は全然 追ってなかったんだなーっていうのは認識したことですね
キーとなる論文を読んでると ねあのアテンションを入れたのは便乗だっていう話ね
あの lstm とか あの辺に
lstm with attention っていうストラテジーを でトランスレーションのクオリティがドーンと上がったっていうのが一つ
ブレイクスルーでありましたけども過去に そのキーパーソンは便乗だったっていう
だからアテンションを導入したら便乗と言ってもいいんだけどもっていう話だ そういうキー論文とところどころねピッて出てくるし
重要な人なんていうのはあったけども最近どういう方向で研究してるのかとか全然
知らないですからねでもこれ読んでた
ね
彼自身が直近試みてたことっていうのは何かっていうと
やっぱりあの意識をどうやって ai で実現するかっていうことをやってたんだなーっていうのはここを見てても
わかりますねえっとシステム2の機能 ケイパビリティを実現するための
エンティティが足りてなくてそれをどう入れるかそれは a b c 色々あってみたいなことを
やってた らしい
ですね そうやって一生懸命やってたんだが
チャット gpt が出てきたときに それを体験してもちろんどれほどのもんじゃっていうふうにやってて
あーこれとこれとこれが俺が 便所はシステム2を目指してやってる
要素でチャット gpt にはまだここは足りてないねっていう風な 見方を最初してたけども
長く触っているといやいやといやいやとやばいんじゃねーのって思い始めて みたいなね
ことは書いてい し
そういうベースの底上げがこう来てるっていうのは肌身に感じたんだけど同時に
ジェフリーヒントンが
やばいよって言い始めたら多分すごく影響あるんでしょうけどね 彼の論点ジェフリーヒントンもいろいろ言ってるんだけども
彼が一つ強調しているのは
コンピューター 一般言えることだけども
コピーに対関する コストが人間
人類よりも低い圧倒的に低いと
なので 多分スケールの部分に関しては
人間は立ち打ちできないみたいな話やね ここの部分はバンドウィスでコミュニケーションのスピード自体もみたいな話をここでは
ペン上しているけども
機能としての進歩っていうのと仮に機能が人間とマッチするしないっていう風になった時に
ペン上の最近の主張はマッチした時にはもう手遅れだと
だって広まるのは人間よりもあっという間に広まる能力はもう明らかなんだからみたいなことを言ってるなと僕は感じましたけどね
あと何だ後悔の念じゃないけどもいわゆる増減の党的な考え方で研究でやっているものが即社会に
影響を及ぼすっていう考えをしてなくて
ね
アトミックボムじゃないけどもモロ派の件でデュアルユースでいい奴が使えばいいんだけど悪く使えば悪く使われるみたいな要素
それはでも実用からはほど遠いから気にしなくていいっていう立場にいたけどもそんなことはなかったっていうような
次回みたいなのは触れられてましたね
かなり飛ばしてますけど英語では一つで言うんだけどね
なので そういう状況でまあ吉田弁優は極めて重要なリーダーのポジションにいるわけだから
科学者としてはできるできないっていうのを明確に区分してできることにフォーカスするみたいな現実的な視点でやってるんだけども
リーダーとしては難しい状況でも決断しなきゃいけないっていうのはあるわけで科学者として割り切れないところもあるなという苦悩が感じられますね
そういうのを読みました
うん 僕とかもこういうのを見てっていうか
今までもね
メディアを通していろんな 人たちを
AIの話だけじゃなくてっていう話で言ってました
やっぱりあの大衆っていうのは弱い 弱いっていうか手抜きっていうか無責任だなぁと思うのは
やっぱり自分で考えるっていうのはすごく大変なことなので
依存しちゃうんですね
権威がこう言ってるからきっとこうなんだろうって自分でぐっと考えることを
タイパーが悪いとか言って権威に考えさせる
あのねくだらないのはね
あのバラエティ番組とかだよ ビートたけしがどう思ってるかみたいな
何でも聞いてそれにワーワーって右ならえするおっさんとかいっぱいいるでしょみたいな話と
全部同列だと僕は思うんですが その精神性っていうのは何かって今の問題でAIの話だと
ok ジェフリーヒントンがこう言ってるからこうに違いないんだってでももうそれだけで安心しちゃうとかね
ヨシワ・ベンジーオがこう言ってるから安心する ヤン・ルカーンがああ言ってるから信じるっていうのはどうなんかよくわかんないけど
でまたなんかあれねチャットで言って申し訳ないね
そうなので
僕も能力は当然ね劣るし限界があるし 知識もね権限もないんだけどもそれでも自分で考えるっていうのは
できる限りのことは自分で考えるっていう風にしたいと思うし なんか頼る時は頼ってるんだっていう風に手抜いてるんだっていう意識をもとに
持って 人の意見に乗っかるとかっていう風な
風にしたいなぁと思ってるし 思ってますって言ってるんでしょ言い訳ね
で ok ベンジーオヨシワ・ベンジーオ真面目だね苦悩してるね
思ったのと同時に今まで知らなかったのは 彼が
システム2 キーパビリティを
AIでどうやって実現するんだろう今のAIにどう 拡張すれば
システム2の機能が コンピューターで実現できるんだろうっていう研究をしてたんだっていう風に
書いてありますからね へーと思ってそっちをちょっとどういうことなのっていうのをちょっと調べてみた
っていうか システム2ね
皆さん知ってますかっていう感じで 偉そうに紹介してますが僕は
あのねー この本読んでない
えーっとねー あれだ
多分ねー 読もうとした
オーディオブックでダウンロードしたんだけど 聞いてないなぁ
2013年 翻訳も2014年に出てるし
もう言ってみれば文庫本に文庫内っていうかね 早川文庫
なんで あのねー
上下環に分けてるね まあいいんですけど
読めって話でした まあ読まなくてもいいかなっていう思いしてるんで
ねえ要するに 要するに要するにって言っちゃいけないんだろうな
ねっ 条件反射的な
さっき言ったトカゲの脳みそ的な機能と
早く考えられない ゆっくり考えなきゃいけないことっていうのは 機能的に全く別のもんですよみたいなことを言ってるのかなと勝手に思って
てふむふむさまわりなんて言ってるし さっきのアナロジーとかでああなるほどねとかっていう全部腑に落ちるところがあって
まあそれぐらいでいいのかなと思ってるんで あの読んでない弱さなんですけどもね
でトカゲの脳みそ的なのがシステム1で えーっと
言葉を使って いろいろとロジカルに考えるっていうのがシステム2
なのかなっていうふうにぐらいの認識です であのなるほどと思いながら今回準備するにあたっていろいろ
さっきのねマックステグマックの本とかもう1回ね パラパラと見直したりしてたんですが
チャプター8だけですけども マックステグマックのシステム1システム2とかっていう話をしてましたね
で彼はそこでは えっとさらにシステム0っていうのを
導入追加してなんか議論してましたね あの
いやだからどうなのかっていうのを 読めてないチラチラ見てたら言及してあると思ったのはそういうことですけども
そうだから 本を読んでも
きちんと
分かってないとキャッチできないわけですねインフォメーションね まあそうそう思いますね
はいっていう えーっとまあこの辺の人たちにとっては常識だったんだなっていうのを認識したって
いうことですけども ok じゃあ吉田弁譲のそういうシステム2についての研究
どんな研究してたんだろうと思って潜りました 多分ね吉田弁譲システム2リターンってやったらダーッと出てきたものの中で
公演ね イーノートスピーチみたいなのが2本
出てきて 見ました
てかスライドが出てきて スライドって
スライドの pdf をペッてこうめくってても
あんま売るものないですよね大事なのはナラティブっていうか ストーリーですよね
だからえっと youtube で検索したら 公演のライブがあったんでその2本のスライドがね
それ聞いてみましたねー 1個はニューリップス2019
これは比較的最近と言っていいんでしょうね えっと今からだと
4年3年前12月冬だかねきっとね でえっと
もう1個はもうちょっと新しいやつで2021年
だけど内容的には僕ほとんど同じなのかなと思いましたけども で pdf スライドも出てて
なんかねあの微妙に違うんだけどマイナーアップグレードだけだったんだろうなぁ と思って
うんで 一通り公演をね
1時間ぐらいだったっけ 学会に参加しているつもりいい時代になりましたよね
自宅に座っているだけでこういう立派な人の招待公演が 聞けると会場にいて椅子に座って聞いているのと
まあ変わんないですよねだってねー でかい招待公演だったら
わざわざ質問とかねマイクの前に行って手を挙げてすればできますけども普通
オーディエンスほとんどしないでしょってことは youtube で
終わって僕が今日今日今日じゃない昨日とこといかこの 吉原弁長の1時間内の公演をずっと聞いてたっていうのは会場にいるのと全く変わんない
ですからね
いい時代になったなと思いますけども でまぁまぁ聞いててねノート取りながら聞くわけですよだから本当に会場に行ってるような感じ
での本当にいいんじゃないんです システム2
を実現するためにはあって言って 時間の概念がやっぱり今のところ抜けてるよねみたいなこと言ってさあまあ当たり前なぁ
でも単純時間の概念っていうだけだとふむふむ 当たり前じゃんになるけどそれじゃあどう
コンピューター上で実装するのっていうのが一つもちろんあるし 理論的に
どうすんのって言ってね iid 8インディペンデント
こう要するに分布は口頭的で常に同じですよっていう過程のもとじゃないと 8統計平均みたいな計算が極端に難しくなって理論が何もできなくなりますね
だから 対外フォーマルな議論理論は iid は仮定されてるんだけども
アウトオブディストリビューションって ood っていうなんか頃がいいのあの シェミナーでは使ってましたけども
要するに時間発展するようなシチュエーションとか時間と共に分布が変わって統計的な性質が変わってくるようなものを考えないとそもそもシステム通的な機能っていうのを実現できるわけないじゃんみたいな話ね
時間単純に言うのは多分ミスリーディングでコーザリティって因果率みたいなね前と後ろ
時間が違うだけじゃなくて前と後ろはきちんと違うんですよっていうあれでそれじゃあどう 実現するんですかプログラム的に言ってし誰かを質問してるけども
現状はグラフニューラルネットワークってがグラフ構造をニューラルネットに入れてるっていうアプローチだけども
ディレクショナルグラフにする だけって言ったかな
現状は みたいなこと言ってまあそうなんだろうねと思いましたけどね
えっとコンシャスネスにアテンションは重要アテンションは重要 コンシャスネスにランゲージは重要
そうこの視点が多分新しいのねきっとねあの今回の gptk の発展でみんなバカにしてましたよね
ラージランゲージもでラージつけて何分強調しているの要するにランゲージモデルって 知性からと何の関わりもないって絶対みんな思ってましたよね
だけど
その多分そう運の業界の人たちに今聞いたら いや
言葉がとか絶対言うよねこれだよね
言われてみればってコロンブスの卵的なものですよねまあそういうのがいろんな ところにいっぱいあるんだろうなぁと思いますよね
あといろんなシステム2に必要な要素としていっぱいあの 議論してたし
アプローチも言うかね彼の研究いっぱいありますねっていうのを言ってだね どれも論文はこの辺が論文だよねと思ってリンクはキープしたけどまだどれも読めてません
があの着実に研究をこの方向で進めてたんだなぁっていうのはわかりました しこれもっと最近の
ね2019年の2年後だけども システム2に向けた研究っていう文脈での話ね
from conscious processing to system2 deep learningっていうタイトルだね
これも pdf もありyoutube のビデオもあったんで見てみました
ねえ そうこういう方向でヤベンジをずっと自分のキャリアとしてね
研究者 人生をかけてっていうかな
やってたんだなぁっていうのを実感できたし
そういうのを やってた中でのこのクライシスの盛り上がりであり
それに対して自傷を自分で自分を変えりみていろいろ考えて
そういう葛藤もありパーソナルでありかつサイコロジカルな葛藤をくぐり抜けた
bbc のインタビューで何か誤解されるような言われ方をしたのでこのグローブポストに しますと書いてありましたけれども
そういうくぐり抜けた後でのああいう
自分の考えなんだっていうんだなぁと思ってより
ずんと心に響いたという話ですけどね
システム2を目指してた
便宙だから最近こういう方向だったんだっての僕前は そういう意味で庭科だったんだなぁと思いますね
ai 好きとか言ってながらねはい