ZENKEI AI ポッドキャスト、シーズン３４は２０２２年１０月２６日に開催した ZOOMライブの模様です。

この日のテーマは「最近の話題から〜2022年秋〜」でした。


エピソード６は、パート２「AlphaTensor」です。

• 当日の市來の発表資料

このブラウザでは再生できません。
再生できない場合、ダウンロードは🎵こちら





















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちは。ZENKEI AI FORUMです。

みなさんこんばんはです。2022年、早いね、10月26日。10月の、もう最終水曜日になりましたが、 ZENKEI AI フォーラムです。

ということでパート2いきますね、もう8時20分だしで、アルファテンサーですねだからこの辺のさっきのウィスパーも10月に入ってからの話だったっけ9月だったっけどっちにしてもここ最近の話なんだけどもアルファテンサーの話も10月の僕が書いてある6日だな6日は本当か僕がツイートしてたのが6日でディープマインドさんのツイートも6日ですねだからこの1月の最近の話題からっていうラインですけどもえーとねディープマインドねディープマインドはGoogleに買収されたイギリスの頭脳集団ですけどもアルファゴーで有名になったあれですけども最近この10月6日にネイチャーに論文が出たとで、みんな話題にしてたのはネイチャーネイチャーって言ったらねサイエンス、科学雑誌の研究者の間の中でねインパクトファクターってありますけどもネイチャー、サイエンスって2大挙党っていうかねそこに論文を通すのが科学者の夢みたいな側面があるらしくて僕とかはそういうタイプじゃないんでけって思ってましたけどもだってそもそもネイチャーもサイエンスもオーディエンスはもちろん専門家も読みますけども、基本的にはあれサイエンス、科学雑誌普通の雑誌だからね、だから分かりやすさをね、がやっぱり建前としてはある商業史でね、いろいろお金も絡んでくる話なんだけどもまあいずれにしても一つのラベルっていうかね勲章ですよねで、そこに線形大数データが載ったよっていうのを誰かがね書いていてそういう話なの?と思ってまあその時はねアルファテンサーっていう名前もヒットせずにディープマインドが出したネイチャーの論文なんだと思って見に行ったんですねで、なんだっけで、中身をいろいろ調べたら行列席の話だっていう話になってストラッセンの話が出てきててなんやそれこの間やったばっかりやんってAIフォーラムでねつまりは、これはもう全系AIフォーラムで取り上げるなきゃいけないネタじゃんっていう話だったのでここにもツイート書いてますけどもっていう話でしたということでまず振り返りますねここまでの話ね、全系AIフォーラムにおける行列席の話何をやってたのかかつて2021年去年の3月のAIフォーラム2103でですねこの時はゲスト本田さんを迎えてやった回ですけどもそこの数理クイズそこでも数理クイズでやったんですね数理クイズ何をやったかっていうと行列と行列の演算ね、席を計算すると行列×行列この演算計算は計算コストはどれくらいかかりますかすごい素朴な質問ねであの行列のサイズをnだと思うとnの3乗かかりますねここまでは常識なんだけども行列席をnの3乗よりも低コストで高速に、効率的に計算する方法ってありますかっていうのがクイズだったんですねそれ3月に出して4月にその回答編っていうのをやったんですねゴールデンウィークも4月末でしたねで、前回の数理クイズの回答ですって言ってnの3乗になるっていうのも質問の一部だったねで、これよりも効率的に計算する方法がありますかっていう部分で、答えはありますなんですけどもなんでこの話をしたのかっていう話は3月のね数理クイズを出した時のネタでクォンタっていうこういう科学ネタを出してるオンライン雑誌サイトがありますがそこでね、直前にたまたま見かけた記事がそもそもの僕がここでね行列席の話をしようと思った話だったんですねで、その記事のタイトルがMatrix multiplicationinches closer tomythical goalって言って謎のゴールにちょびっとだけ近づいたよと行列席の謎のゴールにっていう記事だったんですねで、何かっていうと行列席の計算がこれってこのこのサイトに行けばクォンタの記事がまだありますが2021年の3月の記事ですけどもはいこれ横軸がさっきのね行列席を計算しろって言った時のnの何乗かかりますかっていう次数、エクスポーネントが横軸に3から2右に行くと減るっていうグラフになってます3っていうのは素朴にね34ループで書いた時のスケールがnの3乗かかりますけどもみんなそれが僕もそれが定義だと思ってたからそれが絶対に必要なコースだと思ってたんだがシュトラッセンさんっていう人はエポックメイキングな研究を発表してわずか3ページの論文を書いて発表して3よりも低いコストで計算できるっていうのを具体的に指揮出したんですねそっから絶対に2を下回ることはないなぜならば結果は行列なので行列の要素の数が絶対にnの2乗あるんで代入するだけでnの2乗のコストかかりますでしょっていう話だけど本当に2でできるの?2でできるわけないと僕も思うんですけどそれがこの時点このクォンタの記事の時点で2.3なんとかまでいったのかなっていうのが記事になってたっていう話だったんですよなんでにわかには信じがたいこの状況を数理クイズとして1年以上前に出したんですねでクォンタの記事を読んで紹介されてたのは最新の結果っていうのはアルマン・バシルスカーウィリアムズの2020年の論文っていうのが最新の結果で2.37なんとかまでいったよっていう話だったらしいでも内容はピュア数学なんでちんぷんかんぷんでよくわからんしなんかレーザーメソッドとかっていうのを使って行列的をテンソルの問題に置き換えて色々そこの世界の中で色々やって時数をオプティマイズするのでどうのこうのでこれを見つけたみたいな話全然わからんって思ってで出発点の一番最初のブレイクスルーだった一番最初のペコってなってるストラッセンっていうのが全ての出発点だって書いてあってそうかそうかと思って69年この論文をガーッと探したらネットに転がってて見たんですねさっきも言ったようにたかだか数ページのものでふーんと思ってたんだがなんかねこの式ねストラッセンの式見覚えがあるなと思ったのこの論文までネットで探して取得した後にで思い出したNewmaker Recipeって有名なコンピューターのアルゴリズム数値解析法について網羅的に書いてある論文がケンブリッジユニバーシティプレスから出てるんですけども僕の好きな本Cバージョンもともとオリジナルはフォートランで書かれた本のCバージョンを僕はどっかの時点で買ったんですねカルテックンザガキかな買ってこのこれでっかい本だけどもこれをずっと持ち歩いてね海外生活してたのすごいなと思いますがこの中にストラッセンの公式って書いてあった?書いてあっただけでなく自分のニューメーカーレシピ開いたらストラッセンのページに付箋までついてる俺はこれ見てるじゃんと思ってねっていう話があったっていうのを4月に紹介したんですねそういう前振りがあるので今回ディープマインドがねストラッセンを超えたとか言ってる話があってディープラーニングを使ってねこれは全系アイフォーラムとして当然フォローアップしなきゃいけない話やんと思ってで宣言したのねこれは今回のAIフォーラムのネタとしてやらなきゃいけないなーって言って少なくともブログのエントリーは読んだよーって言って論文も読まなきゃいけないなーって言ってたのが10月の6日でしたねはいでじゃあどうなったかまずディープマインドのブログエントリーねアナウンスメントのページ行きましたで読みましたうんちなみにちなみに知らない人のためにね前振り的にねディープマインドって何者かって知ってますかねAIフォーラムに来る人だったら知ってると思いますがでも一応ね僕にとってはディープマインドってのはディープラーニング一般っていうよりは強化学習の巨人っていう風な認識をずっと持ってますねっていうのは出始めはえっとコンピュータゲームのあたりのゲームをディープラーニングのエージェントをトレーニングしてプレイできるようになったっていうのが最初にみんなの注目を集めた業績なんじゃないのかなと思うんですがその後ねみんなが驚愕したのがアルファゴーですねイーセドルをコテンパンにやった一回負けただけでっていうやつねあれでディープマインドすげーっていう風になりましたでその後もねアルファゼロっていってルールベースルールすら教えないでイゴもやれば将棋もやればチェスもやるようなモデルに拡張したりとかタンパクフォールディングねあの製薬を薬を作るとかDNAのねあと高分子の機能が発現するっていうのはフォールディングの形によるっていうのはあって分子通り規格で一生懸命今まで時間かけてどういう風に畳み込まれるかっていう形を計算するのに一生懸命みんなコンピューターをブン回してたものを強化学習で効率的に作るっていうアルファフォールディングねだからサイエンスに対するディープラーニングの応用っていうのは今回のアルファ転算が初めてではないっていうことだなって振り返って思ったんですけどねその他はアルファスターっていうのはあれだねゲームだね僕ゲーマーじゃないんでよくわかんないんだけどもそういうイベントもありましたねそういう風にの領域においてもうダントツの世界最高峰のブレイン集団今グーグルに前まだグーグル参加なんだよねの集団ですけどもそこが出した最新の研究っていうことで面白そうっていうことね数学っていうピュアサイエンスにディープラーニングを使ったっていう話だっていうことでブログエントリーをまず読んでみましたどういう風に僕も話は知ってる行列と行列を書けるっていう数学っていうかそこのレベルまでいけば算術算数の話なんだけどねそこをどういう風に数学学習ディープラーニングを使って落とし込むのかっていうのがポイントだろうしそこに落とし込めれば彼らのノウハウがガーッと使えるところだからいけるのかなっていう気がするんで読んでみたら詳しいことは論文を読んでないので分かんないですけどもブログエントリー読んだ鍵においてはやっぱり何らかのマッピングシングルプレイヤーのゲームプレイのフレームワークに行列積の計算だから行列Aのエレメント行列Bのエレメントをどういうコンビネーションで計算したら正しい行列積の値を返す行列ができるのかっていうのを学習して学ぶゲームプレイに落とし込めたっていうことなんでしょうねちゃんと読んで理解してからみんなに説明した方がいいんですけどねなのであとは教科学習をぶん回したっていうことなのかなと思ったでその辺の話をさっきから言ってる自分のねこれ面白いと思ったので趣味のポッドキャストでもね英語会の時にねこの話を即興でねさっきも言ってるようにマイクオンにさあ他になんか面白い話なかったっけって言った時にあーこれあったって喋った喋ったんですねさっきも言ったように文字起こししたんですねそこでAIニュースとして行列積のブレイクスルーがあったねって話があって僕実際にストラッセンのアルゴリズムについてこの間話したんだよっていう話をしてでディープマインドはアルファテンサーっていうのを出したっていう話を喋ったで最後のアルファテンサーの部分をの英語の喋りを書き起こししたのがね左でもうめんどくさかったんで抜き出してコピペしてきましたっていう感じなんだけどもでも英語で喋ってるでしょ今日この発表のために喋った本人自身がですねこの英語をさらに自分で日本語に翻訳したのが右側に書いてありますこういうことをエピソードで喋ってたんですけどもえーとねなんかね考えながらボツボツと喋っててなんかそうそうこういうこういうのをなんか感じたんだよっていうのがあったんで共有しようと思ってわざわざここに載っけましたがいやアルファテンサーっていうかね今回のアプローチは面白いなといろんな意味で思ったんですねつまりタンパクフォールディングにディープラーニングっていうか強化学習みたいなのを使うっていうのはあのしらみつぶしにやるよりは効率的にやるみたいな感じのアプローチはまま理解できるんだけどもでこの時はねピュアサイエンスね数学みたいなものにディープラーニングを使って物事をえー進めるっていうことはどういう意味があるんだろうなーっていうのを考えながらボツボツと喋ってたのを文字起こししたんだけどもいやそのポイントはあるなと思って今あの一応みなさんにそこの喋りを要約したものを今ここで伝えようと思うんだけどもポイントはねいずれ5年後なのか10年後なのかわかんないですけどもコンピューターの能力は多分僕たちの理解を超えてさらにどんどんどんどん進んでいくと思うんですねでそういう状況になったときのことを思い描きながら今の出来事を色々考えてどうなるんだろうなーっていう感あれなんですけどももともとね僕は物理屋さんだったじゃないですかなので最近の流行の一つとして機械学習とかえーと深層学習ディープラーニングとかを物理の問題に応用したいっていう人たちが当然出るわけですねそのときになんかね僕やっぱり古いタイプの人間なんだなと本当に思うんだけども物手を挙げてねそれがいいっていう風に思い切れないところがあるんですねそれって本当にわかったことになるの?みたいな素朴なレベルでねで今回のこともまだ今回はストラッシュ線をちょっと超えるようなものが強化学習αテンサーっていうアプローチによって達成されたっていう段階だから僕たちもおーそれってすげーじゃんつまり傾向してるからねまだAIの能力がね人間の知性の最高峰とね傾向してるからそれを超えたんだあーそっかすごい頑張ったねっていう風な感覚を感覚をね共有できるけどもこれがもし僕たちの理解を超えたすごい結果が出たときに何を感じるんだろうなっていうのはわかんないなと思っていろいろボソボソ喋りながらそのとき頭に描いたのはα5のときのシチュエーション僕あれリアルタイムでイーセドルが負けちゃってっていうのを見てたんだけどもあれってストラッシュ線の話行列席の話は僕も経験があるし行列席普段使ってるからねそういうバックグラウンドがあるんで今回の出来事っていうのはまだ想像の範囲ないなんだけども今まで今までの話は僕は今までの話はできないからイーセドルがどれくらいすごいってすごいっていう評判だけでしかジャッジできない世界であの勝負を一生懸命見てても解説を聞きながら見ててもわけわかんないよね味わえないどっちもすごいのもわかるしどっちもすごい中でα5が勝ったんだからもっとすごいのはわかるんだけども何がどうすごいっていう味わいとかっていうのは理解っていうのはないところであ、すごいねっていう話だったわけですよもうすでにあそこの時点でねそれは例えば科学サイエンス研究においても今後起こりうるんだなと思った時にそれって何?と思ったっていうのをこの英語でトツトツと喋ったのねそう言われたら確かにそうだなって僕日本語に訳した時にそうやねと思ったんでここでもう一回再録みんなにも喋ってるんだけども今後ね、例えばこのディープマインドのαテンサー2とかαテンサー5とか出てきた時にね結果物が出たっていうのはすごい指標の数字を見ればあ、そうですか、つまりねイーセトルにα5が勝ったっていうレベルでね、あ、すごいんだねっていうのはわかるんだけどもその対象が科学数学だったりね物理だったりした場合にそもそも僕は物理学を志した人間だったからこうこだわってるのかもしれないけど科学なんでしてるかって言ったら僕たちが自然に対してなんで自然はこうなのとかね、あの謎を理解したいとか思っていろいろ考えてあーそういうことかって理解して嬉しいとか理解する理屈が理論だったりするわけだけどでゴールはだから理解っていうところに行くわけねもしα105がねすげー結果を出してねα10の理解はたぶん進んでるっていう風に考えた時にそれってコンピューターのための科学なの?みたいなね、それは俺はわかんない、すごいって言われてもブラックボックスじゃないかもしれないけど理解できないみたいなものはねこっちの理解を置いてけぼりにしてるものって僕たちにとってはそれはサイエンスじゃもうすでにないわけですよねね、したらコンピューターはコンピューターのサイエンスを突き進んでいくのかなとか言うねわかんない、これはディストピアの話なのかなっていう、ここの時もねなんで僕こういう話になっちゃったんだろうって言ってるけどもなんか不必要にディープにしてるつもりはないんだけどもこの行く先はどこに行くんだろうなっていうのは一抹の不安っていうかねわからないっていう意味の不安がありますねどうなんだろうね、その辺でそういう背景がありのでも論文を読もうとしたって話ね45分今日はまとまんないですアルファテンサーの話は結局オチがないんで途中経過の話っていう形で聞いてもらえればいいですけども聞いてる人いるよねブログエントリーをバーッと見た時にストラッセンストラッセンは2×2行列に対して2の3乗で8回の演算積の演算で計算が素朴にやればできるところを8個、7個でできる計算の手法を見つけたよっていうのが論文の一番最初の論文の趣旨だったのねだから8っていうのは2の3乗だから7は2の2点何とか乗だから3が2点何とか乗にできたっていう話なんだけどもそれを多分アルファテンサーは2×2の場合は7なのを多分2×2は7を6にするのは難しいんだろうな多分何×何の場合にこうこうなったって論文を書いてあったそういう風に具体的なこの場合にみたいなのを出したんだろうけどもターゲットはねストラッセンくらいしか引用されてなくてさっきも言ったようにクォンタでね紹介されてた理論で2.3いくつとかっていうのがあったでしょあの辺の詳しい言及がないんでそれってどうなってんだろうなと思ったんですそう思って論文をちょっと読んだんだけどなんかねストラッセンは明確に言及してあるんだけどこの辺にこれ論文の一番最初のイントロダクション的なところなんですけどもえっとねプラクティカルアルゴリズムにフォーカスするっていう前置きがあって数学者がいろいろやってるオプティミゼーションね時数を追っかけるテンサーレーザーメソッドとかで多分やってくみたいな話は多分スコープ外みたいな感じに読み取れたでそういう細かいところはリファレンスねThis does not yield practical algorithmって言えば数学のごちゃごちゃってやってるやつは現実的なアルゴリズムに落とし込むようなことにはなってないよっていうものの引用としてテキストがなんかリファされてたねランスパーグさんの2017年のえっとジオメトリー&コンプレクシティ強いっていうテキストが引用されててこれとか見たらなんかわかんのかな数学だからわかるわけないんだけどね結果論ねわかるのかなと思ってググってみましたしたらラッキーなことにあのこの人はどこだテキサスのA&Mだっけなんかあの大学の先生でランスパーグさんねえっと多分総考段階のドラフトのPDFが著者のウェブサイトに置かれててこういう条件他に売ったりしないでよっていう条件のもとで読んでもいいよって公開されてたんでラッキーと思ってダウンロードしたんだけどもピュア数学のもんでだからないっていうこの論文のねだからこのプラクティカルなアルゴリズムじゃないよっていう風に言われてる部分がどこっていうのはわかんない数学はわかんないなと思ってもっとググってたらこの先生自身がこのネタについてYouTubeでレクチャーしてるビデオを見つけたんですね2021年の3月のレクチャーでIntroduction to the Geometry of TensorsPart 2って言ってこれまさに行列積の話をここでしてる聞いてたそれでもわかるかなと思ってわかりません皆さんもリンク後でシェアしとくんで聞いてみたらいいと思いますけどで、わかったら教えてくださいわかんないなりにも面白そうなこと言ってるなと思ったのはこの人は教科書見てもわかるようにピュアなマスマティシャンなんですねコンピューターガイじゃなくて理論ねだけど次数をどういう風に落としていくみたいなことをやるんだけども学生さん当然ついてねいろいろ一生懸命研究するんだけどもなんかね試行錯誤の過程でやっぱりねスポーツ的に総当たり的にうまくいくいかないみたいなのをチェックするとか発見法的にうまくいくものを探すとか普通にやってんだなみたいなことを匂わせるようなことを言ってましたねなんかそういうのを聞くとなんか親近感が湧きますね数学者っていうのは訳わからんと思ってるんだけども僕からするとねあのすげーリアルな人からするとこれほどいいかーってでもそういう風にやっぱり試行錯誤とかね最初からエレガントなものが出るわけがないよねやっぱりねっていう風な安心感を持ったりとかあとそう考えて当然そういう試行錯誤の中では数式処理プログラムは当然使ってるんだろうなここらへん予想ですけどねって思ってでも考えてみたらそれって昔からね昔ってのは僕が例えば学生の頃とかえっとねマスマティカだけじゃなくて数式処理システムっていうのはありましたからねでそういうのをガンガン回してあのーね計算間違いをしないですからねコンピューターはねあの数学の人とかも使ってたなーと思ってそういう文脈で言うと数式処理ソフトを使うのかねマスマティカを使うのか強化学習のアルゴリズムを使うのかっていうのはねハサミがハサミを使うかカッターナイフを使うかみたいな話なのかなーっていう見方もできるしそういう視点で見ればまあ正当進化っていう風に捉えることもできるのかなと思ったりね素人考えですけどねいろいろいろいろ考えるの面白いなっていうことでもうちょっとなんか少なくともこのディープマインドのネイチャーの論文はもうちょっとあのー噛み砕けるぐらいのところまで読みたいかなーと思ってますけどもそういう風に読みたい読みたいって言ってるものはたまりすぎるとパンクするんですけどもでもこれはここまでねAIフォーラムはストラッセンから始まって行列席はこだわるところなのでここはちょっとある程度の落ち着けたいかなと思ってますっていうことがパート2アルファテンサーのパートでしたなんだかんだでね53分いい感じに時間いきましたねはい以上が今日のお品書きでしたねはいちなみにマウスが切れた今年2022年も10月でしょあと残すところ全系アイフォーラムは2回ですね11月と12月11月は最終水曜日は30日になってます誰かゲストを呼びたいなー誰か面白いネタ誰か喋ってくださいね聞いてくださいオンラインフォーラムで投稿してください講演者大歓迎絶賛募集中ですはいということで今日はこれで終わりにしようかなと思います今日の内容はねなんか前座が充実しすぎてるね発表内容を見てもねでもだからあれだね文学振り間っていうものを知ったっていうのが僕のインパクトしかもそれが20年前の出来事だったっていうこれが一つの大きなインパクトであとあれだなウィスパーはどんどん使っていこうでねみんな数理クイズ答えどんどん送ってください景品はね商品はね全景愛マガジンかなわかんないなはいっていう感じですアルファテンサーねディープマインドがまた研究発表したみたいなタイムラインでつぶやいてる人いたけどもディープマインドねディープマインドもあのすごい素敵なグループですけども今あのスタビリティAIさんのところになんか頭脳があのあっちで働きますって言ってる人とかなんかポツポツと見かけますがあれなんすかねそこら辺が今トレンドなんすかねねえあのどうこうねえシンギュラリティっていうかどうこうさっきのね人間の理解度を超えるまあ超えるのは理解っていう軸が多分ね一変数じゃないでしょうからね一方向じゃないですかねきっとねいろんな取り留めがないね僕の普通のポッドキャストでこれするとエンドレスになるんでやめますっていうことで今日はこれで終わりにしたいと思いますええ2022年10月20今日は6日のSNK AIフォーラム以上になりますみなさんありがとうございました終わりにしますえっとおやすみなさいおやすみなさいご視聴ありがとうございました