ZENKEI AI ポッドキャスト、シーズン２７は２０２２年３月３０日に開催した ZOOMライブの模様です。

この日のテーマは「久しぶりのゲストだよ！」いつもより喜んでます。

エピソード５は、メインの後半のちゃんもりさんによるゲスト講演のあとの座談会です。

当日の市來の発表資料

zenkei-ai-podcast-20220330-05_q100.m4a

ビデオ見れる人はこちらからご覧ください。

（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちは、 ZENKEI AI FORUM です。

はい、皆さんこんばんはです。全景AIフォーラム、2022年3月の30日3月末、最終水曜日の全景AIフォーラムですね。

これはあれだなぁ結構率先ですねもうほとんど横並びだね、まあそうなっちゃう、データセットのもう限界まで来ちゃってんのかねちなみにエフィシェントネットでやった時は最適化手法をちょっといくつか試したんですけど、0.90ぐらいまでは行ってましたじゃあちゃんもりさん的にもエフィシェントネットの方が上なんだねそう思ってますね。そっちだって、いや、まあ場合は置いといて、僕は健康の心配をしていてちゃんと病院行きますんで今ね、笑ってるけどこれ笑い話にならなかったらやばいからねそうよろしくお願いします。でもあれだな、あのコンペティションデータセットあるんだったらなんか、でも僕あれだな、病気系のやつってやっぱり自分がドキドキしちゃって、平成が保てないからあんまりちょっとね、できない、EDAとかしたくないっていうことになるからねBGAはOK?いや、あのあれなの、石川さんがね、あの youtube でclass activation map っていう手法で、今のやつは中間とかを抜いてやってるんだけど普通、class activation map ってもう最後のところでだからもう結構少ないよね、14×14とか結構小さい画像にもうあのコンボリューションでなってるやつでそのクラスが選択された時に一番値が大きいところがどこになるのっていうのをビシャッて合わしている、まあヒートマップを描くためにやってる感じのやつがあって、それと今のアーキテクチャの図を見ると最終レイヤーっていうかを 使ってるんじゃなくて中間から2個抜いてそれをでも最後にそれをプーリングしたやつを全部コンキャットしてクラスの予想にしてんの? ああそうです、さっきの図ですねじゃあスキップ入れてるみたいなもんだ、それって重要なのか、それのあるなしで性能が要するに上がったからそうしてるんだよねそうですね、スキップ接続と同じことをやってますねでもそのちゃんもりさんの解析の範囲の中でもそれよりもエフィシャンネットの方が性能が良かったわけだから あんまりメリットはないんだね、あの場合のためにっていうことだよねあとあの 一生懸命場合の部分でねどこがアクティブかっていう部分をこの黒いところの端っこのところで形状がっていう風な考察をしようとしてたと思いますけども多分普通の見たてとしては AI がああいう結果を出したその結果に一番寄与しているところがあそこになりますよっていうことであってそれは何から来てるかっていうと学習プロセスの結果があれなわけですよね だから今考察してたのちゃんもりさんの自分のやつでどこがどうなってるからどうかっていうなんか考察をしようと思ってたように聞こえたんだけど 多分意味を掘り出すっていう文脈から言うとちゃんもりさんのサンプルに対する結果をいくら見てるっても多分それは一つのケースの場合だから学習から引きずり出した意味がああなってるっていう意味の方にむしろいろいろ考察とかするんだったりした方が意味があり得るんじゃないかなっていう風に感じたけど具体的にだからじゃあどうするのっていうのはないんだけどねアイディアはねed a 的に 見て要するにああいう結果になったっていうことは多分ちゃんもりさんが言ったようにえっと黒い領域にある変化みたいなのが非常に重要な要素として あの出てますよそれは多分学習サンプルの傾向がそういうふうなものであるからそうなったっていう 意味なんだよねまああれかでもやっぱり最後は医者に行けっていうか専門家に 見てもらいなさいということになるんでしょうけどねそうですね8課題はあのそれはの試験というか資格のためにっていう話がありましたけども 全部自分でピュアに決められるのそう自分で課題を設定していいですね何作るかとか えっと他の人たちはどういうふうなことをしてたっていう情報あるの大島さん 何され僕は元でした あああれでえっと大したことをやってないんですけどあのパイトーチの チュートリアルあの公式ホームページのチュートリアルにがんがん乗っててそれに あれはなんだっけなんか改善し方を加えたらこうなりましたみたいなのを出した気がします その大したことをしてないなんか寿司ネタの画像から寿司を当てるみたいな やった人はいましたね寿司ネタの画像から寿司を当てるっていうのがを 想像できないけど寿司ネタって寿司になる前のネタの写真からってこといや多分もう寿司になった後のやつでこれは 何やろうみたいなやるぞいます それって純粋に寿司クラシフィケーションってことはいきっとそうですああなんか簡単なやつで済ませてる人ははいえっとあれだな 8画像分類 ok 画像分類だったらあの ぜひあのビジョントランスフォーマーとかあのやってみたら面白かったのになぁと思ったりもしましたけどね ジョントランスフォーマーはちょっと心見たんですけどあんまりうまくいかなくてうまくいかないなぁ あちなみに8画像サイズはどれぐらいで学習させてんのえっといっのビジョントランスフォーマーの方ですか えっとどれでもあのちゃんもりさん発表した vgg プラスアテンションでもアフィシャネッドの発表の方 512かけ512で1によってお手軽すんちなみにそのあのサンプルもスマホで撮ったやつ512でクリッピングして 麻生です切り抜いてでもあれだよねあの暗いとか明るいとか言ってたけどモデルでノーマライゼーション はかましてあそうですねそっか8カグルのサンプルまあ僕が自分で見ればいいんだけどはきっとあの 人種もいろんな人のサンプルがいっぱいあるんだよねああ そうですね肌の色94%はでもトップなんだね あとパブリックデータだと0.99ぐらいまでいっあったっけな急な吸気 そちらはやっぱり簡単簡単というかまあちょっと上がりますね信用しちゃいけないであれ数値だけだね8あれだねだからパブリックスコアはあの 彼らが持ってる奴の部分だいたい少数のサンプルってことだよねテストデータねうんまああれだな はいはい8ちなみにこの方向性は何か発展する予定はあるんですかいや何もあの通路2にまとめるとか ウェブサイトを作ると何も考えてないですねはいとりあえず病院行かないといけないぞそれそれが大事ですねそれが大事ですね はいしたらしたら8大島さんなんかごコメントありますか ちゃん森さんのこのチャレンジに対しておやですかおめでとうそうですね真面目な話から言うとオーギュメンテーション データをイメージして6万枚になったと書いてあったと思うんですけどねあのメラノーはか2のを送ろうかその割合ってどうなってるんですか アーマーでどうなってだけあでもその学習用画像 さっきのスライドでちょっと待ってください陽性が3万2542とかで悪性が584なんで アーケ何体何になるんですかねこれちょっと暗算が アイでもデータをグメンテーションで大雑把に倍になっているぐらいなのかなと思ったけどそれ最後反転とかなんかそういう単純なことで増やすですね 派品変換ですね画像の品変換でそれでん ランレラその変換はランダムに画像ごとにランダムに色々してとかそうですがok はいはい それってあのその日のまま言ってるとしたら 道普通に学習したら 認識結果が両性にあのバイアスがかかるはずなんですよ なんでちゃんもりのそれが本当に4割で出たんだったら実は 新進の確率はもうちょっと高いんじゃないかっていうよくある怖い怖いなんかコミットして出てくるやつって どういう式でその制度になってるのかもなんかよくわからないんですけどあれって どうな言ってるのは今度の行列とか使う本編の94とかあの数字ってことはあれって何かって ことだよねえっとauc とかいうやつ uc なんとか多分それによりますよね auc とかで見てるんだったらなんかその行政役制の日ってバイアスかかるんでシャッキュアレうん でもを c カーブリシーバーをペリーなまあだからあの 今の場合は日分類だけどあのトゥルーフォールス系でだからあの4つのバリエーションがあるみたいな話でどう で今あのね大島さん言ったようにアンバランスのサンプルだからあの単純にどっちかに普通な制度で言うとバイアスあるよっていうのは相当いいですよ ねで 普通普通はじゃなくてなんかあの そう普通データオーグメンテーションってあの 動的に僕とかやるんだけどちゃん森さんは静的に事前に倍に増やして普通の学習サイクロン回したっていうことを言ってるのかな はいはクラスによって変えますん クラスによって倍率は変えます8倍率くらいへと言ってるのはバーバランスに対してどういう風に調整そうウェイト をかけるとかっていう方法はあるよね方法論としてねあとすごい初歩的な方法はあのいやジェレミーとか初手でやるって言ったように あの少ない方をたくさん学習させればいいって水増しってが倍にすればいいとか3倍とかに純粋にすればまずは初手としてはいいなぁ中で一つ いっでデータ ローダーとかのあの辺のユーティリティであの事前に分布をあの見積もっといてうまいぐらいさん前具合に サンプリングしているツールとかもあるよねパイトーチとかだったらあるんだけどあ もしかしたら自分の行動読み解けてないだけかもしれないですけどまぁちょっとそんな箇所は見合ったらなかったんですね ってなったらそのパブリックデータだとあのいい制度が出てあの 本当のちゃんのデータだと悪い制度になるっていうのパブリックの方は普通の学習データと同じ日につ作られておっちゃんの方は アンハンとかああそういうのがあるかもしれんうん いやとあの今の話を聞いていろいろ考察を してみたんですけどあの順番に行くとあのに人ぼやけているデータだと育成率が高いっていうのは a b c d e 基準の b に引っかかってるってことですよ もうそうですねイレギュラリティでしょゲームオーダー入れる それとか言うかん あとあの vip でうまくいかなかったのは vip ってあいつすごい困ったところかって めちゃくちゃ画像いるんですよ3億前ぐらい行ってませんでしたっけ結構いるんですよ であの結構いる理由っていうのは最近聞いて納得したことがあったんですけどはいブーブー言語に対して使ってあの割とすぐいい制度が出るので言語ってあのなんですかねあの情報の塊で すごいその前後でなんか連結性というか情報の連続性みたいながあるんですけど 画像って基本的にないんですよそれをで ないってことはないんですけど言語に比べたら圧倒的に弱いんです関連性でああ 画像ガソ順番に並べていった時に 急にかかったりとかそういう問題ですか基本的に滑らかなところだったらもうずっとなめらかしそれはあのその時間 なんですかその順々順序データとしてあの情報も持ってるというは持ってるんですけど基本的にそんなに情報って自然界の ではあまりないので同じものをずっと教えておけるやっとその この順番に補足がある気付けるものなのでそれですごくいっぱいデータが必要ですみたいな話を聞いて あったしかにそういう見方もあるかな気はしています言語というのはすごく情報量が多いですで vit で今すごくあの精度が出ているというのはあいつってどう 画像だったらすごい学習にリソースくるんですけどあれあの vit ってもの自体のその表現力というかそういうものが 結構ずば抜けてるのでその普通の cdn の限界を超えれるらしいです 能力さえだけんそれはなんか注目する部分を絞ってるからってことなんですかね アームはさらにトランスフォーマーってあの形自体がすごい量の情報扱えるかもしれません作るの大変だけどトランスフォーマーもねあの 画像系のやつはビジョントランスフォーマーが出始めだけどあのなんだスインってやってそっちの方が僕経験的にはあのやっぱり いいんですねあのでいろいろやっぱり改良されてるしなパッチにして結局トランスフォーマーに投げてみたいな結局話になってるんだけど あのどうなんだろうねあの結局 cnn はあの要するに画像は その二次元的な構造でカーネルみたいなパターンのあの取り出すっていう意味をまとめるっていう戦略をとっているのが cnn で でねトランスフォーマーはトランスフォーマーからねあれはまあテンションベースって言い ながらまあ結局はあのねあの能力が高い モデルっていうことなのかもしれないけどもでどうどう最適化するのかって言ってあの あれだよねあのやんる感が 8コンブネットこの間僕多分あの前期 i フォーラムで喋ったんだけどあの画像に対して トランスフォーマーがグーッと出てきたよっていうところにあのやんる感があのコンブネックストって言ってコンボリューショナルを 現代的にファインチューニングしたっていうかそういうモデルを普通に素朴にやったらあのいやいやまだトランスフォーマーに負けてないじゃんみたいな論文出しましたっていう の紹介したと思うけどもあのでじゃあ やんる感あの結局トランスフォーマーダメっていう立場なのかって言ってねやあそんなことはなくて 適材適所でまあハイブリッド最終的には多分いいんだろうみたいな雰囲気にあの落としてたかなーってツイッターでのねやりとりなんか論争みたいになって一瞬なったから ねそれ最後はなんか結局いいとこどりで世の中でまとまるんじゃないかみたいな風に落として たように思うしでも現実多分そういうふうになるのかなーっていう気はするよね今今今日的にはどっちかが強いとかどっちか勝手みたいな感じになってるけど そう考えてじゃあつって例えば10年後の世の中はどういうai の開発の状況になっているかとかもう全く想像できないよね5年前にだってトランスフォーマーみたいな話があっていうのは影も形もなかったわけ だからねはいあ中の真面目なコメントからしますって大島さん言ったけど不真面目なコメントが まだたどり着いてないような気がするんですが真面目なコメントですが僕もここに何かあります ねえっと40分ぐらいかな上40パーぐらいです 40パーがいいんでしょ一緒に病院行きますよあのあの b あの某その多分 園に近いんでああああああ でえっと直径6ミリ6結構ビュースが7ミリぐらいありそうありそうですね自分のもうちっちゃいなへなんかそんな競争してもしょうがない 2人とも病院行きましょうお願いしますあのさあの あのあれだよあのネットでねあのみんな今時スマホ持ってるしスマホもネットにつながってるからなんか体がおかしい とかになるとすぐググるね症状でもうみんなはググってあーあれかもしれないこれかもしれないって言っているのをお医者さんが見て あのググるのやめろとまず医者に行けっていう風に忠告してるっていうのをあのうちの人から聞いてそれ正解やなぁと思ったんで皆さんも ai のモデル作るのはいい けど同時にあの病院にも行きましょうということであのお願いしますっていうかえっとはいえっと僕ねあの梅草的なっていうか最後にちょこっともうちょっとネタはネタと してあるんであの5分ぐらいピッとしてあの締めにしようかなと思いますがあのいいですか もう大丈夫ですはいあのはいこれただの最後ってなんですけどはい最近あの僕は前から思ってたことで最近強く思うことがあってはい 今のディープランニングって ネットワークのそのポテンシャルをちゃんと引き出せている引き出せてないんじゃないかみたいなのを強く思ってるわけです別に何か理由があるわけではないんですけどそれであの昔からその d プランニングってあれバックプロパゲーション使うじゃないですか で微分するじゃないですか微分してあの数値計算ぽいことをやる やってるんですけどなぜ自分なのかっていうのが ありまして2あの人間の体人間の脳みそで の中って多分自分じゃないじゃないですかあの化学物質を飛ばしあって学習みたいなことをやってるはずで でそれを 微分にするっていうのはあのコンピューター上でそれが一番都合がいいのかあの微分って微分して求めるのが一番効率がいいのかそれとも微分しか方法がないから それなのかっていうのはわからなかったんで あのもしかしたらどっかでそれが入れあのあった時 革命が起こるんじゃないかなと思ったりしています 2つコメントがあるねえっと一つはあのうろう覚えなんだけどなんかあのバックプロップを使わないでえっと学習を 進めるっていうアルゴリズムみたいなのの論文が出たかなんかっていうのなんか見に目にしたような気がするそれ 1ヶ月以内ぐらいの話で最近の話としてなんでなんかあのもしかしたら関係あるかもしれなくて面白いかもしれないっていうコメントが1個ね えっともう1個はねえっと物理屋さん的なあの立場からのコメントなんですけども微分ことさら微分があの本質ではないっていうことだと思うんですよ ディープラーニングにおいて8やってることはえっと最適化問題あるいはあの最小値を探せっていうような問題 だから世の中選択されているものは何ですかったらロス関数みたいなものの最小っていうのが一番安定ですねとかそこを求めて言ってるんだそれが世の中だっていうのは 実はのそれ物理学ですね最小作用の原理とか昔習ったと思いますけども力学っていうのはそういうふうにあの極視あの最大値最小値みたいな原理で全部 運動方程式とか記述されるだからえっとそれの数学的なペレンテクだっていうかそれが 8微分っていう形を使うとできるよであのバックプロップはもちろん算数的には何微分で合成関数の微分を計算的に簡単にシステマ的にできるからっていうだけで 構成されているんだけども脳みそがやっていることはおそらくは あのねこれもねあのさっきの量子力学コーチみたいな感じでいいなのかなと思って僕は嫌なんだけど 脳みそはあのあれだよあの なんだ8 ポテンシャル理論で動いているみたいな話があるんだけどのページを置いておいての結局物理システムっていうものは何らかの原理に基づいて 動いているその原理は何ですかって言ったらあのねあの最小あの要するに運動方程式は何ですかってたら最小作用とかそういうことなんでみたいな センスがあるので必ずしも微分っていうものが8エッセンシャルじゃない と思うたまたま僕たちが理解しやすい形が微分っていうものを使ったらあの綺麗に算数 コンピューターにも乗るしあの算数にものるしみたいな話なんだと思うっていうのが立場だから パート1とパート2の僕が今言ったことはもしかしたら相反してあのそういう論文がありましたということが実はブレイクスルーなのかもしれないし 今僕はペット後ろでつけたことはなことなかったねになるかもしれないしみたいなことであのそういうレベルで聞いてくださり聞いてもらえれば嬉しい もうあのねうん話しですうん 僕もなんかあの見つけたらあのフォーラムの方にシェアしておきますけどもなんかね最近見かけた気がするのね でそう と思いましたっていうことで8じゃあ最後の僕の僕の握り握りってじゃないけど最後のまとめにしてあの今日は50分なりましたね終わりにしたいと思いますがっていうのは 何をっていうのはこれさっきのあれだかぐりのされたな 8おまけにっていうのがあるんだけど今日のね時間がなくなった時のためにということで最近買った本を紹介しとこうかなと思ったっていう のでたんたんにあのリストね会社のお金で買った方 僕ね今リモートだから僕の家に配達されるようになってまだ会社に持っていってないんで僕の手元にある本なんですけどもこういう本を買ってますね 面白そうだなぁと思って勉強しようと思ってでも結局勉強できてないんですが1個目はねバートによる自然言語入門処理入門 これトランスフォーマーの 一つの代表的なモデルであるバートの日本語におけるあの本まとまった本ということであの買いましたけども中身はあのパラパラッと見てあの 置いてますちゃんと勉強しなきゃいけないですね2冊目は pfu のねあの岡原さんの最近あの出た あの本ですねこれは結構突っ込んだ本かなと思ってこれも出た注文の段階でオーダーしたんだけどもきちんと腰据えてまだ読めてないですけども ちょっと身を目を通しておかながーとこのかなぁと思ってますでえっと一番面白いあの期待しててあの4冊あるんだけど4冊もまだきちんと見れないんですが 個人的に一番高まず手をつけようと思っての声ねやんる間のこの本日本語の翻訳でてましたけども 彼あのねやんる間はあのディプラーニングの父3人いますけども まあ絶対3人が3人とも変わり者なんだと思うんですけどもね頑固者っていうか冬を乗り越えた驚異的な強靭な精神の持ち主 3人ともなんですけどもどう見てもあのジェフリーヒントンはやっぱりなんだかんだ言って英国紳士風の落ち着いたおじさんっていう かねですけどもで女子は吉原弁償は よくわかんないなやんる間はね絶対ねやんちゃ坊主ですよあれ絶対にあの今あの facebook 改めメタの ai しきってるあの人ですけどもこの本ねこの本ね 読むの楽しみにしてるんですけどもこれねあの facebook のねあの内情とかね多分この人ね 裏表ない人だから全部書いてるんだろうなぁと思ってますがそれチラッと見たんだけどねあのそれ見るとあの ザッカーバーグはあのああいうふうに見られているけどもあの 少なくともやんる間が一緒に働こうと思うぐらいのあの レベルの人なんだとそのだからすげー悪いやつじゃないんだろうなっていう気はあの期待してますけどまだ本読んでないんですけどもこの方は楽しみにして ai って いう部分を抜きにしてちょっと楽しみですねで最後4冊目はあのこれねな中 nlp トランスフォーマーで nlp っていうんでハギンフェイスの紹介詳しい紹介が書いてある本原書であのか出たばっかりのやつであの買いましたこれ これとね最初のやつねえっとトランスフォーマーそろそろ真面目に勉強しようって半年ぐらい前に言って結局それも論文を読みかけてっていうか読んで途中に 放っているものねこの辺の本を助けにきちんと 型をつけて次のフェーズに行きたいなと思ったりもしているという紹介ねですで やるかのこのこの部分でさっきの微分うんっていう話に結局あのちょっと関連思い出したんでこれこれ触れようと思ったんだけど 8やんるかんの基本的にあのこの業界での コントリビューションというか一番の達成はバックプロップなんだよね結局はで要するにあのパラメータ膨大にあるニューラルネットをどうやって学習させるか最適化させるかっていう 時にプログラムの上に乗っけてうまくさせるのにどうするのって言ってねあの各ステップごとに 微分を積み重ねれば各レイヤー独立に微分したやつを掛け算すればそれっていうのは8トータルのね算数数学でいうところ全体の変分を全部変数分解すれば 各微分ケースの責任かけるよっていうただそれだけのそれをクリアーには証明したっていうのはバックプロップでそこが 結局一つのあのエッセンシャルなブレイクするだったんやなぁっていうような部分を書いて あったような気がして最初の分パラパラって見た範囲ねなのでもし大島さんのねあの疑惑が正しければ 次のやーるかーに大島さんが慣れるかもしれないのでぜひね微分を使わないあのモデルの学習校 僕はアカデミックじゃないんですよねいやでもねあのねあのそういうそういう 異物が要するにブレイクするを起こすあの超本人なんですよ だからあのその環境プロパーの人っていうのはやっぱりねあの考えが小さいんですねあのなのでそういう意味でも期待期待期待でね あでもヤングカンはあのえっと直感派っていう 自分で言ってるらしいですけど僕も直感派なんでタイプはもしかしたらに出るかもしれない 頑張ってください我が道を行く行くといいいいんじゃないかなぁ大作大作をできないですよ はい大丈夫若さがねあのパワーですからで若い人をコブしてはいで8終わりにしますで8来月は カレンダーで言うと8最終水曜日は27ですゴールデンウィーク 直前になるなあの皆さん忙しいかもしれませんけどもフルって8前傾 i フォーラムあの ご参加くださいということで今日はこういう話になく取り留めもなくなりましたが 8シェアを終わりにしてちゃん森さんの発表ありがとうございましたで 他にもねあの大島さんもまあ忙しいこの間発表してもらったばっかりですからねあの他にも超党さん youtube に来てますちょうどさん そろそろなんか発表しませんかねあのあとなんかねあの何個可能性発表者の可能性としてねあの 最近中野さんがね論文を何か真面目に読んでるらしいっていう情報を小耳に挟んだので中野さんが なんか論文のレビューをしてもらえるとなんか嬉しいかなと思ったりちょっとねあの4月ってか今日の 8 ai フォーラムのメッセージの一つは論文きちんと読もうっていうことを痛感した会だっていうふうに僕は思っているのであの ここ次の1ヶ月はちょっと論文きちんと読もうかなと特にナーフの論文をネタにですねきちんと読もうかなと反省してますのであの 皆さんも論文を読む春にしましょうということで今日の3月の前傾アフォーロンこれで終わりにしたいと思います 最後なんかあの一言ちゃん森さん大島さんからなんかコメントをもらえますかちゃん森さん今日ありがとうございました ありがとうございましたちょっと病院行きますのでちゃんと 来月結果発表すればいいですかですはいあそこそりを知らないですあの事前に言ってあの発表できるかどうか 発表しましょうね言ってくださいね健康体が資本ですからね人間ねはいはいありがとうございましたぜひ あの引き続き前傾 ai フォーラムよろしくお願いしますはい大島さんなんか一言締めの言葉いただけますでしょうか 文頑張ってみましょうなります はいありがとうございましたということでyoutube をご覧の皆さんもあのね超党さん石川さん本田さん ありがとうございますってことであの今日はありがとうございましたこれで終わりにしたいと思いますちょうど59分だはいじゃあおやすみなさい 終わりにしまございましたありがとうございました