ZENKEI AI ポッドキャスト、シーズン２８は２０２２年４月２７日に開催した ZOOMライブの模様です。

この日のテーマは「ゴールデンウィークも AI」です。

エピソード３は、第１部「最近の GAN」その１、DualStyleGAN でアニメになってみた話です。

当日の市來の発表資料

zenkei-ai-podcast-20220427-03_q150.m4a

ビデオ見れる人はこちらからご覧ください。

（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

今日の、あのちゃんもりさん来ていただきましたけども、お食事中だそうで、っていう言わなくてもいいのかな。また後でコメントとか聞ければなと思いますので、声かけます。今日のお品書きっていうかね、ちょっと僕も集中できなかったので、時間取れなかったので、こんなのあったぐらいのノリの話を今日はしようかなと思いますが、あとちょっと警告しときますね。警告っていうのは、スクロールあんまり下にしてなかったから、それ事前にね、多分注意。音だけ聞いてる人は大丈夫だと思いますが、これからね、第1部の最近のギャーンっていうので、ちょっといろいろ実験してみたものがあるんですけども、いちきさんにね、いちきさんにアニメ顔になってもらったんですよ。なので、今日今からお見せする映像はですね、もう嫌って言うほどゲップが出るぐらいいちきさんの顔ばっかり出てくるんで、ご注意くださいと。画面をちっちゃくするなりね、アレルギーある方はご注意くださいってことを、あらかじめ警告、皆様にしておきます。ということで始めようかな。ゆっくりいきます。最近のギャーン、わざわざこれ取り上げたのはですね、僕、個人的にギャーンはね、興味があって、実際に自分でもチームホンダの皆さんにネタ振って、面白く東海道50Xプロジェクトっていう形でですね、カラー発展Cのポエムギャーンに至った面白いプロジェクトありましたけども、あれの初っ端っていうかな、僕もやってみてって言うんで、浮世絵のデータセットを学ばせれば浮世絵を、ギャーンは生成系ね、何もないところから世の中に存在しないものをコンピューターが絵を作り出す。それっぽい絵を作り出す。よし浮世絵をギャーンで生成しようみたいな話をやって、その時もあれは何だっけ、ギャーンはその頃いろいろ盛り上がってた時ですからね、もう名前忘れちゃった、解像度を上げていくとかクオリティを上げていくとか、そういうのでいっぱい研究が出てた頃でNVIDIAとかが率先してやった頃で、ただその時の僕の印象、その時の多分それ以前は、オートエンコーダーの乗りで画像生成系をディープラーニングでやるっていうのがその前段階であって、その頃は画質が結構、いわゆるコンブネットのチェッカーボードパターンみたいなのが出ちゃうねとか、これジェレミーのFast AIのセッションでも、それをどういうふうに軽減するんだみたいな話が上がってましたけども、そういうレベルからして画質的に明らかに、これなんかそういうギャーンとコンピュータディープラーニングで作った映像をねって、ちょっと残念だね、面白いけどっていう印象がずっと頭の中にこびりついてたんですね。だから本腰、面白いけど、例えば実用的なサービスにならないねとか、ビジネスでは使えないかなっていう気がずっとしてたんですが、あるいはNVIDIAの研究者とかね、Googleの研究者みたいな、潤沢な計算リソースをガンガンぶん回せる人たちはそこそこいいものができるんだけど、庶民はハイクオリティなものを出すっていうのはやっぱまだ無理なんだよねと思ってたんですね。それがちょっとやってみたみたいなね、最近のAIの研究の、プレゼン能力も研究者の能力の一部だっていうのは、まあこれは当たり前のことなんですけども、広く認知されてきたんでしょうね、きっとね。新しいモデルできたよって言ったときに、デモまで含めて発表するっていうかね、発表で論文が通った後にデモを公開するとかかな。もうすぐにその論文でできたものがみんな確認できるし、使えるし、それを元にまた発展しますからね。そもそもTensorFlowをGoogleがオープンソースで出したっていうことが今の発展を作り出しているようにね。っていう感じで、すぐに試せるデモとかもじゃんじゃん出てるので、ちょっと試してみたんですよ、今回。面白そうなのをTwitterでちょろっと見たやつをね。試したら、画質的にはすげーなぁと感動したので、今時のGyanはすげーっていうこの感動をね、一応あの薄い話ですけども、皆さんに共有、全系AIフォーラムの話としてね、共有したいなと思って今日はこの話をします。最近のGyan。で、いきますと。これね。ものはDualStyleGyanっていうものに関するツイートね。綺麗なお姉さんがこういうツイートしてて、何かっていうとこのDualStyleGyanのモデルを、今時ね、HuggingFaceが、HuggingFaceといえばTransformersっていうライブラリーを出してるところですけども。で有名ですけども。HuggingFaceがSpacesっていう名前で、いわゆるディープラーニングのモデルのデモサイトのホスティングを、フリーでしてくれてるのかな?してくれてるんですよ。だからディープラーニングのデモをポンっておけるし、それをみんなが楽しめるっていうね。で、このDualStyleGyanのHuggingFaceSpacesのサイトができてるよって言って、私もやってみた。私もアニメにカトゥーにならなきゃいけないじゃないって言って、入れて、おなってて。この絵見てね。左がオリジナルで、後で一期三合山のように皆さん見ることになりますが。最初にお姉さんの絵で。この下の2つね、これがAIが出した絵。この一番上のやつもAI出してるんですけども、これオリジナルをジェネレートしたやつだけども、スタイルトランスファーで、この2番目のスタイルにするっていう形にしたもののバリエーションを2つ並んでるって感じで。見た感じ、これもうこのままアバターニューを使うのには何の問題もないぐらいのレベル、クオリティだなと思って。僕もカートゥーンになってみたいと思ったんですね。なんでやってみたと。ちなみに論文はこれです。2022年の3月にアーカイブに出てる。これは一読者の愚痴っていうかね、コメントっていうか。これはあれなんだよね。研究者の立場から言うと、それは主張はしないんですけども、庶民っていうか一般人の立場からすると、利用者の立場からすると、論文のタイトルにモデルの名前を入れてほしいですね。今の場合、この論文は内容はさっきから言ってるように、デュアルスタイルギャンの論文なんですよ。その論文のタイトルはこれなんですね。ここにね、できればデュアルスタイルギャンって入れてほしいなと。じゃないとね、後で見返した時にも、わからないですねって思いました。果たしてこの論文そのものもアスタで解くという方法は取り組んでないっていう方も restrictive implemented あって可能性があるんですね。可能性は2つあとも素材や元があるじゃないかってそういう形であるとaszure なんですけど。が これ 斎藤のプロジェクトページ を回りますと GitHubにも当然 モデルがオフィシャルPyTorchインプリメンテーション 出てまして だから クローンしてきて 自分のマシンでGPU分回して 分回すっていう 僕も回してみましたが 学習済モデルをダウンロード したからか 自分でも計算できますが それがさっき言ったHugging Face のSpacesでホスティングされているんで 画像だけ もうディープラーニング 全然分かんない人も 自分の顔写真があればアップロードすればアニメ にできるっていうんで 皆さんもアニメ顔のアバターを欲しい方 は行ってやってみたらいかがでしょうか これネタが顔なので 実験しよう と思って 友達の画像とか顔とかをネタにするのはいけないんで 仕方なく自分の顔で今日ワーッてやりますけども 皆さんも自分の 顔で自分で笑ってくださいっていうことですね はい っていうことで 実際に試さないと実感できないんで 試してもらおうと その素材は 市木さんですっていうことで 市木さんの今今 ここマイク映ってピアノ 映ってるところですけど ここでパシャッと撮ったスクショで撮った 市木さんの ちょ 髭 怖いんですけどこの人 この顔でアニメにデュアル スタイルギャン試してみたっていう話です まず最初は っていうかね そう これ失敗談っていうか 結果いや最初にさっき今言ったように スクショをMacでスクショ コマンドシフト3って押すとスクショ撮れるん ですが このキーコンビネーションね なんでこんな分かりにくいコンビネーション するのかな 時々忘れますけど定期的に撮ってればリフレッシュ されるんだと思う そうするとdefopngで保存されるんですね pngはオプション でアルファチャンネルが入るんですね 詳しくない人も何を言って るのか関係ないと思いますが スクショを通して 透明度のチャンネルがRGB の他にあって カラーチャンネルがRGBの3じゃなくて4の画像フォーマット になりうる 必死にね 一番最初もうお手軽にね ハギンフェイス のスペーシズのデモサイトにお手軽にやろうと思ってたんだけど エラー が出てね 帰ってきてね 先生できなくて なんでだろうなと思って 諦めるかなと思ったんだけど 悔しいかったんで どうしてもアニメになり たかったんで GitHubにね 今言ったようにコードも出てるので クローン して クローンしたら コラボノートブックのフォーマットっていう かな コラボノートブックもあったので それを単純に開いて Googleコラボ でパーッと実行して できたできたっていうふうにやってたんですよ だから まず最初はコラボでやった内容をスクショをお見せします オチを言うと 今もうほぼ言ったんですけども ハギンフェイス この コードをセルでやってったら やっぱ同じエラーが出たんですよ スクショ のアップして失敗した画像と同じものを使ってやったらエラーが出て なんやと思って エラーコード見たら チャンネル数が合わんって 言われて ああと思って JPEGにしたら通って JPEGにしたものをハギンフェイス にアップロードしたら 何の問題もなく処理できたんで 皆さん もしお手軽にアニメ顔になりたい人は JPEGファイルにして あるいは 多分 PNGでもアルファチャンネルをエクスプリシットに落とすような チャンネル数が3になるように書き出したものだったらいけるのかな 試してないんですけども 注意してくださいっていう織り込み済み で 最初のほうはコラボで順番にやってきます オリジナルは自分の 顔っていうか人間の顔が写ってる画像をとりあえず適当な画像何でも いいんで与えてあげれば この処理の中で顔の領域をきちんと認識 してクロップしてくれます アラインメントっていうプロセス ノートブック で書いてるし 論文でもそう書いてあると思いますが こういうふう に正方形の顔領域を切り取ってくれます これを素材にしてアニメ 顔にするっていうふうな処理が始まります 一発目に出てきたのは これ 僕論文 時間が取れなかった 言い訳 してますけども きちんとこのプロセスね デュアルスタイルギャンの中身 を理解せずに言ってますけどもオリジナル画像を食って何もしない でギャン的に生成した 学習済みのモデルをダウンロードしてきて やってるわけですが 自分の入力で生成されたギャンの生成画像 がこれなんですね多分微妙に自分に似てるけど微妙 に違うっていう すごい僕が見て嫌だなっていう感じ 余分に感じる の多分 それで なんか太ってますよね もうちょっとダイエットしろ よ あとちょっと若い まあいいやこれは上がオリジナルで 下はギャン が生成した写真 そうと思うんですねデュアルスタイルギャンのポイント は写真のスタイルトランスファーをするよっていう話なので これは 第一ステップなんですね こいつにリファレンスとなるスタイル の対象となる映像を与えることでオリジナルの市木さんがこういう アニメのスタイルの市木さんになるっていうのがこのデュアルスタイル ギャンのやってることなんですねで 実際にセルをねでんでんでんでん ってやっていくと この画像のスタイルの僕を作ってっていうと こんな 感じね 左上が僕に一番近い 右下がスタイルに一番近い で 横軸の変化っていうのは色度合いが左が僕の入力オリジナル 右側 がスタイルとして提供してる画像の色 色味 で 上下は上のほうが僕 オリジナルで 下のほうがスタイルで提供してる画像の構造的なもん かなっていうメイトリックスになってる パラメータがこういうふうに 何かけなんだ 1 2 3 4 5 6 6かけ6のメイトリックスありますと これ 俺かっていう気がしますけどねもう出発点がさっきも言ったように ちょっと不虚かな感じになってるんで これそもそもこれがもうすでに 僕じゃないだろうと思うんで なんかね でもこの上のほうの右側の ほうとかこういう人いそうですよね ちょっと濃いめの人 はい っていう感じで でも見てて面白いなっていう感じですよね よし やってみようと 他のやつをね こういうイラストアニメっていうかね イラストありますよね こういうふうに僕なってみたいと思ったら どうなったかって 何かね気持ち悪いところありますけどね こんな感じの画像が生成されるんで それぞれの画像は綺麗ですよ ね 全然こうなんだコンピューターが作った画像っぽくないっていう か イラストとしても通用するような感じだなと思って 色々実験したんですけども なんかね 3Dグラフィックスっぽい ピクサーっぽいっていうかね もう僕とかと関係ないですよねこういうキャラを生成するっていう センスで ちょっとあれね 似てるといえば似てるのかな 眼鏡がなくなっているのが僕気になるまあそもそもフレームレスであんまり 存在感のない眼鏡してるんですけどもこんな感じでね ちょっとかっこよく なりたいなと思ったんだけどなんか方向性が違うんだな こんな感じに 眉間にしわ寄ってますねなんかあれだな 僕の表情があれなのかなはい こうね イラスト イラスト風 全部イラストですけどねこんな風だとっていうと やっぱ眉間にしわ寄るなね あのサンプル イグザンプルで上がってる ノートブックに上がってるこの金髪の女性のスタイルで 僕やってみたっていうのはこれですけどもこんな外国人いるかもしれないって感じですねあとだんだんね 顔の性別みたいなのがやっぱりあるんだなと思いますね 僕だんだんこう男性から この辺でも既に女性っぽくなってる気はするななんか見てて面白いし 逆に言うと日本人というかアジア人なのかな 日本人というかな やっぱり髪の毛のバリエーション 今でもこそいろんなね 髪の色をね明るく目にする人とかたくさんいますけども やっぱ黒 髪に固定っていうのはかなり狭いですよね 表現っていうのかな 存在が 存在感 プレゼンテーション的なバリエーションが感じますね だって 一番上のラインで僕っぽいやつでも髪の毛もちろん顔だけじゃなくてスタイル 雰囲気も変わってますけども 別人ですよね これ全然ね 色が変わる 髪の色が変わるだけでねまあいいや はい面白いしどれを撮ってもそれっぽいっていうかね あの使い物になるというかね あの twitter のアイコンとかに全然しても問題ないんですよ むしろ綺麗な感じですねはい で今言ったように最初ねこのハギンフェイスのフェイシーズのデュアルスタイルギャンのサイトでやろうと思ったんだけどもできなかったんだけど その理由はあの jpeg をアップロードすればいいっていうんで実際にやってみたですね やってみたのはモデルがね えっとさっきのあのさっきの学習済みの論文のスクショとか見てたらわかりますが どのスタイルにするかっていうののバリエーションねモデルのバリエーションがあって今ずっとカートゥーンのやつでありましたが風刺画風のモデル アニメ風のモデルとかいろいろあるんですねそれがもうここにセットされてるんで そういうのバリエーション試しようと思って試してあの試し直してみた でさっき言ってるようにこのね副用課な僕っていうのはギャンが僕の入力からギャンが生成したやつでこいつ は変わんないんですけどもこれにカートゥーンのあのやつを適用して えった結果がこれって言うんですねさっきの6かけ6のメイトリックスじゃなくて典型的なものっていうかねあの1233つのコーナーを多分取り出してるんだと思いますが こんな感じの生成されますこれはなんだっけカートゥーンの40番っていうスタイル で再生してっていう風に選択したらこうだから皆さんも画像だけね準備してれば こんなこんな画像スクショスクショ自分の顔をアニメ化できますなんであの面白いですよ で今今試したのがカートゥーン モデルですねでなんか知らないけどもスラムダンク僕漫画読む人間じゃないんですけども 国際世界的にスラムダンクってのは有名なんですかね なんだっけあの花道くんだっけそれぐらいは知ってるんあれだよねスラムダンクってあの スラムダンク風の市木さんはーって言ったなんかに よくわかんないですねはいこれ はいねカリカチャー風刺がっていうかねアメリカの多分ニューヨーカーとかの辺であれイラスト結構力入ってますねあのいろんな人を書いてますが あれらへんで多分学習したモデルなんじゃないかななんか妙に生々しいけど リアルじゃなくてこうデフォルメされた感じでいや面白いなと思いますが僕だと思わないでねこういう a だと思ったら面白いなって いうことですけど他人風に言ってねでコミック アメリカンコミックだと思いますけどもアメリアメコミ風の市木さんメガネがね残ってるのは僕的にはあのポイントなんですけども 僕っぽいというかこのオリジナルをなんかきちんと引き継いどるなっていう気がしましたピクサーねピクサーもここにボタンあるんですけどもピクサーでちょっとトライしたら すごいことになったんですけどこれはあの多分ねどんどんの映像をのスタイルにするかっていうのにも結構大きく依存してると思うんですが色味をオリアのスタイルの方で撮ったやつと色はあのオリジナルをキープしてっていうのとこれはカラーリレイティットレイヤーズ ディアクティベイティットだから色 こっちは上はストラクチャートランスファーオンリーだからストラクチャーの方をだけを撮ったら色は引き継いでるよということで3番目は上のやつからカラーをオフにするっていうよりはカラーレイヤーだけ処理してるところかな 論文きちんと読みましょうねっていう話ですがピクサーのアニメの中に僕がメタバースみたいにね ビョーンって入ってったらこういう僕がいるんですね気持ち悪いねはいあのピクサーの世界ねアルケインってもうこれねあのここあのハギンフェイスのスペーシーズにあるボタンをね試すんだってやっぱ全部試さなきゃいけないだろうと思って意地になって全部試してますがアルケインなんかググったらnetflix かなんかで放映されているアニメ番組があるみたいですねそれのキャラクターで多分ガーッと学習あのスラムダンクで学習したみたいなそういうノリなんでしょうねそれを知らないので似てる似てないとか全然コメントできませんがそういうスタイルのアニメになった僕なんかこうこういう漫画のキャラクターとかいそうですよねでもこれ僕かって僕じゃないって僕は思うんだけどなはいで日本のねアニメ風これは日本の何のアニメかはよくわかんないですけどもこんな感じこれは多分女性っぽいスタイルを僕選択しちゃったのかなこんな感じになりました