ZENKEI AI ポッドキャスト、シーズン２９は２０２２年５月２５日に開催した ZOOMライブの模様です。

この日のテーマは「Let's Dance!」です（が、ワクチン接種直後でヘロヘロでした）。

エピソード２は、今日のメイン「Let's Dance!』です。その１として、今日目指す内容について、背景を含めて説明します。

当日の市來の発表資料

zenkei-ai-podcast-20220525-02_q130.m4a

ビデオ見れる人はこちらからご覧ください。

（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちは。ZENKEI AI FORUMです。

はい、皆さんこんばんは。2022年5月25日、ZENKEI AI FORUMです。

はい、73分、73分。今日ね、どういう展開になるか、僕説明の仕方とかね、みんなに伝わるかどうか、伝えたいことが伝わるかどうかね、ちょっと自信がない回ですけども、やりますね。では進めていきます。はい、なぜ、そう、なぜレッツダンスっていう回にした、AIフォーラムですよ。AIフォーラムでなんでレッツダンス、何か間違いだろうっていう、でもね、もちろんAIフォーラムとしてやろうと僕は思っててやったんですけども、説明しますね。イントロ、なぜ今、今日この回でダンス、レッツダンスなのか、ですが、ここにありましたが、うちね、テレビないんで、あと、最近はね、Amazonプライムに送料無料とか、早く送ってくれるとかっていうんで、月500円払ってますが、その関係でAmazonプライムでビデオとかね、オンデマンドってか見れるんですけども、それで、ちょくちょくね、見たりしてるんですけども、でも全部が見れるわけじゃないんで、基本的に世間の地上派っていうテレビ、テレビ、まあまあいいや、テレビ見ないんですけども、Twitterが僕のメインメディアになってるって何回も言ってますが、流れてきたんですね。テレビのアニメの、パリピって何の略なのか、あとでちゃんもりさんに聞こう。光明、初活光明の番組、アニメがあるんですね。それのオープニングでの歌の、ダンスのダンスモーションデータを公開したというニュースが、僕のTwitterのタイムラインで盛り上がってました。でね、ここ行っちゃおう。ブースね、僕は技術書店、全KIフォーラムで技術書店参加したっていうんで、ブースアカウント作りましたけども、ブースは結構こういうっていうかな、こういうっていうのは後で他にも出てきますが、結構貢献してるね、ブースってね。こういうクリエイティブなアクティビティに対してね。これね、0円でモーションデータ提供しますって。テレビのオープニングのビデオのモーション、これはダンサーの人がモーションキャプチャーで撮ったやつを、アニメもこのデータで踊らしてるのかね、よくわかんないですけども、っていうものは公開されてると。でね、ユニティでご利用いただくことは可能ですと書いてある。メタバースのこのご時世ね。ユニティは使えるようにならなきゃいけないなって思ってるんですが、僕なかなかね、Blender Unityっていうのは、ね、あの、Blenderとか特にね、僕コンピュータ歴はそれなりに長いんで、オープンソース系の人っていうかね、学生から学者になったみたいな感じで、あのね、ライセンスとかお金で会社で買ってもらうみたいな環境じゃなかった環境でずっと生きてた環境ですね。でもそれこそBlenderは出始めの頃からずっと存在を知ってて、ね、だから何度もね、あの、3次元の話があるたんびに、使おうと1年発起して、マニュアルをもう1回見返してとかっていうのを、もう過去20年ぐらい、あれBlenderって何年、何年なってるの?10年以上ですよね。20年なってる。やってるけどなかなかね、習得できないね。やっぱり継続的に使わないと身につかないですね。GIMPはやっと僕、フォトシューではなくてね、やっとなんか、少しは身についてきたかなって気がしますが、その辺の錆落としっていうか、そもそも錆いるほどのスキルがないんで、学習、初心者として、Blender Unity、きちんと学びたいな、いい機会になるんじゃないかという腹もあります。で、っていうのが出てね、わー、これ面白い。データをね、みんな使ってよっていう姿勢を僕はね、やっぱり、今言ってるようにオープンソース系の活動はやっぱ好きなんで、いいですよね。っていうのがありました。これは、ぜひ何かやってみたいなと、プログラマーというかね、心を刺激するものでしたと。で、当然、このデータ発行、公開を受けてですね、さっき言ったようにね、僕のTwitter、タイムラインの、その方面の人たちでね、VR系の人たちとか、フォローしてる人たちにて、その繋がりとかでね、動き始めたんですね。スクショぐらいをパッパッと紹介しますが、これ発表されたのはいつだったっけ?たぶん最近、今月に入ってからだっけ?ね。 まあ、Unityで使えるってことで、まずUnityちゃんにとりあえず出すなやつとありますが、Unityちゃんで踊らせた人が出てきて。3Dモデルを手元に持ってる人は、このダンスデータがあれば単に入れれば踊らされる。概念としてはね、踊らされるんで楽しいだろうなっていうのはね、これ。あうんのどうぞ、うんけいかいけい、詳しくないですけども、精密なモデルが踊っている。そうこうしてたらね、VRといえば、日本のVRを牽引するホロラボの人たちがですね、こういうふうに踊っている。これ、後の方、後下の方で見れば、これ見て悔しいなと思ったんですね、僕。なんでこれに対抗しましたっていうのが今日の話の半分ぐらいですけども、こういうのがあって、こうオンラインでできる環境があるんだったら、これはやってみなきゃいけないなと思ったと。この話を聞いた時に、そういえばこういうのあったなぁと思ってね、ありました。パフュームね。パフューム、我が道教の。っていうのは、音楽と数理ポッドキャストの日本のポップストック集でも散々言いましたけども。で、そう、BVHデータを、3人のそれぞれのモーションキャプチャーしたデータを公開して、クリエイターの人をこれでなんか面白いデモ作ってよっていうのあったなぁと思って、自分の日報をですね、紐解いてみたら、これ本当?2012年だった。で、「んー、2012年って聞き流すことはなかなかできないですよねー。」っていうか、だって今年2022年ですよ。思いっきり10年前じゃんっていうね。10年前に、今のね、チキチキバンバンと同じことをパフュームはやってたっていうんで、すごいね、パフュームはね。で、その時のデータね、僕多分ダウンロードしたはずなんだけど、そのファイルどっかに行っちゃってね、それ使いたいなと思ったんだけど。で、GitHubにね、このパフュームデベロッププロジェクトがあるのに、データ消しちゃってるのね。なんで消しちゃうんだろうな。置いてればいいのになぁと思うんですが。これってここで誰か持ってる人を僕に送ってって言ったら送ってもらえるのかな。悪いことに使うつもりはないんですけどね。欲しいなぁと思って。多分ね、HDDとかね、こまめに調べればどっかにあるかなぁ。その時のね、その時も10年前ね、その時もUnityをちょっと頑張ろうと思ったんだと思うけども、結局身についてないんだな。今回もスクラッチから勉強し直したということが以下で展開されます。で、今日の話ですけども、今日やることは何ですか。Let's Dance!On Computer! 言ってないですけどね。Let's Dance!で、今日やること、お品書きですけども、リアルアバターを作る。ちょっとここはポイントなんですよ。僕っていうかね。VTuberとかね、日本のこの方向を牽引しているマジョリティ、多数派はきっとさっきのね、Unityちゃんじゃないですけども、可愛らしい系のCGっていうかアニメっていうかキャラな方向なのはそうだと思いますし、それは重要なね、牽引力になっていると思うんですが、僕個人の思考、あるいは、お冠盛りでね、全景AIフォーラムってなっているように、全景株式会社。全景はパノラマっていう画像形式の審議生ですね。僕が入るよりも前から。僕は10年、13年くらいになるのかな、前に入ってっていう感じですが、20年歴史があるパノラマの会社ですけども、パノラマもね、ホビーストの多くの部分は結構ね、パノラマって言ったら違うか。空間って言った時にはCG系の世界と、実写系の世界っていうのがあって、実写系っていうのは、もう嫌が多いでもリアルに引きずられますよね。で、軸足は僕の関心っていうかね、あと会社、全景株式会社はリアル思考なんですね。リアルビジネスであり、エンタメじゃなくてビジネスであり、映像的にはCGとかアニメとかよりは実写みたいなセンスがあって、そこを力手に。っていうのは、僕の個人的な思考、会社を置いといても好みの問題ですね。こういうのが好み。UnityちゃんとかMikuちゃんとかが好みっていう人たちもいる一方で、僕の好みは?っていう意味でリアル。だからこのホロラボの人たちは僕の好みラインなんですね。だから僕はこのラインを悔しいって言ったのがそういうことなんですけどね。ということで、踊ってみようっていうのは、僕が踊るっていうことね。僕が踊るんだけど僕は踊れないので、僕のリアルアバターが踊るっていうのが今日のゴールなんですね。なのでリアルアバターっていうのは外せない、今日の話なんです。なのでまず最初にリアルアバターを作ろうっていうのが今日の話の一番目。リアルアバター3Dモデル、骨格の入った3Dモデルを作った上で、さっきのチキチキバンバンのFBX形式のダンスデータを取り込んで、僕もこのダンスをすると。僕がね。バーチャル世界に僕が。っていう話。で、それだけだと、まあそれはそれでね、できた達成感はあるんだけども、広がりとしてはね、人が踊っているダンスを僕も踊りたいっていうね。踊っているビデオから踊りを抽出し、それを踊るっていうところまで応用編としてね。これを今日やりたいと思っていました。で実際にここまではできた。ステップ1、ステップ2はできました。ステップ3がね、ちょっとね、できそうなところとかできるソフトを見つけたっていう感じだけど、AIフォーラムネタとしてはそういう方向じゃないことをやりたかったんですけども、そっちの方はですね、ちょっと時間足んなくて詰められなかったっていう感じなんですけども、そういう今日のお品書きです。ということで、まず初手ね、リアルアバターを作る前に、もうちょっとね、世間のリアルアバター状況をね、僕、別にあの、この業界に深入りしてないっていうかね、さっきも言ったようにマジョリティの人たちがいてみたいなんで、ちょっと距離を置いてみたいなんですけども、僕の視点から見たリアルアバターな人たちっていうのをね、紹介しておきます。最近、またここ最近バズりましたね、あの坪倉さん。彼は僕の中ではもうリアルアバターの草分けっていうかもう代表。リアルアバターイコール坪倉さんですよね。この方で、彼は、まあまあこれね、これBlender使いで、Blenderのさ、あの、外国のアメリカなのかな、あの若い男の子って言ったら失礼になるんだろうけども、がチュートリアルビデオでいっぱい出してる人がいて、その人のビデオの中の1個に写真がありますと。で、写真と全く同じシーンをBlenderで再構成しましょう。で、写真っていうのは、皆さんご存知の通りで、写真っていうのはレンズで光のパスを歪めてスクリーン上に現実からやってきた光を写しとる。その映像が写真ですよ。だからそれを逆にしてね、プロジェクションして、スクリーンの上に映った元の3次元を予測して正しく物を配置して、3次元と同じ、3次元じゃない、写真と同じシーンを作り直そう、作ってみようっていうチャレンジをチュートリアルビデオ出してましたね。それ5年ぐらい前に見たのかな、ありました。それと同じセンスですね、これね。フェルメールの有名なこの絵ですけども。これも聞きかじりっていうかね、僕は美術詳しくないんだけども、このフェルメールとか、それ以降の写真、カメラが商業用に量産品としてのカメラができる以前の世間、絵画の世界においてはピンホールカメラですね、でっかいやつ。カメラオブスキャっていう呼び名で呼ばれてるものですけども、壁の節穴で後ろの壁に映像が映るっていうようなのと一緒で、あとダビンチだっけ?が遠近法とかっていうのを何とかしたみたいな話がよくありますけども、ああいうふうにテクニックとして、さっき言ったよね、ブレンダーでカメラがあって写真を再構成するためにはレイがここにぶつかるからで、カメラのね、焦点距離がこれこれで、画角がこれだから、ここにあるっていうのはこのライン上にコーナーがあるはずで、奥行きはどこに置くべきかここみたいにやるっていうふうな話がありましたが、多分フェルメールもそういうふうにやってたんではないかとか、その当時の職人的な画家の工房、絵を生産している工房、手工業的にですけども、っていうところでは実写?デッサンとかね、僕たちが小学校とかでやるように、正面を見て、うーんって唸って紙の上に、勘でこう形をうまく描いてそれが上手にできる人が絵が上手な人で、そこがなんか、うーんって感覚でやることが苦手な人が絵が下手な人みたいな価値観を僕たちは子供の頃から植え付けられてますけども、実はその辺の西洋の絵画の巨匠って呼ばれてる人たちも一部は、ほとんどは、よくわかんないですけども、機械的に映像、画像をトレースしてたんではないかみたいなのを、いう本があるってAmazonのAmazonデビューで見かけたっていう話を僕が今ここで適当なことをわーわー言ってるのは良くないね、そういう話があります。誰か詳しい人いたらね、この本読んだらそういうこと書いてありますよって教えてくださいちょっと興味があるっていうか、そういう話を小耳に挟んで、差もありなんていうか、絵画の価値っていうのは何だろうみたいなね、学校教育のさっきも言ったね、絵が上手い下手みたいな価値観っていうのは何だろうっていう疑問は、僕、岡本太郎の文庫本をずっと繰り返し眺めてる上でね、やっぱり疑問に思ったりもすることなんですけどね。まあ、なんで脱線してるな。はい、リアルアバターの、そう、この坪倉さんね、帽子被ったこのリアルアバター。で、これすごいよね。これ、今年の3月の話ですけれども、リアルアバター集会っていうのが、僕が、僕全然見逃してましたが、世間はこういうことになってるんですね。ちょっと興味ある。ちょっと興味あるんで、僕もうちょっとまともなリアルアバターができたら、こういう方向にも参加してみようかなと。ちょっと興味ありますけどね。このね、坪倉さんが自身のモデルをね、ブースで、さっきのブースに提供してるんですよ。Unityパッケージ、なんかすごい高級なこと。僕にとっても、Unityの仕組みはよくわかんないな。やっぱり巨大すぎますよね、システムとしてね。ソフトウェア開発システムとしてはね。なかなかあれですけども。はい。あ、本田さん、こんにちは。詳しい人、金沢にいますよ。何が詳しい人なんだろうな。また教えてください。坪倉さん。今回もデータダウンロードしました。僕なんかこういうのをね、「自由に使ってください。自分の体を使ってください。」って男気あるなと思って、こういうの好きなんですけどね。所要利用もね、個人。僕、今日の話は個人利用ではなくて、僕個人でやってるんで、いいんだろうなと思ってます。僕の中でね、リアルアバターの2大巨頭、巨匠がいてね。それはですね、坪倉さんと関口さんなんですね。関口さんはVRヘッドセット被ってライブで3次元アートを描くパフォーマンスで有名な方ですけども。これ調べたらね、調べたらっていうか。これTwitterのタイムラインで、これいつのタイムラインだろう。見に行けばいいな。日付は。これもね、リアルタイムで見たかな。でもその時は言ってるように僕自身のスキルとして、UnityとかBlenderとかあんまりパッと使えないんで、これはいい情報だなと思ったぐらいだったんですが、3次元モデル、自身の3次元モデルを。2018年、2018年でした。だから4年前だ。4年前に出してたんですよ。関口さん。これね、きちんと後ろであれしますけども、有所正しいリアルアバターですね。3Dスキャニングして撮った。これ多分スタイルだっけ。着てるTシャツのところで多分作ったのかなと思いますが。こっちの関口さんも、どっちが先なんだろう。関口愛美さんの方が先だったのかな、坪倉さんよりも。よくわかんないですけども、その辺の歴史的な話は。同じようにね、何でも使ってください。男気がある。すごいね、女性のこの3次元ボディデータをここまで踏み切ってやるっていう、なんかすごい素敵だなと思いますね。っていうのがあって、リアルアバターの僕の中で2大巨頭がいて、今回ね、今回そもそも僕がなんで、きっかけの一つは最初に言ったように、こいつですよ、踊ってみたのダンスモーションデータを公開したっていう話なんですけども、もう一つっていうかね、過去に最近のギャンすごいだっけ、最近の話題からだっけ。あのね、そうこの辺かな?最近のギャンすごいその他だな、きっとな。その他、最近のAIすごいんですよっていうのは、この辺を紹介した時にもう実感しましたが、この中でね、例えばこれね、TIFFっていうのは、Joint Realigned Implicit Phase Function for High Quality View, Closed Human Reconstructionでしょ。これも画像からね、3次元データを作るっていうやつだと思いますが、これね、これGoogleの、Googleだったと思いますが、2次元が写真から3次元でオブジェクト、リアルアバターを作る技術がね、最近すごい進歩してるっていう話なんですよ。っていうんで、これね、残念ながらこのモデルね、FORHAMなのかな?読み方わかんないですけども。コードはね、まだ公開されてない。これ出来立てホヤホヤなんで、まだ出てないんですけども。これ、こういう調べてた中にね、これ多分こっちの方で僕言及してないんだけども、PyFuっていうね、これ会社の方のあれに投稿したんだな。このモデルね、こいつはハイデフィニッションじゃなくてこっちオリジナルだよね。そう、あのね、斎藤さんが作った画像をね、PyFuに与えると3次元モデルを作ってくれるっていうのが、これね、2019年なんですよ。こういうのが出てた。知らなかった。で、これを最近ね、Hugging Faceのデモサイトにこのモデルをアップしたっていう人がいて、え、すげーすげーと思って、喜びさんで試しを試そうと思って、画像ね、僕写真自分で写真撮って。写真1枚でモデル作ってくれるわけですからね。写真ここで撮ってアップしたんだけど、そのデモサイトうまく動かなくて、あー残念やなーと思ってた時があったんですよ。そういうのが頭にあったんで、これ見た時に、あー俺やりたいし、今もうちょっと調べてみようと思ったんですね。もうちょっと調べてみようと思ったんですね。で、で、で、あ、そうそうそうね。そうこうしてたら、リアルアバター熱があったんで、ツイッターいろいろうろうろしてたんですね。ちょっと古いやつで、2020年頃にやっぱりね、僕と同じようにね、PaiFuでリアルアバター作ろうってトライした人がいた。僕は作れなかったんですけど、この人もなんか満足いくものができなくて、なんかね、その後普通のアバターに行っちゃったのかなっていう感じだったりとか。あとね、最近のリアルアバター界隈っていう、僕のタイムラインの界隈ですけども、こういうね、カフェではしゃぐ小さい人とかって、これツイッター見に行けばいいなな。これもリアルアバターですよね。そう、こういう演出も、もし僕がリアルアバター入手できれば遊べるんだな。メタバースとかね、VRの文脈とかでもいろいろ。ね。カッコ真顔っていうのが、リアルアバターはここが今まだちょっと残念なところなのかもしれないですけどね。顔もパーツ入れれば少しぐらいは動くのかな。よくわかんないですけどね。はい、っていう話とかなんかありまして、リアルアバターはそれなりにトレンドになる必要はないんだけども、やってる、興味ある人はある?あとね、メタがアニメ調のオキラス、オキラスって言わないんだな。クエストのアバターSDKみたいなの提供して、みんながアニメ調のアバター作れるよっていうのがありましたけども、開発版で実際の顔をトラッキングして顔とかを、リアルアバターに方向でなんか進めるみたいな、なんかプロトタイプのビデオみたいなのが上がってましたね。あれはなんか心を浮き立つっていうか、やっぱりそれだろうって思いましたね、僕とかね。リアルアバター好きな方向。ただ、リアルアバターはね、やっぱ障壁、参入障壁が高いんですね。っていうのは、さっきも言ったように、基本、クオリティの高いものを作ろうと思ったら、3Dスキャンを自分の体に対して行わなきゃいけないっていうことだったんですよ。で、3Dスキャン、リアルアバターでググったら、そのものズバリのリアルアバター株式会社っていうのが存在するみたいですね、東京にね。こういうふうに、その日刊工業新聞の記事がヒットしたんで、そこの縮小をさせていただきましたが、こういうふうにね、365度の方向から綺麗にライティングして影を消して、テクスチャーを取らなきゃいけないから、3次元形状をデプスセンサーで撮りながら、テクスチャーも正しいテクスチャーを全方向から撮って、それを3次元データとしてきちんと構成して、テクスチャーもきちんと貼り付けてっていうのをするのが正式な3次元リアルアバターの作り方なんですけども、これなかなかシステム撮影スタジオが必要だし、機材も必要だし専用のね。なかなか大変ここに行かなきゃいけないし、リモートコロナの環境ではなかなか難しい。もっとお手軽にっていうニーズが昔からあって、ハンディーな3次元スキャナーっていうのはいろいろ出始めてましたよね。そういうのを使って部屋の即興とかそういうのもやる話ありましたけど、それを自分のボディスキャンに使って3次元リアルアバター作ってる人とかもいました。もっともっと最近になると、iPhoneはね、僕のiPhoneは10なんで、まだちょっと古いタイプの副眼ですけども、最近のやつはデプスセンサー付きのiPhoneっていうのがあって、それでみんなね、それ以前はフォトグラメトリーがすげー流行ってましたけど、今もうライダーライダー。あれをライダーって呼ぶのはいいんですかね、言葉の使い方でして。まだまだ引っかかってるんですけども、まあいいや。デプスセンサー付きiPhoneで街をスキャンするとか部屋をスキャンするっていうのは今流行ってますけども、自分をそれでスキャンしても自分のリアルアバターを作れるっていう話はあります。これは実際に自分を3Dスキャンするっていう文脈でやっぱりリアルアバターを作るって話ですけども、今日の話っていうかね、前期AIフォーラムのリアルアバター作成っていうのは当然のごとくですね、AIを使って簡単に作りましょうっていうセンスに引っかけてAIフォーラムでネタとして話そうということです。さっきも説明したようにね、PyFuっていうのが2019年に出てたんだって、それが論文を見る限りにおいては結構いい感じでできてるじゃんっていう話がありました。その辺を深めてみようっていうのが今日の話です。そうやって作ったリアルアバターでチキチキバンバンを踊ってみよう、あるいはもっといろんな踊りをしようっていうのがその発展です。