ZENKEI AI ポッドキャスト、シーズン２９は２０２２年５月２５日に開催した ZOOMライブの模様です。
この日のテーマは「Let's Dance!」です（が、ワクチン接種直後でヘロヘロでした）。

エピソード４は、今日のメイン「Let's Dance!』その３。先ほど作った自分の 3D アバターで踊ります！

• 当日の市來の発表資料

このブラウザでは再生できません。




















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちは。ZENKEI AI FORUMです。

はい、皆さんこんばんは。2022年5月25日、ZENKEI AI FORUMです。

ボンを入れる話はですね どこまで必須かな とりあえずサイトだけいきますねMixamo Mixamo Mixamo怪しいサイトってことはないです これはね Adobeのサービスはアカウントは作らせるんですけどもこれログインしなきゃいけないな ここに行ってさっきのFBXをアップロードしたらボンを自動で入れてくれます これしてください スクショで説明することにします今こう説明してた話がここら辺までだな 今見たMixamoのシーンがここね画像をFBXをアップロードすると さっきの市木さんみたいなのがアップロードされてアップロードされたモデルに対して 顎と腰と腕の 手首と肘と股間のところと膝のポイントを指定したらあとは自動的にボンを入れてくれます なのでそれで体を動かしたりすることができるんでこれね初期にテクスチャーを FBXに書き込まないでそのFBXをアップロードしたんで真っ白な市木さんになってますけどもその後ねこういうふうにテクスチャー込みの市木さんアップロードしたら 市木さんがダンスとかもここでもうすでにできるようになりますえーっていうところまで行ったんだっていうところまで行ったんだね でテクスチャーファイルを貼って この辺は試行錯誤だうまくいかないって言ってたポイント これはあれだ さっきのごめんなさいね 後ろに顔が映る問題っていうのはyoutube の説明とかにいっぱいあったんですけども それはさっき僕が説明したように後ろ姿も撮影してそれを裏面は裏面でテクスチャーを貼り直した方が絶対にいいよと思ったんでそれをすることをお勧めしますでここから踊らせる方の話で えっとミクサモに入れるとボンを指定してこれ関口愛美さんのモデルだ えっとボンを指定してくれるんだが結局どうなったんだっけこの辺はねテクスチャーが そうあのね vrm ってモデルにすると割れちゃうんですよ体がそれのあの部分をちょっとあの情報今日この辺はね既存のモデルはこれこれ あのね今後いうふうにねボーンを動かしているとこれわかるかな僕の体の表面のこのボーンが映ってるあたりが割れてるのね これが vrm のプレイヤーっていうのがあってそれに僕の vrm でエクスポートしたモデルを読み込ませてあれこれあの 動かしたりしてると同じようにね割れちゃうんですよそれがどうしてもわかんなくてねあれこれね試行錯誤してたんですけども 結局ここ解決できなくて8じゃあどうしたのかというと 気にせずにつまり vrm プレイヤーで見ることは断念して unity に xb x fbx でインポートすれば問題なく踊ることができたんでそれでいいやということに今なりましたこの辺は情報サイトな 8時20分vrm ねわかんないの教えてください詳しい人ねあのメッシュをね3次元三角形メッシュじゃないとできないとかっていうようなのが書いて あったりして用紙と思って3角形さっき見たようにねリメッシュすると結構四角メインでメッシュを 切り直しするんですけども三角形にしてもダメだったねミックサも unity は使うの大変だったんでやりたいことは何かというと次のフェードねモデルができたので次にやりたいことは 何かというとえっとチキチキバンバンの提供されている奴はダンスデータをも fbx テクスチャーモデルなしの骨格データだけの fbx っていうもので提供さなので僕のモデルアバターとその えっとねチキチキバンバンの fbx のえっとボーンのデータをガッチャンコすれば踊れるやろうっていう話でそれをどうするんだろう っていうのを要するにねモーションデータを 予想から導入する方法っていうのをいろいろ探したんですが一番わかりやすかったのはツイッターのこれでした これ一応みんなにも共有しておきますがこれ多分同じ文脈かなあの今回の出来事に関してかな8時半結構巻きが入るなそうねチキチキバンバンのデータを自分のモデルに インポートしようっていうものをツイッター上で説明してくれてるんですねunity でどういうふうにするのっていうとモデルを入れて fbx も入れてポイントは ポイントはポイントはどこだったっけドラッグ&ドロップあの詳しくはこっち見てくださいあのマックの上に僕は unity はインストールしてなくて別の windows マシンでunity はやってるんでここで今ちょっとでもはできないんですが実際の分かりやすかこれに従ってかーっとやったらできましたで できたできたっていうんでこれがで試行錯誤ねまずモデルを入れるのは初期状態のモデルね さっきのあの市さん緑のパンツの市さんと黒 t シャツに g パンの市さんと関口愛美さん3人が初期ポーズで t シェイプで立ってるってこれ他に入れただけですね ここにチキチキバンバンのあのダンスのあれを入れれば踊れるんやろうっていう話でそれは後で行ったな でできたできたとでそれと同時にですねあれね 悔しいって言った頃頃ラボさんのあのダンスのステージがありますねあれ何かと unity ちゃんのあのプロジェクトがあるんですよ unity ちゃんっていう unity のマスコットの8仮想ライブイベントっていうのがあって unity で全部構成されたライブステージがあってその上で のモデルの unity ちゃんを踊らせてカメラをコントロールしてライブシーンを撮影したっていうプロジェクトが全部公募 unity のプロジェクトを公開されてるんですね そこにあのまずはあの市木と 関口さんと坪倉さんでダンス共演してみようっていう企画ねこれはあれださっきのチキチキバンガーの方だ もう結果をお見せします時間もアレなのでね unity での操作になりますあとでねできたんですよ成果その1いきますよこれねあの ここに行けばいいはずだ ね unity でオフスクリーンこれボリュームはこっちで今と言うなこれは unity ちゃんのダンスと unity ちゃんの音楽ですがバックダンサーになってます僕とあの リアルアバター2大巨匠の3人がバックダンサーを務めてますこれねなんかすげーなぁ これがやりたかったんですよ関口さんと坪倉さんと僕ねこれあのビデオを見てお気づきの方はお気づきだと思いますが あのですねカメラはですね実はね 僕をかける設定になってしまったんで先僕のポジションはバックダンサーなんですけどカメラは僕がセンターに来るようになっちゃってますねあのお楽しみくださいとりあえずこれねあの すげー満足しましたこれオフスクリーン unity でねオフスクリーンレンダリングして動画にまとめるというプラグインというかあったんでそれで録画しましたんでえっとね一番最初にやりたかったチキチキバンバンの8動画もあります こっちはねステージはねあのあれを使わないで自分で 平面と後ろにねスクリーンやってオリジナルとの英子さんというのも同時に共演してるっていう体でね俺踊れるやんっていう これねモデルでねこの 股間をもうちょっと聞き切って足が分離できるようにモデル作るべきだったなぁと思っているたりもしますけどもね いろいろイヤルアバターをみんな共有すればこういうふうに楽しめますよっていうの 楽しいでしょ楽しくないかな僕すげーこれ満足かねテクスチャーもうちょっと完成 完成度を上げたいなぁと思ってそれが終わったら僕もブースで0円で販売しようかな誰かダウンロード済んだっていう話がありますが っていうていうですねっていうところまで来て8時半だえーっとねここで さっきのところまでまた戻るのはあれだけどこれこれで何が達成されたかっていうと 何が達成されたかというと何が達成されたかというとねあのフォロワーを参考にユニティちゃんの 姉ステージですよね8リアルアバターを作ることが達成されてリアルアバターに踊らせることまでできた わけです次のフェーズね 踊っているビデオを自分のモデルで踊らせたいっていうのをさあできるんだろうっていうかねでも考えたらそれって v チューバーがやってることやん っていう話をねあのしましたけどもできるんですよ技術的にはただそれをどういうふうにするの っていう話に進みますもう今日は僕はあのね説明適当なんでいけるところまで行ってちゃん森さんとお話タイムしますもうちょっとお待ちください 8ねだから動画ファイルが youtube にいっぱい転がってますよねあの perfume がダンスしている映像とかねミュージックビデオとかそれこそみんな若者がやってるを踊り 踊ってみたのビデオとかねいっぱいあるあれを俺が踊りたいっていう風な当然ニーズは僕にはあるわけで でそれってai の文脈だと 骨格姿勢推定っていうのを何回か取り上げましたけれどもai の典型的な応用例ですねもちろんあの v チューバーの人たちがやってるのも ai を使っ背後では ai 使って顔の表情とかランドマークねあの取ってるわけですけども だからできるはずだとで8だいたいが僕が 3年とか前に調査したりとか色々してた頃は骨格も2次元的なもので画像から人間のボーンを指定するあの推定するみたいな話ばっかりだったけど 時代は進んで3次元の骨格推定とか多分できるんだろうなぁと思って調べてみました調べてみたら結構ね今ねあのもうありすぎてよくわかんない どれを使ったらいいかわかんないっていう感じになりましたで今回ね僕ちょっと試したのは 本当はね今日やりたかったのはここの部分をもうこういうふうに ai のモデルを使って8さん動画なりから3次元骨格をとってそれを 8骨格データっていうモーションデータに変換して unity なりブレンダーなりに突っ込んだら1基3を取り出すみたいなところをやりたかったんですけど自分で できながらでもできたところまでってが情報収集ね ai のモデルとか1つピックアップできたのが google 系なのかなこれはメディアパイプっていうものが8ヒットしました これねあの結構もう完成度高くて 8ね顔だけじゃなくてポーズに関してはもうこのデモがも示すようにね 3 d でこうやって動画からもう3骨格が全部取れちゃう顔も取れちゃうしかもこの人たちはパイソンの api だけじゃなくて 8ブラウザーからも使う使いやすいような形でも提供されてるね骨格に関してはこういうランドマークが33個のあのデータが取れる最大モデルが提供 されらしい これとかね3次元できちんと取れてるよっていうデモンストレーションですねよっしゃよっしゃと やってみようやってみた 実際に丁寧入れてみた画像に加わしてパイソンスクリプトを走らせたらちゃんと取れるまあすげーすげーまあこれぐらいはねあのもうみんな知ってるもんね 骨格が3次元に取れるかっていうねこうこのへんねこれあの amazon プライムで僕が最近ご飯を一緒に食べてる 孤独のくるめのシーンからパシャってスマホで撮った画像を食わした結果ですけども もうね画像をピッて壊しただけでもこれ取れてるねこれこれしかもこのポイントは全部3次元 z 方向は結構精度は あんまり保証できないのかもしれないけどもでも3次元ポイントがもう取れてるんですねわかったわかったと このだからね ai が画像からも3次元取れるわけだからあとはこの骨格データから さっき上でねあの一生懸命えっとブレンダーとか unity で扱おうとしてたボーンの形式にこの得られたデータを 変換すりゃいいだけあんと思ったけどでボーンデータのね bvh っていうフォーマットがあるらしい業界標準のね えっとパフュームの10年前の共有したっていうデータがその形式で提供されたものなんだけども そこへのコンバーターってかそれを制作作成する方法とかねうまく見つかなかった あのってか調べている途中で時間切れになりましたムー残念っていうことなんだけどもこれだけで話は終わらなくてググってたらさっきも 言ったようにv チューバーの技術っていうのは全部今僕がやろうとしてたことをそのものだなぁって いうことであの調べてみたね v チューバー技術をその中の特にトラッキング技術見たら 3 d ポーズトラッカーっていうアプリを日本の人が雪彦ちゃんが開発してて ウィンドウズアプリなんですけども動いてるのはさっ上で言ったよね僕は例えばって実験で示したよこれメディアパイプですけどもえっとまあディープラーニングでこれはこのこのこの方が多分独自に作ったモデルを使ってるっていう風に書いてありましたけどもねでこのダンスを僕やりたいなぁと思っているダンスが一つあるんですねこれねあの豆腐ビーツ 新譜でたばっかりですね僕本は買ったんですけども新譜はあの youtube で聞いてるだけですけどもまだ本家で読んでないですけどもえっとこのビデオねあの ちょっと流しちゃうyoutube で配信しているのでライセンスはここでかかったら きちんと権利者に行くから何の問題もないっていう認識をしているがそれは正しいか正しくないかえっと広告が入るんだよね 見せたいのはねダンスダンスを見てほしいんですけどあー youtube live 配信で youtube を流すのあれかスキップこれなんかストックビデオを 豆腐くんが自分のプロモーションビデオを作るのにストックビデオを買ったストックビデオの中から編集してつまんで 作ったプロモーションビデオらしいですけどもこのお兄さんの独特なダンスを市木さんが踊ったらどうなるんだろうなぁっていうのを ふと思ったねこのプロジェクトを始めるにあたってねっていうやつですけども 豆腐ビーツのワッチュガーワッチュガー でね youtube ツールのこの 3 d ポーズトラッカー windows アプリを起動するとこんな画面になります ここにえっとビデオファイルを選択してアップロードすれば このお姉ちゃんがビデオの人と同じダンスをしてくれるっていうアプリケーション こいつのポイントは僕これいいなと思ったのはこいつねトラッキングした骨格データを bvh ファイルで出力してくれるファイルに書き出してくれる ながばこれいいやーと思ってこれがやりたかったことなんだよって言ってとりあえず中身はわかんないんだけど サンプルとしてどういうのができるのかなでやってみた 東風のでモデルの選択でねこのモデルとえっとゆゆきひこちゃんだっけ ゆきひこちゃんが選択可能なんですよ 女者ね著者の雪彦ちゃんで雪彦ちゃんにさっきのは中華は中ガッドを踊ってもらった このツールの中で踊ってもらいましたちょっと見てみましょう 時間ある話の時間がなくなったこれねこのソフトいう結構いいっていうかまぁユーチューバーの人たちがあれぐらい トラッキングできてるっていう事実がこういうことなんでしょうけどもすごいよねこの辺とかちょっと怪しいんだけどまぁお兄さんのポーズが 非現実的なんですけどねっていうすごいなぁと思ってこれが僕やりたかったことだよ ねえさっきも言ったようにえっと市記さんね市記さん のモデルがねあのさっきも言ったように不完全でボーンがねー綺麗に対応できてないんだけど無理やり 3 d ポーズトラッカーに入れた僕の8モデルでを踊らせたらなんかねボーンの言い方僕まだきちんとマスターできないんだなぁ 腰の角度がなんかねおかしいんでもトラッキングは大まかにはできてるね ながら僕の希望はだいたいかなったけどもこの もうなんかおかしいなんかおかしいおかしいものを見せるでしょうがですけどねっていう感じで っていう感じで終わりかな今日はえっと本当はここの部分も自前のああそう最後にね unity にあのこの通路を使って bvh でダウンロードした 8豆腐ビーツなのダンスのデータを入れてみたらうまくいかなかったらのこれボーンの音設定はやっぱり僕 unity のなんかね関節の自由度がなんかおかしいな設定になっているかなまだまだあのスキルが甘いですね 精進しますっていうことで っていうことでっていうことで終わりだっていうことで当初の予定してた予定してた 予定してたですねごめんなさいねまあ前後バタバタ言って予定してた 課題3つですねリアルアバターを作るチェック リアルアバターに踊らせるチェック踊っているビデオから踊りを抽出しそれを踊ってみるはこう 今市だったけどもできましたっていうことで皆さんもね 10分15分あればリアルアバターリアルアバター作れますからぜひ作って僕と共演してください僕じゃなくてもいい ですけどみんなも踊ってみましょうということでとりあえず今日今日は僕はの頃な注射の微熱 おじさん明けで大変だったんですけど