こんにちわ！ AI ポッドキャスト、シーズン４２は２０２３年６月２４日に開催した ZOOMライブの模様です。
この日のテーマは「最近の話題から」です。

エピソード５は、今日の話題のパート２「貧乏人の AI」、llama.cpp プロジェクトについてです。

• 当日の市來の発表資料

このブラウザでは再生できません。
再生できない場合、ダウンロードは🎵こちら




















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

こんにちわ！ AI FORUM です！
はい、みなさんこんばんは　、です。６月ね、もう後半、今日土曜ですけども。で、前回アナウンスしたように、今日は月末の土曜日開催、１回目ですね。６月の２４日になってます。AI FORUM 今日開催です。

いうかねもう本当にあの part 2の方はほぼ時間切れなのでえっと多分、シャクッと終わって 今日の6月の会は終わりになるかなという気がしてますが、さっきもちょっと話題に話題に行ってかな触れた貧乏人の ai っていうか 失業者の壁ってやつですね、ai をやりたいって言った時にはやっぱり、資源というかねリソースっていうかねツールっていうのはないと やっぱ何もできないと、ねあの それってのは、まあ ai 固有っていうかいやビジネスやつもそうですよねあの オープン ai とか、api 提供してくれますよとマイクロソフト api 提供してくれますよって言ってるのは、彼らの手のひらの上でほら お金を使いなさいと僕たちのサービスを使いなさい、僕たちのサービスでサービスを作りなさい っていう話でしょそこはそこで一周、創造性のコンペティションになるんでしょうし そこで頑張っていく、価値っていうのはあると思うんだけども、本質的には 彼らの土俵の上で遊ばされているっていう状況だなっていうのは、もうね最近 強く感じてて、それにうんざりしてたって言うところもあるんだよね、雰囲気的にはだからそれって 20年前とかの、google が検索を支配した時に seo 屋さんに、がばっこした状況をどうしても思っちゃうねあれ、全然本質的じゃないと思っちゃうし 本当の ai、まあいいねいやだからそういうことをやりたいんだけども、リソースの壁っていうのがありますそれを 今の僕はどう、8アプローチしていくんだってパート1の方では google コラボ、を拠り所に何かあの突破してこうっていう話をして 8まあその範囲でとりあえず使って、α0をセロモデルを動かすことができるという話でしたけれども 8別なプローチね、技術進歩としてエンジニアリングっていうかな面白い動きがあってそれをちょっと 今の機会でちょっと、体験しておきたいと思った話を今からします、今僕のねあの使ってるこの配信にも使っててウィーンってファンが回ってて あの時々ビデオがカクカクなったり、8オーディオとビデオのずれが発生したりっていうのは全部パフォーマンスのせい なんですが、その原因はすべてこいつこれなんですよ僕は今使っているマシンっていうのは macbook pro、ね macbook pro 15インチ macbook pro ったらへーレティガディスプレイの 15インチ macbook pro なんだよったら、へーっていう感じがしますが、ねミッド、2012年っていつだっていう話ね 10年以上前になっちゃってんね、コンピューター10年以上前のコンピューターで僕は頑張っていた、これあとすごいのはね久しぶりに見てねおおーと思ったんだよこいつ nvidia、の gpu が乗ってるんだあのもう10年以上前ですかね 2012年の時点ですけどもモバイルのね、だから残念ながら 空だとか動くわけないんで、こいついくら頑張っても メタルも動かないしね、ていうかカタリーナの時点でもアップグレードできなくなっちゃってるし 手も足も出ない状況でこれで、ai の開発なんかできないよね実際に開発なんかできないんですけども でもえっと ai のモデルを走らせるとかそういうね、えっと応用ブックに関しては最近 逆にすごくアクティブな動きがいっぱい出ていて面白そうな話がある、でねその話を ちょっとご紹介だけします、cpp いうのがついた、モデルの名前とか最近皆さんよく目にすると思います、でねまずね僕日常生活で ないと困る ai モデルの一つがねウィスパーですね、ウィスパーっていうのは何かというとオープン ai が発表した、文字起こしトランスクリプションの ai モデル 8オーディオファイルを与えると喋っている文字テキストを出力してくれるので、えっと上の方でも前座で喋っているように あとこの、a youtube のビデオライブも喋ってますね こういうビデオを文字起こししようと思った時に今までは、えっとウィスパーっていうモデルを gpu であの動くんで普通にね gpu マシンでウィスパーってモデルにオーディオファイルを食わせるとテキストじゃーんと書いてくれて、大すぐいすぐいっていうのをいつも重宝してたんですけども それを、macbook pro で 使えないかっていう話ね、で そのためのプロジェクトっていうのがこのウィスパードット cpp だったりするわけです、gpu が載ってないようなコンピューターで 既存の、いろんな ディープランニングモデルを、走らせるためのライブラリー それのウィスパーバージョンね、ポーティングされたもの でもうギットハーブあるんでこれをこの古い、macbook pro でクローンしてビルドね 古き良きメイクリターンってやるとコンパイルして、してくれると こいつ使うと、多少時間かかりますがウィスパーっていうのはウィスパーっていうモデル自体は、トランスフォーマーベースのモデルでそれ自体あんまり重くないでかくないんですね 機能が、生成型のモデルみたいなものと違って、8比較的小さいので 8それなりに、動くと 実際に実用上、僕のマックブックプロでも、こいつを使っている時に他の仕事とかはあんまりできないけども とりあえず、僕の用途としてねポッドキャストの文字起こしを今まで通りやりたいって言った時には 支障なくできる環境が維持されたと、8注意点が一個あって これ、もしかしたら最新版とかで改善されてたりするかもしれないですけども 僕これを多分実験したの一月ぐらい前の話ですか、オーディオファイルねに条件があって モノラルじゃなきゃいけないのと、サンプルレートがこれちょっと変わってますが16000、16k のサンプルレートじゃないといけない、a 大変っていう わけでもなくて皆さんどの pc にもね今時簡単に入る ffmpeg があれば、オーディオファイルのトランスコードもまあもともとはビデオのトランスコーダーです けれどもオーディオエンコーダーも入っているので、8ねー オーディオファイルの再エンコードトランスコードもできる、socks とかね マニアってが昔古いおじさんたちを使いますけども今も何でもねキッチンシンク的に何でも、ffmpeg でやれみたいな感じでこれをやっとくとうまく動くねこういうのを、シェルスクリプトに変えて実行すると今まで通り a podcast のかけ起こしができた、ちなみにこうやって実家起こした8音楽と数理 podcast のかけ起こしの結果は、例えばっていうねこういう形で得られ 今まで通りウィスパーでやるのと、多分ねえっと 精度とかもしかしたら少し落ちてるのかもしれないねあの、ビット数とか多分落とされてんじゃないかな モデルは、どのモデル使ってたっけ、ああああああ ラージモデルを使ってますが、はい なので、10年以上前のマックでも 文字起こしがとりあえずできる、世の中になった素晴らしいなぁと思いますね、はい ウィスパーは良しとね調子に乗ってね、他のこのプロジェクトこのこの人多分今この人すごいんだよな だからこれってブレイクするだと思いますね本質的にねあの、nvidia あれだもんねもちろん先見の目があったんだよね nvidia はね、すごいんだけど nvidia に、結局 独占されてるよね今ね ai のこの、ムーブメントすべてこう、でこの人ですけども、ラーマー cpp っていうのがそもそも始まりだったと思いますけども、エルガノフさ 名前読み方よくわかんないですけども、ね、が cpu 上で、動く 8ラーマーの実装っていうのを公開したのが多分、そもそも始まりだと思いますがこれやってみようとこれやってみたいとずっと思っ たんですけども、ねあの 貧乏人になった機会にやってみよう、で、なんかね日本語が通るのか通らないのかみたいな話とか モデルをね、コンバートしなきゃいけないねこの c プラプララーマ c プラプラ、上で動作する形式に8 モデルをコンバートしてかつ、それも実メモリーの制限とかもあるので 量子化って言って今あのね、4ビットに落とすとか 8ビットに落とすとかなんかすごい、テクニックその分当然情報は詳細な情報っていうかな落ちるんだけども、実用上ってがまずプログラムが動作するようになるっていうのが一番でかくて 多少制度が落ちてもクオリティが落ちても、動かん全然動かないよりも動いた方がマシっていうのはねやっぱりかいね で実験で、あの日本語でのブログにも結構これでどうやったら 今最新のリンナとかの日本語のモデルをどうやって動かすんだとか、でほとんど今やりたい人たちの目的は ちゃっと gpt をローカル pc で動かしたいみたいなのが大きなモチベーションでそっちの情報とか、って結構ググればいっぱい出てきますが僕まあ初手としてね このラマーのサイトにほぼあるような形で、でもモデルはこれがなビッグニャー モデルの落とした4ビット版のモデルっていうのが、ハギンフェニスのサイトかなんかに転がってて それでちょっとあの、チャットインターフェースになってないけども普通の生成 アルゴリズムだけども、静かで美味しいレストランを教えてください プロンプトを投げて、どう結果を貸してくれるかなーっていうのを試してみました このオンボロ pc マックでね、したら動いたね、静かで美味しいレストランを教えてください ここまでがプロンプトねここから回答で回答、そうですね 毎日、これなんだろうね前 これ間違ってて日本の日常生活中には美味しい食事が必要なと信じています、しかしなんとかなんとか以下のようなレストランに向かいたい方がお探しであれば 参考になれば、いします、美空にゃーが日本語どれぐらいサポートしてるのかっていう話なんだろうね でもすごいねすごいねっていうのは、何も考えずに僕 このプロンプト回答したんだけどもなんか、こんな形で返してくれるんだと思ういや、ラージランゲージモデルっていうかこのあのね、gpt 系のとかあと ランゲージモデル系の、もうものあのしばらく遊んでもうなんか つまらなくなっちゃってしばらく遊んでなかったこれ結構、ローカルマシンで動くっていうプラスアルファが入るとなんかモティベーが上がってくるのかな 面白いねもちろん、こういうのウソッコウソッコだよねだって美容師っていうレストランあるわけないじゃんってね そうだけど、動きます動きますが めちゃくちゃ遅いし、めちゃくちゃファンが回る、でも動くんだよねっていうのがね これブレイクするだと思うなぁ、これをどう さらに活用するのかとかとこれって一つのフレームワークだからこれ自体で、ファインチューニングもこのフレームワークの中でできるし みたいな話でね、ちょっと仕組みとかもうちょっとこう抑えておきたいなぁと思ってもやりたいこといっぱいあるんだけどね、思ったりもしましたこれは、一種革新的な技術だなぁと思いましたね 最先端っていうのとは違う方向だけどね、だからあのいや詳しく知らないけどみんなみんなわわ言ってんのは こういうふうに、落としたら スマホで、ローカルで動くようなモデルみたいなのもラッピングできるじゃんみたいな話ね もちろんクオリティはその分落ちるんだけども、ネット通信ないとかあと ねあの、セキュリティの観点とかするとローカルのモデルっていうものの 価値みたいなねあのあれだ、最近 AI系の話で視野を広げるためにと思って、本ね SFのアンソロジーがあって、AIとSFだっけ SFとAIだっけ あの本買いました、読むんだったら今読まなきゃいけないだろうと思って買っていろいろ見てたけども、なんかね ローカル、モデルを 隠しプロンプトを入れたら、なんか出てくるみたいな話とかありますネタバレになるからあんまり詳しくしゃべら ないですけども、なんか面白いですねあの サイエンスフィクション今日ねあのディベートでね見てたらね、サイエンスフィクションのことをバカにする文脈で使ったあのね メラニンさんねあんまり印象よくないね、あの人はAI研究者なんですかね、まあいいやはい っていう、あのね脱線してるのはもうこれで話が終わったから脱線してるんですが ここまでしか行きませんでした、えーっとね、ラーマ CPP、これでチャットボットを 作って、そいつに 音声合成モデルをくっつけて、あれね AIチューバー みんなやってるよねああいうのをやるんで、いちきさんボイスモデルで いちきさんが永遠に喋り続ける、AIチューバーしたら僕ポッドキャストをしなくてもいい、はいえっとそういうそういうですね part 2はそんな感じで、貧乏人もAIいろいろ楽しめるよっていう話のその2でしたね、コラボっていうのが鉄板のアプローチで あと gpu がない pc でモデルを動かすときはこういうふうなアプローチがある、いう話でした、はい8時30分でした、あれだな準備の、クオリティが 量が、開始がねだって ゆっくりめにスタートしてるしてて30分、時間がさらに余ってるっていうのは量的に 1時間分ぐらい少ないんだよね、まあ ねえ、環境が変化してるんで僕の方のアジャスティメントのあれもありますけども、引き続き引き続き a、ai についてね 最近の話題からって言って最近のトレンドを、あのねあの、収集はしてるんですねでも なんていうの、学びっていうのは、収集は学びじゃないですかね収集は学ぶための準備段階で、まあ収集したものを 咀嚼して、っていうのは学びの部分なんで あれだよね、学ばなきゃいけない論文読まないっ、はい 8、そういう6月1月を 自由になってね自由な視点でモチベーションで ai、の進歩っていうのを目にした時に 自分の見え方がどう変わってくるんだろうなぁっていうのは興味あったんです、が、そうなるとやっぱりあのモチベーションところで自分が今何やりたいのかっていう ところにしゃべったように、表面的なサービス開発みたいなにはやっぱりもう気持ちがいかないくて 本質的にどういうっていうふうな方にやっぱり興味が、いくんだなぁと思ってますねまあまあねこと言ってみましょうはいえっと次回は 土曜日、最終土曜日ということで7月29日の予定です、その時までにはなんかもうちょっと なんだろうな、そうアルファゼロをもうちょっとマスターして 俺俺俺の自分でモデルを、自分のモデルを 作ってみるとかねなんかあの進めたいな、思います強化学習ってかねそっちの軸の理解を深めておきたいなと思うしそこは大事 だろうと思ってますね、あと最新の その他の流れね、何が面白いんだろう今あの フェイス facebook 改めメタが、なんか5本か6本ぐらい あのね、やんなくん オープンソースにする、のがすげーだろうって自慢してたけども いや、みんなみんなそう思ってるからそこがポイントじゃなくてっていうのがディベート の時に、あの、8分 ワールドモデルだっけなんか面白そうだなぁと agi の文脈でねなんか、ロングでてましたねあの辺もきちんと抑えときたいきちんと抑えときたいなぁっていう のはきちんと抑えなきゃいけないよっていうことでね、僕どっちかつったらあれなんでこれ2匹があるんで 集めるのは学びじゃないっていうのは意識した方がいいね、はい a、フォーラムねあの僕だけ喋るんじゃなくてゲスト a、スピーカー常に募集してますあの僕に問い合わせてください a、ねサークル活動同人誌活動とかもやってます えっと興味ある人は、気軽にお声掛けください っていうことで、今日はね こんな感じで、また短めになりましたけども終わりにしたいかなと思います 引き続きねあの僕も仕事探しも、そろそろ本腰を入れなきゃいけないなぁと思ってますけどね、a 愛ん 周りの、仕事環境の状況を醸成、サムアートは日本に2回ぐらい来たがんでなんか オープン ai の日本会社とかを作るとか言っての僕なんか、フレンディーなことからはね距離を置いてねそっちの方あのフォローできないけど そこにきちんと見とかないといけないねちょっとね、はいはいはいいいことでえっと今日の ai フォーラム終わりにしたいと思います、全然最近の話題からではなかったですが8 ね、今後ともよろしくお願いします応援しますはい a、はいじゃあ早いですけども終わりにしますありがとうございました。