こんにちわ！ AI ポッドキャスト、シーズン４３は２０２３年７月２９日に開催した ZOOMライブの模様です。
この日のテーマは「夏休みもＡＩだ！」です。

エピソード５は、パート２「最近の LLMs」その３、「ローカルで Llama2 を動かす」です。

• 当日の発表資料

このブラウザでは再生できません。
再生できない場合、ダウンロードは🎵こちら




















ビデオ見れる人はこちらからご覧ください。




（以下は、OpenAI の Whisper を使って文字起こししたものを修正したものです。）

** 注：以下は未編集の草稿です **

はい、みなさん「こんばんわ！」です。
「こんにちわ！ AI FORUM」です。
今日の日付は 2023 年 7 月 29 日、７月の回になってます。

そっかー でなんか
そうかーって言ってたんだけども もうね開き直ったね
えっとこの過程でねあの ローカルのパイソン
マックポーツであのシステムに入ってる 8ユーザービーンしたのパイソンとかも
言ってみようこの os がもうアップデートされないシステムで僕今遊んでるわけ だからねそんなあてんできないでしょって言うんで
必然的にマックポーツで入れるパイソンなんだけども でいろんなバージョンが入るマックポーツのバージョン管理みたいなのがあってね
それはそれでなんかもう触りたくないところの極地なんだけども えっとでも
いいと そこで
変換ソフトだってもう手詰まりだからね積んでるから えっと google コラボを使えないとなぜならば google drive に
ウェイトファイルが乗らないからね シーで書くっていうのは断念したからもうローカルで
python の変換スクリプトだけでも動かせれば学習とかする必要ない 変換ソフトだけで動かせればいいっていうセンスでわかったとマックポーツネイティブの
python 環境で変換ソフトが動けるように やりましょう
やりました でえっと
python 3.8環境が必要なので タイプデフとかねあの辺がここからしかないっていう話なんで
こいつで えっと
何パイ入れたいでしょ何パイもこのだがネイティブ環境僕全然使わないでずっと 過ごしたから今回これをするために
python の3.8に何パイを入れマックポーツ経由でね 何パイを入れてあとセンテンスピースも必要だったんでセンテンスピースも入れて
あとあれだあのトーチ も必要で
えっとこれもマックポーツに入っているパイトーチがパッケージがあったので それを入れました
pip はね避けましたねっていうのは pip 自体がまず
このマックポーチの python 3.8環境で僕インストールしてなかったからなんだけども
だからそれをインストールしてれば pip 一発でいくっていうアプローチもあるのかもしれないけど
バージョン管理の上で別なバージョン管理ソフトを使うっていうのは
やっぱり気持ち悪いんで 全部バージョンの管理はマックポーツさんに任せた方が安全だろうなと思って全部
マックポーツ経由で揃ったので入れましたしたら
8なんとか 変換プログラムエクスポートメタラマリン
が通ったので よしゃよしゃと思って7ビリオンの
8そのままのモデルと lm のモデルとチャットのモデルの2つを変換しました
数十分ぐらいで終わったかな10分ぐらいかな10分ぐらいで変換は終わりました 変換されたファイルねこれ2つチャットとチャットじゃないやつ
.b できたと
できたできたとこれ量子化されてないはずだよね フローティングポイント32ビット
だよね だから遅いのかどうかわかんないんだけどもねモデルが変換できたんでよっしゃ
ラーマー2. c の ランドット c ね
で
ラマー2を動かしてみよう動かしてみました ね動かしてみました
このモデルをね指定して テンパレーシャーゼロ
ステップ64これよくわかんないんだけどとりあえず ハローハワイドウィングデー
いやー 問いかけてみた
結果は i hope you are doing well
アーム doing well
あー待ってハーイウィングデーって聞いた後やね iphone ビューアードウィングは
i am doing well i'm happy to be here with you
ここからあのランゲージモデルの 特有のトラップね同じ言葉を言い続けるモードに入っちゃったんで止めました
なんか答えが帰ってきてランゲージモデルねああそうですかって感じにだけど
めちゃくちゃ遅いこれを得るのに 多分30分以上かかってるね
まああの アンドレも書いてたしこのランドット c を見ればわかりますが
素朴にフォーループを回しているだけなんで行列席まっとまるの関数とか全部実装 されていますが普通に c で
前日と選定だけなんで 8最適化は c の最適化オプションを3になってますが
まああれだね しょうがないんですよね
でも面白い自分の手で書いたプログラ全部書いているプログラムで全部動く っていうのがやっぱりプログラマー
の醍醐味っていうか 逆に言えばプログラマーは
コントロールマニアっていうかコントロールフリーくないなぁと思ったりもします ね
でえっと次までに 次っていうのは次のこんにちは ai フォーラムかな
までには ネット
ネットをマスターするぞ あるいは
もうちょっと早いコンピューターが欲しいかなぁ
そのためには仕事を早く決めないといけないかな 給料の良い仕事を早く決めなきゃいけないかな
いう感じかなっていう 英雄なんていうか
実りの 少ない
今日の最近のラージランゲージモデルの話でしたそう子黙示に行った方がいいな はい今日のお話でした
最近のねラージランゲージモデルについては
主にラマ2をフィーチャーしましたがラマ2ネイティブで動かす計算機環境が今 手元にないんでこの野郎と思ったので
以下は貧乏人の ai の飲んで
ねラマドット cpp および最近注目のアンドレカーパシーのラマ2.4触ってみましたと
で実際に行ったことは何かっていうと それぞれで必要なモデル変換スクリプトってかモデル
pytorch のウェイトモデルを とは何だろうっていうものについて理解深めたよっていう
お話でした ね
でもここなんだろうな パート2これだけ
内容を揃えようと思ったプロセスでこの1月ね あの twitter で流れてきてたツイッター改め x ね
いつまで言い続けるんだったんですか 8
一応ねー 日々気になったものはあのスクラップブック的に
あのついツイートの内容 キープはしてるんだけども
スクラップブックするっていうことと それをきちんと整理するっていうフェイスと整理されたものを見返して学ぶっていう
フェイス 全部違いますよねでスクラップ
空化するっていうことしかできてなかったね 年今日は
スクラップブック化したものを整理するっていうところまでほぼできたねっていう感じね なのでこれを
見返して学ぶっていうことで見返して学ぶに関しては学ぶポイントをセレクションでき たとセレクションできたので
あ
やっと やっと今のトレンドに
馴染んできたかなあ再びってね
一時期 一時期はもう
失業当初は忙しくてトレンドにを見る暇がなかったっていうのは12ヶ月ありました からそこから
外れてた部分が再び復活し直したんで これからちょっと行くぜ
うわぁなぁ 低産期環境でもいろいろ面白い技術が出てきている今日この頃なんでね
この辺 試行錯誤していきたいなと思います思いますそういう
8時43分なんなかなかちょうどいい感じですねはい 一人喋ってして頑張りました
はいえっと次回こんにちは ai フォーラム 開催予定は
月末の土曜日ですので8月の26日
あの 活音
にみんながなってる時はね家族総出で新聞の
天気を一生懸命ああ言ってのは夏休みの宿題を慌ててするようなタイミングですね っていう感じで僕は今日今日の発表でいろいろなつ休みの僕の宿題
みたいなのリストアップしたんで その辺ね答え合わせじゃなくきちんとやったかなっていうの
見れるかなーって言って今自分にプレッシャーをかけつつ 話をまとめようとしてますが
8月26日開催予定です
表車 絶賛募集中です僕一人喋り
まあこれ仕方なくやってるんで本当はみんなみんなと仲良くやりたいです お声掛けください時間枠いくらでも提供します
8フォーラムね講演者ねあとサークル a 今日は ai フォーラムサークルではですね
同人誌活動をやってます 次回の
技術書店15はもうスケジュールアナウンスされてね年内開催されるんだよね 11月とかだったっけ
うん
僕は何がそこでできるのかわかんないですけども 8
ねー サークルでみんなでワイワイやる
のをしたいなぁと思う方は絶賛ネタをですね 興味してください
お待ちしております っていうことで
8 youtube をご覧の3人の皆様
ながら9 1人しゃべるん
楽しんでもらえたかな8 はい石川さん
スパーさんはん 相場の元気かなはい
いいことで8
ai ai で僕は 仕事が見つかるんだろうか
ねえ
ai で仕事をするためにももう1回ねリハビリじゃないけどきちんと プレーニング自分の脳みそねトレーニング
しとき面白いよねあの 大手 ai 企業の
にも 無謀にもねあのレジュメとか送ってるんですが
えっと web フォームでね
面白いことを書いてあって
チャット gpt とかを使わないでね この仕事はラージュランゲージモデルを
活用するような仕事なんだけども私たちはあなた自身の能力が
を評価したいのでそういうのは使ってないっていうふうに理解してほしいしここに チェックを入れるときはそれは使わないっていうことを宣言してねっていうふうに書いて
あって そらそうやなぁと思ったし
僕とかももうそういうセンスで ねえ
このフォーラム は
生身の声で喋ってるでしょ当たり前だけども 本書いたとか言ってえっと
ねえ 書き起こしのやつを手作業で
構成してっていうのももう一切 ai 系のものは使わないようにしようと思ってその理由はっていうのは
できたものの価値ってやっぱりねぇ これ
チャットで聖書したのとか言ったら
行き下がりだよね 価値がねそういう価値観は古いんだろうかよくわかんないですけどね
はいそういう話がありました
ねえねえ絶賛就職活動ねー
多分普通のサラリーマン生活をしている人たちよりは僕はあの タフなんだと思うのは
大学の先生になりたいっていう 期間を
アカデミアをやってた頃っていうのはずっとキャリアの全部ですねもうだから学位 取る
欲しいとかそれその1年2年ぐらい前とかパティ d に入ってからグレがもういわゆる 公募ってものに
履歴書を 出しまくる生活は
もう年の単位で5年とかね
キャリア全部っていうのは言い過ぎだもんな後半とかも別にね
うんだからいうにでも5年以上はそういう生活をいずらっと日々続けてて1年に 車
県以上 履歴書を送りまくってた生活をしてましたかね
まああのちょっと歪んでるのかもしれないですけどねでもどっかで僕も
妥協点目標理想と現実のマッチングポイントをきちんと 見極めないといけないですからねそれを
優張の方に言ってられないまあまあはい終わりにしますんだらだらしゃべっても良くないね はい次回8月26日1ヶ月後
お会いしましょう
そうかここは締めの言葉ピースラブじゃないんだなでも 皆さんお体にお気をつけて暑いですけどね
あの 健康第一で体が主語ですということで終わりにします
おやすみなさい youtube ご覧の皆さんもありがとうございましたお休みなさい
終わりにします