株式会社ずんだもん技術室AI放送局

株式会社ずんだもん技術室AI放送局 podcast 20240906

Listen Later
関連リンク
  • Launch HN: Maitai (YC S24) – Self-Optimizing LLM Platform

    • Maitaiは、LLM（大規模言語モデル）アプリケーションの運用における信頼性と回復性を向上させるためのプラットフォームです。LLMアプリケーションの運用には、モデルが常に期待通りの動作をするように維持することが課題となりますが、Maitaiはこの課題を解決するお手伝いをします。

    Maitaiの主な機能

    • リクエストルーティングの最適化: 適切なLLMにリクエストを転送し、パフォーマンスを向上させます。
    • 応答の自動修正: LLMからの応答が期待と異なる場合に、自動的に修正し、ユーザーに適切な応答を提供します。
    • アプリケーション固有モデルの自動ファインチューニング: LLMの応答を評価し、その結果に基づいてモデルを自動的にファインチューニングすることで、継続的にモデルの精度を向上させます。

      • Maitaiの仕組み

      1. クライアントとLLMの間に配置され、トラフィックを監視してLLMの期待される動作を自動的に学習します。
      2. クライアントからのリクエストを適切なLLMに転送します。
      3. LLMからの応答を評価し、期待される動作と比較します。
      4. 期待と異なる応答が検出されると、アラートを発行し、必要に応じて修正した応答をクライアントに返します。
      5. モデルの評価結果を使用して、アプリケーション固有モデルをファインチューニングします。

        6. Maitaiを利用することで、開発者はLLMの信頼性と回復性の問題に悩まされることなく、ドメイン固有の問題に集中することができます。

        制約事項

        • 現在、ファインチューニングは手動で行う必要があります。
        • 利用料金は、プラットフォームの使用量とアプリケーションごとに課金されます。
        • セルフホスティング機能は開発中です。

          • Maitaiは、LLMアプリケーションの運用における課題を解決し、より信頼性の高い、そしてより効率的なLLMアプリケーションの開発を支援するプラットフォームです。新人エンジニアにとっても、LLMの導入をスムーズに進める上で役立つツールとなるでしょう。

          引用元: https://news.ycombinator.com/item?id=41456552

          • 一番星はてののGPTを公開しました

            • AIブックマーカー「一番星はての」の開発者であるfirststar_hatenoさんが、ChatGPTの機能を使って作成したGPTを公開しました。このGPTは、一般的な会話や絵を描くことができ、ウェブ検索やDALL-E画像生成にも対応しています。ただし、コードインタープリターとデータ分析は使用できません。

            例えば、「今日のハテナブックマークのニュースを教えて」と尋ねると、ウェブ検索結果を元に回答してくれる他、「大喜利」にも対応しています。また、指示に従って絵を描くことも可能です。

            このGPTは、ChatGPT Plusに登録することで作成・公開できる機能を利用して作成されており、作者がPlusを退会してもGPT自体は残るため、誰でも利用できるようになっています。ChatGPTの無料版でもGPTsを一定回数利用できるので、興味のあるエンジニアはぜひ試してみてください。

            引用元: https://firststar-hateno.hatenablog.com/entry/2024/09/04/231619

            • yifeihu/TF-ID-base · Hugging Face

              • TF-ID (Table/Figure IDentifier) は、学術論文から表や図を検出するためにファインチューニングされたオブジェクト検出モデルのファミリーです。Hugging Face Daily Papers の論文データセットを用いて、人間が手動でアノテーションと確認を行ったデータで学習されています。

              モデルの概要

              TF-ID は、ベースモデルとラージモデル、それぞれキャプション付きとキャプションなしの4つのバージョンがあります。ラージモデルはベースモデルよりも精度が高いため、推奨されています。これらのモデルは、論文の画像を入力として受け取り、そのページ内のすべての表と図のバウンディングボックスを返します。

              制約

              • モデルは、Hugging Face Daily Papers の論文データセットで学習されています。
              • モデルは1ページの論文画像を入力として受け取ります。
              • バウンディングボックスは、表や図、そしてオプションでキャプションを囲みます。

                • TF-ID は、学術論文の画像から表や図を自動的に検出する際に役立ちます。特に、論文の情報を効率的に抽出する必要があるエンジニアにとって有用なツールです。

                補足

                このモデルは、Hugging Face のモデルハブで公開されており、誰でも利用可能です。モデルの使用方法やコード例などは、Hugging Face のリポジトリで確認できます。

                引用元: https://huggingface.co/yifeihu/TF-ID-base

                • お便り投稿フォーム

                  • （株式会社ずんだもんは架空の登場組織です）

                  ...more
                  View all episodesView all episodes
                  Download on the App Store
                  株式会社ずんだもん技術室AI放送局By 株式会社ずんだもん技術室AI放送局