会話型AI運用において「ユーザーがどんな質問をしているか分からない」「回答精度を上げたいが何から手をつければよいか分からない」という課題に直面している方に朗報です。ちょっとチャットボットlaboのオトーワン氏が、miiboの会話ログダウンロード機能を徹底検証し、データ分析による改善手法を実践的に解説したnote記事を公開しました。本記事では、その内容を詳しくご紹介します。

オトーワン氏の検証では、240件のテスト会話データから具体的な改善ポイントが明らかになりました。CSVダウンロード機能で取得できる詳細データには、発話内容、応答、検索クエリ、セッション情報など20以上の項目が含まれています。このデータを活用することで、頻出質問の特定、プラットフォーム別の利用傾向分析、セッション継続率の把握が可能になります。特に注目すべきは、データに基づいた3つの改善アプローチ（ナレッジデータストアの最適化、プロンプトの改善、シナリオフローの見直し）により、AIエージェントの精度を確実に向上させられる点です。

CSVデータが明かす会話型AI運用の実態

miiboの会話ログCSVダウンロード機能は、単なるログ記録を超えた分析ツールとして機能します。オトーワン氏が実際に取得したテストデータには、2025年4月から7月までの240件の会話が記録されていました。このデータから、79のユニークユーザーと87のセッションが確認でき、API経由が65%、Web画面が35%という利用プラットフォームの内訳も明らかになりました。

CSVに含まれる主要項目は、基本情報（発話日時、プラットフォーム、発話内容、応答内容）、識別情報（ユーザーID、エージェントID、セッションID）、機能関連情報（検索クエリ、シナリオ情報、プレビュー判定）に大別されます。特にセッションIDの仕組みは興味深く、最後の発話から15分経過すると新しいセッションとして記録されるため、ユーザーの利用パターンを正確に把握できます。

このデータ構造により、表面的な会話内容だけでなく、ユーザーの行動パターンや離脱ポイントまで可視化できるようになります。オトーワン氏は「データの豊富さに驚いた」と述べており、想像以上に深い分析が可能であることを強調しています。

実践的な3つの分析アプローチ

オトーワン氏の記事では、CSVデータを活用した3つの具体的な分析手法が紹介されています。第一に、よくある質問の特定です。utterance列をPythonで分析することで、「不安です」「人間関係について」といった頻出パターンを抽出し、これらに対する回答精度を重点的に改善できます。

第二のアプローチは、プラットフォーム別の利用傾向分析です。API経由、Web画面、LINE、Slackなど、各チャネルでユーザーの質問傾向や会話スタイルが異なることが分かります。この違いを把握することで、プラットフォームごとに最適化された応答スタイルを設計できます。

第三に、セッション継続率の分析があります。session_idを活用して、どのタイミングで会話が終了するか、満足度の高い会話パターンは何か、離脱率の高いポイントはどこかを特定できます。これらの情報は、ユーザー体験の改善に直結する重要なインサイトとなります。

データに基づく具体的な改善アクション

分析結果を実際の改善につなげる方法として、オトーワン氏は3つの具体的なアクションを提案しています。まず、ナレッジデータストアの最適化では、よく参照される知識の精度向上、参照されない知識の見直し、不足領域の特定を行います。会話ログの「この応答で使われた知識」機能を活用することで、どの知識が実際に役立っているかが一目瞭然となります。

プロンプトの改善では、search_queryの分析により検索クエリ生成の最適化を図ります。また、応答品質の低いパターンを特定し、該当するプロンプトを調整します。ステート機能を適切に活用することで、会話の文脈をより効果的に保持できるようになります。

シナリオフローの見直しでは、scenario_nameとscenario_node_nameのデータから、設計通りに会話が進んでいるかを検証します。離脱率の高いノードを特定し、実際の利用パターンに基づいて新しいシナリオパスを追加することで、より自然な会話フローを実現できます。

継続的改善サイクルの構築へ

オトーワン氏の検証を通じて、miiboの会話ログ機能は「勘と経験」による運用を「データと分析」による改善に変える強力なツールであることが実証されました。CSV形式で出力されるため、既存の分析ツールとの連携も容易で、定期的なダウンロードによる継続的な改善サイクルの構築が可能です。記事の最後でオトーワン氏は「なんとなく良さそう」だったAIエージェントの運用を「データに基づいた確実な改善」に変えることができると総括しており、実践的な価値の高さを強調しています。今回ご紹介したオトーワン氏の記事は、会話型AI運用に携わるすべての方にとって必読の内容となっています。

Get full access to 岡大徳のメルマガ at www.daitoku0110.news/subscribe