AI Engineering Now

AIとの音声対話を開発するにあたってどんな技術を選ぶかや、体験面で工夫するポイントを話しました

Shownotes:

https://nu-dialogue.github.io/j-moshi/

https://www.ai-shift.co.jp/techblog/4512

https://playground.zyphra.com/sign-in?redirect_url=https%3A%2F%2Fplayground.zyphra.com%2Faudio

https://www.ai-shift.co.jp/techblog/5169

https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSAI2020_2Q1GS1003/_pdf/-char/ja

https://livekit.io/

出演者：

seya(⁠⁠@sekikazu01⁠⁠)

kagaya(⁠⁠@ry0_kaga⁠⁠)

Evalを主軸にLLMエージェントの設計について述べたAn Evaluation-Driven Approach to Designing LLM Agents: Process and Architectureという論文を題材に話しました。

出演者：

seya(⁠⁠@sekikazu01⁠⁠)

kagaya(⁠⁠@ry0_kaga⁠⁠)

## Shownotes

An Evaluation-Driven Approach to Designing LLM Agents: Process and Architecture⁠

seyaとkagayaの二人ともハマっていて、最近ホットなTTSサービスについて雑談しました。

Shownotes:

https://voicevox.hiroshiba.jp/

https://aivis-project.com/

https://nijivoice.com/

出演者：

seya(⁠⁠@sekikazu01⁠⁠)

kagaya(⁠⁠@ry0_kaga⁠⁠)

生成AIでユーザビリティ課題を発見することができるかを検証したUX-LLMについて話しました。

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠こちら⁠⁠

Shownotes:

https://arxiv.org/abs/2411.00634v1

https://dl.acm.org/doi/pdf/10.1145/3678957.3685701

https://u-site.jp/alertbox/synthetic-users

出演者：

seya(⁠@sekikazu01⁠)

kagaya(⁠@ry0_kaga⁠)

LLM-as-a-Judgeに着想を得て、エージェンティックシステムを評価するためにエージェンティックシステムを用いることを提案したAgent-as-a-Judge: Evaluate Agents with Agentsを題材に話しました。

https://arxiv.org/abs/2410.10934v1

https://huggingface.co/DEVAI-benchmark

https://github.com/metauto-ai/agent-as-a-judge/tree/main

https://blog.langchain.dev/scipe-systematic-chain-improvement-and-problem-evaluation/

出演者：

seya(⁠@sekikazu01⁠)

kagaya(⁠@ry0_kaga⁠)

Ubie社の事例に触発されて社内v0開発を始めた2人で、開発の知見や悩み、Figma AI等のデザインAIについて話しました

https://v0.dev/

⁠https://www.figma.com/ja-jp/ai/

https://x.com/sys1yagi/status/1850763720630387170

出演者：

seya(@sekikazu01)

kagaya(@ry0_kaga)

継続的にLLMアプリケーションの評価基準や自動評価をアップデートする仕組みであるEvalGenについて書かれた論文「Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences」について話しました。

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠⁠⁠⁠こちら⁠⁠⁠⁠⁠⁠⁠

Shownotes:

https://arxiv.org/abs/2404.12272

https://www.sh-reya.com/blog/ai-engineering-flywheel/

https://www.chainforge.ai/

https://github.com/wandb/evalForge/tree/main

https://blog.langchain.dev/aligning-llm-as-a-judge-with-human-preferences/

⁠

出演者：

seya(⁠⁠⁠⁠⁠⁠⁠@sekikazu01⁠⁠⁠⁠⁠⁠⁠)

kagaya(⁠⁠⁠⁠⁠⁠⁠@ry0_kaga⁠⁠⁠⁠⁠⁠⁠)

自動で行うプロンプトチューニング、Auto Prompting、そしてそれを支える評価の重要性などについて話しました。

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠⁠⁠こちら⁠⁠⁠⁠⁠⁠⁠

https://platform.openai.com/docs/guides/prompt-generation

https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer

https://github.com/microsoft/sammo

https://dspy-docs.vercel.app/intro/

https://github.com/KruxAI/ragbuilder

https://vercel.com/blog/eval-driven-development-build-better-ai-faster

https://speakerdeck.com/shuntaito/llmops-dmlops

出演者：

seya(⁠⁠⁠⁠⁠⁠@sekikazu01⁠⁠⁠⁠⁠⁠)

kagaya(⁠⁠⁠⁠⁠⁠@ry0_kaga⁠⁠⁠⁠⁠⁠)