AI Engineering Now

今回はOpenAI DevDay 2024で発表されたPrompt Cachingがテーマです

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠こちら⁠⁠⁠⁠⁠

Shownotes:

https://platform.openai.com/docs/guides/prompt-caching

https://www.anthropic.com/news/prompt-caching

https://zenn.dev/google_cloud_jp/articles/0c257a98143152

出演者：

seya(⁠⁠⁠⁠@sekikazu01⁠⁠⁠⁠)

kagaya(⁠⁠⁠⁠@ry0_kaga⁠⁠⁠⁠)

今回はJina AIが提唱したLate Chunkingがテーマです。

Jina AIはEmbedding model、Reranker、Semantic chunking等のAPIを公開しているRAGに取り組む上では注目の企業です。

そんなJina AIが提唱したチャンキング手法であるLate Chunkingについて話しました。

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠こちら⁠⁠⁠⁠

Shownotes:

Jina.ai

⁠Late Chunking in Long-Context Embedding Models⁠

⁠Late Chunking: Balancing Precision and Cost in Long Context Retrieval | Weaviate⁠

Training Text Embeddings with Jina AI

What is ColBERT and Late Interaction and Why They Matter in Search?

https://x.com/s_tat1204/status/1837932815931134138

出演者：

seya(⁠⁠⁠@sekikazu01⁠⁠⁠)

kagaya(⁠⁠⁠@ry0_kaga⁠⁠⁠)

音声AIサービスの雑談会です。特にGoogleのNotebookLMのAudio Overview、Illuminate、Retell AI、kagayaが絶賛個人開発中の音声AIサービスについて話しました。

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠こちら⁠⁠⁠

Shownotes:

NotebookLM now lets you listen to a conversation about your sources

AIが論文や書籍を要約してポッドキャスト風の会話音声に自動変換してくれる「Google Illuminate」が公開中

グーグル、自分だけのAI「NotebookLM」に音声番組でまとめてくれる新機能

Retell AI - Supercharge your call operation with Voice AI

音声AIエージェントの世界とRetell AI入門 

出演者：

seya(⁠⁠@sekikazu01⁠⁠)

kagaya(⁠⁠@ry0_kaga⁠⁠)

ソフトウェアエンジニアリング領域のLLMエージェント研究のサーベイ論文である、Large Language Model-Based Agents for Software Engineering: A Surveyを題材に話しました。

ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠こちら⁠⁠

Shownotes:

Large Language Model-Based Agents for Software Engineering: A Survey

LLMエージェントのデザインパターン、Agentic Design Patternsを理解する

マルチエージェントなコード生成エージェント、AgentCoderを理解する

You Can REST Now: Automated Specification Inference and Black-Box...

CodeAgent: Enhancing Code Generation with Tool-Integrated Agent...

エージェント型AIシステム構築の7つの原則： OpenAI『Practices for Governing Agentic AI』を読み解く｜mah_lab / 西見 公宏

RCAgent: Cloud Root Cause Analysis by Autonomous Agents with...

“LLM for SRE“の世界探索 - ゆううきブログ

出演者：

seya(⁠@sekikazu01⁠)

kagaya(⁠@ry0_kaga⁠)

Chatbot Arenaのデータを使ってドメイン独自の評価データセットを作るという論文、Judging LLM-as-a-Judge with MT-Bench and Chatbot Arenaを題材に話しました。

ポッドキャストの書き起こしサービス「LISTEN」はこちら

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference

Chat with Open Large Language Models

From Live Data to High-Quality Benchmarks: The Arena-Hard Pipeline | LMSYS Org

Benchmarks 201: Why Leaderboards > Arenas >> LLM-as-Judge

https://x.com/karpathy/status/1737544497016578453

https://github.com/lm-sys/arena-hard-auto/tree/main/BenchBuilder

出演者：

seya(@sekikazu01)

kagaya(@ry0_kaga)