
Sign up to save your podcasts
Or


ClaudeDevs 分享 Prompt Caching 降低 API 首字延遲。
核心技巧與預熱機制 開發者可以透過在發送正式使用者請求前,先發送一個 max_tokens: 0 的預熱請求,將系統提示詞(system prompt)載入快取中。此操作會執行預填充(prefill)並寫入快取,隨即返回而不生成任何輸出,因此不會產生輸出 token 費用。此方法能有效優化後續真實請求的處理時間。
提示詞快取(Prompt Caching)運作原理 提示詞快取旨在透過從提示詞的前綴(prefix)恢復處理,以優化 API 使用效率,顯著降低重複性任務或具備一致性元素提示詞的處理時間與成本。 支援模型:所有活躍的 Claude 模型(如 claude-opus-4-7)皆支援自動與明確快取。 快取層級:系統依 tools → system → messages 的順序建立快取前綴。 TTL 設定:預設存活時間為 5 分鐘,若需延長至 1 小時,可在 cache_control 定義中加入 "ttl": "1h"。 費用結構:設定斷點本身免費,僅針對「快取寫入」(基礎輸入 token 價格的 1.25 倍,TTL 為 5 分鐘)與「快取讀取」(基礎輸入 token 價格的 10%)收費。
實作與最佳實踐 快取斷點(Cache Breakpoint):應將 cache_control 放置在跨請求保持不變的最後一個區塊,而非變動區塊(如時間戳記)。 多重斷點:每個請求最多可定義 4 個快取斷點,適用於大型文件 RAG 應用、多工具代理系統及長對話維護。 自動快取(Automatic Caching):在請求頂層加入單一 cache_control 欄位,系統會自動將快取斷點應用於最後一個可快取的區塊。 效能監控:透過 API 回應中的 usage 欄位監控成效: - cachecreationinput_tokens:新寫入的 token 數。 - cachereadinput_tokens:從快取讀取的 token 數。 - input_tokens:斷點之後、未被快取的 token 數。
程式碼範例(以 Python 為例) `python import anthropic
client = anthropic.Anthropic()
預熱請求範例 response = client.messages.create( model="claude-opus-4-7", max_tokens=0, cache_control={"type": "ephemeral"}, system="You are an expert software engineer...", messages=[{"role": "user", "content": "warmup"}] ) `
注意事項與錯誤排除 API 呼叫方式:Prompt Caching 已不再需要 beta 前綴,請直接使用標準的 client.messages.create 呼叫。 快取失效:修改工具定義、變更 tool_choice、提示詞中影像的存在與否,或變更思考參數(thinking parameters)皆會導致快取失效。 隔離機制:Claude API、AWS 上的 Claude Platform 及 Microsoft Foundry (beta) 採用工作區(workspace)層級的隔離;Bedrock 與 Vertex AI 則維持組織(organization)層級的隔離。 詳細文件:更多實作細節可參考官方文件 Prompt Caching 及 Prompt Caching Cookbook。
原文:https://easyvibecoding.app/curated/1371
Codex 行動版預覽上線,讓使用者從手機隨時監督與引導開發工作。
原文:https://easyvibecoding.app/curated/1362
Tavus 推出 Image-to-Replica 生成對話 AI 人物。
原文:https://easyvibecoding.app/curated/1351
Apple 培養 Intel 成先進製程供應商。
原文:https://easyvibecoding.app/curated/1357
Anthropic 發布論文警告美國強化中國 AI 競爭。
原文:https://easyvibecoding.app/curated/1363
Kimi WebBridge 讓 AI Agent 操作瀏覽器。
原文:https://easyvibecoding.app/curated/1346
VS Code 推出 Agents 視窗支援 Agentic 開發。
原文:https://easyvibecoding.app/curated/1360
Anthropic 推出「Claude for Small Business」,定位為全球最廉價高效員工,專攻中小企業自動化。
原文:https://easyvibecoding.app/curated/1343
Visual Studio Code 1.120 版本穩定推出 Agents 視窗,提升 BYOK 模型控制並強化 Agent 安全功能。
AI Gateway 生產環境指標