EasyVibeCoding Podcast

EasyVibeCoding Podcast

By EasyVibeCodingTechnology
Download on the App Store

All EasyVibeCoding Podcast episodes

  • @OpenAI:GPT-5.5 Instant 推出,提供更智慧、精準且個人化的 ChatGPT 體驗。 OpenAI 宣布「GPT-5.5 Instant」開始在 ChatG…
    GPT-5.5 Instant 推出,提供更智慧、精準且個人化的 ChatGPT 體驗。 OpenAI 宣布「GPT-5.5 Instant」開始在 ChatGPT 中逐步推出,取代「GPT-5.3 Instant」成為所有使用者的預設模型,此更新強調更可靠的事實性、更簡潔的回應風格,以及強化個人化功能,讓日常互動更實用且愉快。 智慧與準確性提升 GPT-5.5 Instant 在事實性上大幅進步,內部評估顯示,在涵蓋醫學、法律與財務等高風險領域的提示中,幻覺主張減少 52.5%,比「GPT-5.3 Instant」少產生 52.5% 的幻覺主張;在使用者標記事實錯誤的挑戰性對話中,不準確主張減少 37.3%。 強化日常任務能力,包括分析照片與圖像上傳、回答 STEM 相關問題,以及判斷何時需使用網路搜尋以提供更有價值的答案。 模型回應更緊湊、切中要點,不失實質內容,同時維持溫暖個性,避免冗長、過度格式化、無謂追問、多餘表情符號等讓回應顯得雜亂的問題,使用者反饋顯示他們偏好這種更簡短的表達。 個人化與記憶功能強化 GPT-5.5 Instant 更有效運用過去對話、檔案及已連結的 Gmail 脈絡,讓回應更個人相關,並智能判斷何時需額外個人化,加速搜尋相關脈絡,減少使用者重複說明,尤其適合客製建議、計畫或延續未完工作。 引入「記憶來源」功能,適用所有 ChatGPT 模型,讓使用者檢視用於個人化回應的脈絡(如已儲存記憶或過去對話),並可刪除、更正或斷開連結;分享對話時不會顯示給他人,使用者可控制記憶內容,包括刪除不欲引用的對話、在設定中修改儲存記憶,或使用不影響記憶的臨時對話。 記憶來源設計讓個人化更易理解,但不顯示所有影響因素,例如僅呈現最相關過去對話,而非全部搜尋內容,OpenAI 承諾未來持續改善此檢視的全面性。 推出時程與可用性 GPT-5.5 Instant 從 2026 年 5 月 5 日開始推出,成為所有 ChatGPT 使用者的預設模型,並以 chat-latest(先前公告為 gpt-5.5-chat-latest)形式提供於 API;付費用戶可透過模型設定存取「GPT-5.3 Instant」三個月,之後退休。 強化個人化(來自過去對話、檔案及 Gmail)率先推出至 Plus 與 Pro 使用者網頁版,行動裝置版即將跟進,並計畫數週內擴及 Free、Go、Business 與 Enterprise。 記憶來源推出至所有 ChatGPT 消費者方案網頁版,行動裝置版即將上線;特定個人化來源可用性依地區而異。 詳見官方公告:GPT-5.5 Instant 官方頁面 。
    原文:https://easyvibecoding.app/curated/1179
    4 min
  • @googledevs:Gemma 4 透過 MTP drafters 實現高達 3 倍推理加速。 Google 推出 Gemma 4 系列的 Multi-Token Predi…
    Gemma 4 透過 MTP drafters 實現高達 3 倍推理加速。
    Google 推出 Gemma 4 系列的 Multi-Token Prediction (MTP) drafters,利用推測解碼架構,讓模型同時預測多個 token,輸出速度提升至 3 倍,品質與推理邏輯絲毫不減。Gemma 4 自推出數週內下載量超過 6000 萬次,現進一步優化效率,適用於開發者工作站、行動裝置與雲端。
    推測解碼原理
    標準大型語言模型 (LLM) 推理受記憶體頻寬限制,主要瓶頸在於處理器花費大量時間將數十億參數從 VRAM 移至運算單元,只為產生單一 token,導致運算資源閒置與高延遲,尤其在消費級硬體上。推測解碼將 token 產生與驗證分離,搭配大型目標模型(如 Gemma 4 31B)與輕量 drafter (MTP 模型),drafter 在目標模型處理單一 token 的時間內預測多個未來 token,目標模型再平行驗證所有建議 token。
    標準自迴歸生成每次僅產生一個 token,對明顯延續(如「Actions speak louder than…」後預測「words」)與複雜邏輯題目投入相同運算,效率低下。MTP 透過推測解碼緩解此問題,若目標模型同意 draft,即在單次前向傳遞接受整個序列,並額外產生一個 token,讓應用在通常單 token 生成時間內輸出完整 draft 序列加一 token。此技術源自 Google 研究者論文 Fast Inference from Transformers via Speculative Decoding。
    效能提升應用
    開發者部署時,推理速度常為首要瓶頸,無論建構程式碼助理、需快速多步規劃的自主 Agent,或完全在裝置端運行的回應式行動應用,每毫秒皆關鍵。搭配 Gemma 4 模型與對應 drafter,可實現:
    改善回應性:大幅降低延遲,適用近即時聊天、沉浸式語音應用與 Agentic 工作流程。
    加速本地開發:在個人電腦與消費級 GPU 上高速運行 26B MoE 與 31B Dense 模型,支持無縫離線程式碼與 Agentic 工作流程。
    強化裝置端效能:在邊緣裝置上最大化 E2B 與 E4B 模型效用,加速輸出生成並節省電池續航。
    零品質損失:Gemma 4 主模型保留最終驗證,確保相同頂尖推理與準確度,僅加速交付。
    架構優化細節
    MTP drafters 引入多項架構強化:draft 模型無縫利用目標模型的 activations 並共享其 KV cache,避免重算大型模型已處理的上下文。針對 E2B 與 E4B 邊緣模型,最終 logit 計算成瓶頸,故在 embedder 實作高效叢集技術加速生成。
    硬體特定優化包括:26B 混合專家 (MoE) 模型在 Apple Silicon 上批次大小 1 時路由挑戰大,但同時處理多請求(批次大小 4 至 8)可解鎖本地高達 2.2 倍加速;Nvidia A100 增加批次大小亦見類似增益。詳細視覺架構、KV cache 共享與高效 embedders 見 技術解說文件。
    取得與啟用方式
    Gemma 4 系列 MTP drafters 今日釋出,採用與 Gemma 4 相同的 Apache 2.0 開源授權。可於 Hugging Face、Kaggle 下載模型權重,閱讀文件學習與 Gemma 4 搭配 MTP 使用。支援 transformers、MLX、VLLM、SGLang、Ollama 等框架實驗更快推理,或直接在 Google AI Edge Gallery 上 Android / iOS 試用。
    此加速將推動 Gemmaverse 中更多創新建構,Gemma 4 於 2026 年 5 月 5 日公告,展現 Google 在開源模型效率上的持續推進。
    原文:https://easyvibecoding.app/curated/1169
    5 min
  • @googlegemma:Gemma 4 - Drafter 解析 為了提升 Gemma 4 模型的推論速度,官方在發布主系列模型的同時,也推出了一系列自動回歸的「drafter」…
    Gemma 4 - Drafter 解析
    為了提升 Gemma 4 模型的推論速度,官方在發布主系列模型的同時,也推出了一系列自動回歸的「drafter」模型。這些 draft 模型不再單純依賴 Gemma 4 主模型(稱為「目標 (target)」模型),而是能在目標模型處理一個 token 的時間內,預測出多個 token。這項技術也被稱為推測解碼 (speculative decoding)。
    在 drafter 預測出多個 draft token 後,目標模型現在只需要驗證這些建議的 token 即可。驗證過程是並行執行的,因此能大幅提升推論速度,並減少目標模型針對每個 token 所需執行的 forward pass 次數。由於我們的 drafter 會生成一串 token 供驗證,我們稱其為 Multi-Token Prediction (MTP) head。
    針對 Gemma 4 系列發布的 draft 模型體積輕量,並引入了多項增強功能以提升 draft token 的品質並進一步加快推論速度,例如利用目標模型的啟用 (activations) 和 KV-cache 來獲得更精準的預測。
    這些增強功能在保證品質相當的前提下,帶來了顯著的解碼加速,使得這些檢查點 (checkpoints) 非常適合低延遲和行動裝置端的應用。
    這裡有很多細節值得探討,讓我們深入了解推測解碼、MTP 以及這些 drafter!
    什麼是推測解碼 (Speculative Decoding)?
    Gemma 4 模型以自動回歸方式生成文字,一次產生一個 token。無論預測特定 token 的難度如何,每個 token 所需的運算量大致相同。因此,當 token 非常容易預測時,這可能是一個不必要的緩慢過程。
    想像一下,大型模型正在生成文字,並且已經產生了「Actions speak」。對於那些認出這句話開頭的人來說,這是一句常見的英文諺語,完整句子是「Actions speak louder than words.」。由於這句話很常見,較小的模型很有可能生成與大型模型完全相同的補全內容(即「louder than words」)。因此,讓大型模型一次一個 token 地預測「louder than words」簡直是浪費時間和運算資源。
    透過推測解碼,我們可以使用較小的 draft 模型提前預測多個 token。draft 模型會接收相同的輸入「Actions speak」,並同樣以自動回歸方式預測多個 token,假設是四個 token。由於 draft 模型的大小僅為大型模型的一小部分,這些 draft token 的生成速度會比大型模型快得多。
    什麼是 Multi-Token Prediction (MTP)?
    然而,draft token 不一定正確,否則我們直接使用較小的模型即可。相反地,這些 token 會被傳遞給目標模型進行並行驗證。由於目標模型可以在一次 forward pass 中完成此操作,因此它不必為每個 token 都執行一次 forward pass。我們所說的 drafter 就是 Multi-Token Prediction (MTP) head。目標模型的每次 forward pass 都會執行常規的 next-token prediction (NTP) 並產生中間隱藏狀態 (hidden states)。drafter (MTP Head) 會使用這些隱藏狀態並執行多次自動回歸的 forward pass 來生成多個 token。因此,目標模型的一次 forward pass 會產生多個 token,而不是一個。其中一個來自目標模型的 next-token prediction,其餘多個則來自 drafter (MTP head)。
    如果目標模型同意 draft 模型的建議,那麼所有 token 都會被接受。較小的模型在極短的時間內就完成了原本需要生成四個 token 的工作。目標模型只需要花費生成一個 token 的時間來驗證它們。此外,如果所有 draft token 都被接受,目標模型本身仍會額外生成一個 token。
    如果目標模型僅不同意部分 draft token,它會接受直到出現分歧為止,隨後目標模型會用自己的 token 取代被拒絕的 token。
    考慮到模型可以一次性驗證所有 draft token 的品質,而不必逐一驗證,這個過程實際上非常快。由於 draft 模型非常小,與目標模型相比,預測單個 token 所需的時間要少得多。這意味著目標模型可以在幾乎與生成單個 token 相同的時間內驗證多個 token!請注意,draft 模型像大多數語言模型一樣,是順序生成這些 token 的,但由於其體積小,速度快得多。
    目標模型認為足夠好的所有 token 都會被選中。第一個被拒絕的 token 以及隨後的所有 token 都不會被包含在內,並被丟棄。然而,由於目標模型已經執行了一次 forward pass,它仍然可以執行 next token prediction。因此,即使像「pens」這樣的 token 被拒絕,目標模型仍然會提供該被拒絕 token 的替代方案。
    結果就是,目標模型可能會選中任意數量的 draft token。考慮到 draft 模型以自動回歸方式執行處理並逐序列生成 token,而目標模型可以並行驗證所有 draft token,整個過程的可視化非常有趣。目標模型仍然是自動回歸的,但現在它不必逐一生成那些 draft token,而是可以一次性驗證它們。
    Gemma 4 的 MTP
    為 Gemma 4 系列發布的 draft 模型與稠密 (dense) Gemma 4 模型最為相似,但體積小得多。事實上,Gemma 4 E2B 的 draft 模型僅擁有約 76M 個參數、四個層,以及較小的輸入 embedding 大小(256,相較於主模型的 1536)。
    請注意 decoder 本身與稠密 Gemma 4 模型相似。然而,在 decoder 之前和之後發生了很多事情!
    這些 draft 模型具備多項增強功能,專門用於提高效率並進一步加快推論速度。同樣地,也有一些有趣的技術被用來提升 draft token 的品質並降低 drafter 的延遲。畢竟,我們希望 draft token 盡可能準確,且生成速度盡可能快。
    這些變更可總結如下:
    目標啟用 (Target Activations):draft 模型使用目標模型最後一層的啟用,將其與 token embedding 連接起來,並向下投影 (down-project) 到 drafter 模型的維度。
    KV Cache 共享:draft 模型會 cross-attend 到目標模型的 KV cache,而不是建立自己的 cache。
    高效 Embedder:LM Head 執行一種稀疏解碼技術,用以識別最有可能預測的 token 叢集(僅限 E2B 和 E4B)。
    讓我們更詳細地探討其中每一項!
    目標啟用 (Target Activations)
    為了提升 draft 模型生成 token 的品質,目標模型(例如 E2B)的最終啟用會被輸入到 draft 模型中。這些啟用會與 draft 模型的 token embedding 連接,假設是 E2B 模型,兩者皆有 1,536 個值。連接後的 embedding 非常大,為了效率考量,它們被投影縮減至僅 256 個值。這本質上是對大型 draft 模型處理後的狀態與 draft 模型新初始化的 embedding 進行壓縮。為什麼要浪費之前的啟用呢?
    這些啟用僅在處理的第一輪提供給 draft 模型。請記住,在 draft 開始初始輪次後,它可能會透過將 token 回傳給自身進行自動回歸來產生多個 token。因此,在第 2 輪中,由於產生了新的 token,會使用 draft 模型在第 1 輪中生成的啟用。由於小型 draft 模型的中間啟用僅有 256 個值,它們會被向上投影以匹配其輸入 embedding 表的維度(即 1,536 個值)。請注意,為了進一步提高效率,輸入 embedding 表是在目標模型和 draft 模型之間共享的。
    然後,在第 3 輪中,draft 模型使用第 2 輪生成的啟用,以此類推!
    KV Cache 共享
    KV cache 可能會佔用相當大的空間,因為它包含了序列中每個 token 在每一層的 key 和 value 表示。儘管 Gemma 4 已經採取了許多措施來減少這種佔用(例如在全域注意力層中設定 K=V),但 draft 模型更進一步。
    draft 模型不需要處理完整的 prompt 並建立自己的 KV cache,而是 cross-attend 到目標模型已經計算好的 KV cache。對於其局部注意力層,draft 模型直接重複使用目標模型最後計算出的局部 KV cache。由於任何 Gemma 4 模型的最後一層總是全域的,該全域 KV cache 會被重複用於 draft 模型的全域注意力層。
    如前所述,既然目標模型已經完成了大部分繁重的工作,浪費掉這…
    10 min
  • @dotey:Boris Cherny:Claude Code 之後,寫程式正在變成「管理 Agent」 Boris Cherny 是 Anthropic 內部 Cla…
    Boris Cherny:Claude Code 之後,寫程式正在變成「管理 Agent」
    Boris Cherny 是 Anthropic 內部 Claude Code 的創建者,從一個三人小團隊的孵化專案做起,把「在 IDE 裡按 Tab 自動補全一行程式碼」這件事徹底升級成「讓 Agent 把整個專案寫完」。Claude Code 在 2026 年初已經超過十億美元年化營收,被 Anthropic 自己稱為「史上從研究預覽到十億美元產品最快的一次」。
    這次訪談來自 Sequoia 2026 年的 AI Ascent 大會,主持人是紅杉合夥人 Lauren Reeder。
    原始影片:https://www.youtube.com/watch?v=SlGRN8jh2RI
    要點速覽
    Boris 整個 2026 年沒寫過一行程式碼,每天合併幾十個 PR,單日紀錄是 150 個,但他承認這是「為了試試模型能跑多遠」。
    Claude Code 早期半年沒有 PMF,做出來時 Boris 自己只用它寫 10% 的程式碼,是 Opus 4 在 2025 年 5 月發布之後才開始指數成長,每一代新模型都讓曲線再往上拐一下。
    Boris 現在大部分工作從手機完成,Claude App 裡常駐 5 到 10 個 session、幾百個 Agent,夜裡有幾千個在跑深度任務,核心調度模式叫 Loop,做法是讓 Claude 透過 cron 起一個定時循環。
    Anthropic 內部已經沒有手寫程式碼:所有 SQL、所有產品程式碼都由模型生成,員工的 Claude 之間透過 Slack 互相溝通,把對方的不確定問題直接 ping 過去問。
    關於「SaaS 的終結」,Boris 借用 Hamilton Helmer 的「七種護城河」框架:切換成本和流程效力這兩種會被 AI 抹平,因為模型可以幫你遷移、可以自己迭代流程;網路效應、規模經濟、獨占資源這些不變。
    他給出的最重要歷史類比是印刷術,認為軟體構建會像識字一樣普及,最合適寫會計軟體的是會計師而不是工程師,因為程式開發是簡單部分,懂業務才是難的部分。
    Anthropic 的真正領先不在技術,在組織流程:模型大家都能用,但內部組織怎麼改造、Claude 怎麼互相溝通、整個公司怎麼把所有手寫程式碼替換掉,這才是產品差距。
    【1】Claude Code 是怎麼從一個三人孵化專案做出來的
    Boris 說他是「誤打誤撞」做出 Claude Code 的。2024 年底他加入了 Anthropic 內部一個叫 Anthropic Labs 的孵化器,團隊只有幾個人,一開始的產物就是 Claude Code、MCP 和 Claude Desktop App 這三件東西。這個團隊一度被解散,2026 年初又重組,由 Mike Krieger 牽頭。
    註: Mike Krieger 是 Instagram 共同創辦人兼前 CTO,2024 年 5 月加入 Anthropic 擔任首席產品官,2026 年 1 月起進入 Labs 團隊,和 Ben Mann 一起負責實驗性產品孵化。
    Boris 描述他當時為什麼想做程式開發這件事,用的是 Anthropic 內部很常用的一個詞:「product overhang」。這個詞可以翻譯成「產品懸置 (Product Overhang,指模型能力已經具備但尚未被產品化)」,意思是模型已經能做一堆事情,但還沒有任何產品把這些能力展現出來。
    我們當時看程式開發領域,2024 年底最先進的狀態就是按 Tab 鍵。打開 IDE,按一下 Tab,模型給你補一行。這是 Sonnet 3.5 第一次讓人能做的事情。但當時的感覺是,我們其實可以走得更遠,模型幾乎已經準備好下一步了。我們不需要再做 Tab 補全,可以直接讓 Agent 把整段程式碼都寫了。
    但做出來之後,前六個月幾乎沒什麼人用。Boris 說最初版本「基本不能用」,連他自己也只用它寫 10% 的程式碼。即便對外發布,也沒有指數級成長。真正的爆發點是 2025 年 5 月 Opus 4 發布。從那之後,每一代新模型都讓曲線再往上拐一次,從 Opus 4 到 4.5、4.6,再到現在的 4.7。
    他承認整個過程其實是一場違背常規 PMF (產品市場匹配) 邏輯的賭注:
    我們其實是在做一個初期完全不具備 PMF 的東西。我們很清楚它前六個月不會有 PMF,因為我們是在為下一代模型做開發。我們從始至終就是這個思路。
    註: PMF 是 Product-Market Fit,產品市場匹配。Anthropic 整個產品邏輯就是賭「模型能力會漲到一個點」,提前把那個點對應的產品做出來,這和典型 SaaS 的「先驗證需求再做產品」是反著的。
    【2】「程式開發已經被解決」,但這是 Boris 個人的版本
    Lauren 問他公開說過的「程式開發已經被解決」是什麼意思。Boris 在台上做了一次現場調查,讓全場觀眾舉手示意:「誰 100% 還在親自寫程式碼」、「誰 100% 已經完全不寫了」、「誰介於兩者之間」。最後的現場分布大致是「50% 解決」。但對 Boris 自己,比例是 100%。
    他給的解釋是 Claude Code 的程式庫(已經因為洩漏事件被外界看過)就是 TypeScript 和 React,沒什麼秘密。選 TypeScript 和 React 的原因是這兩個東西在模型訓練資料裡非常常見,屬於「on-distribution (分布內資料)」。當時模型還沒那麼聰明,框架選擇關係到模型能寫多少。現在模型已經強到可以拿不熟悉的語言現學現用,但 2024 年底必須挑模型最熟的堆疊。
    正因為選了模型最熟的堆疊,團隊很早就過了一個臨界點:模型開始寫 100% 的程式碼。Boris 說這件事在去年 10 月、11 月就發生了。
    現在我每天大概合併幾十個 PR。上週有一天我合了 150 個,那是個紀錄,我就是想看看能不能把它推到極限。
    但他也明確承認,這條結論並不普世:還有很大很複雜的程式庫、還有模型不擅長的小眾語言。他給出的一句答案有點「等就完事了」的味道。
    通常的答案就是等下一代模型。
    註: Boris 這段說法的樣本明顯有偏。他用的是 TypeScript+React 這種主流堆疊,自己的程式庫已經成熟,還在 Anthropic 內部用著內部專屬模型 Mythos 來 dogfood (吃自己的狗糧,指內部試用自己的產品)。「程式開發已被解決」對他成立,但替換到一個三十年的 C++ 老系統、一個 SAP ABAP 專案,或者一個遊戲引擎團隊,結論會非常不同。
    【3】手機裡跑著幾百個 Agent:Boris 的工作流
    Boris 說他六個月前在 Twitter 上分享過一次個人工作流,發的時候沒覺得有什麼稀奇,結果出乎意料地火。從那以後他的方式又變了:現在大多數工作從手機完成。
    具體方式是 Claude App 左側有個 code 標籤,他常駐 5 到 10 個 session。每個 session 裡又開著一堆 Agent,加起來通常有幾百個在跑。晚上還會再起幾千個做更深的任務。
    他說目前最常用的不是子 Agent,而是一種叫 Loop 的簡單模式:讓 Claude 用 cron 起一個定時任務,可以每分鐘、每五分鐘、或者每天跑一次。
    我大概有幾十個 Loop 一直在跑。一個負責盯著我的 PR,自動修 CI、自動 rebase;一個負責讓 CI 整體保持健康,比如某個測試 flaky (時好時壞不穩定) 了它就去修;還有一個每 30 分鐘從 Twitter 上把別人對 Claude Code 的回饋拉一遍、聚類、整理給我。
    他還提到 Anthropic 剛發的 Routines,這個產品其實是把同樣的 Loop 模式從本地搬到伺服器上,關掉筆電它也照常跑。
    他對這件事的判斷是:「Loop 是未來。」
    註: CI 是 Continuous Integration,持續整合。Boris 描述的這套工作流核心其實很簡單:更早地放棄「親自下指令」。他做的事情是讓一群 Claude 不停地幹活,而他自己只在 Slack 上接收報告。從產品視角看,Routines 把 Loop 從客戶端模式變成 Anthropic 自己託管的服務,調度本身要開始消耗他們的伺服器資源,定價模型遲早要變。
    【4】通才崛起:團隊裡每一個角色都在寫程式碼
    Boris 說他的判斷是「通才會比今天多得多」。
    他先把「通才」分了兩種:第一種是工程通才,比如一個人同時寫 iOS、Web 和伺服器端,今天大家說的 generalist 多半是這種。第二種是更值得關注的跨學科通才,一個產品工程師同時也很懂設計,或者既能做產品也能做資料科學。
    他說這件事在 Claude Code 團隊內部已經在發生:
    我們團隊的工程經理、產品經理、設計師、資料科學家、財務、使用者研究員,每一個人都在寫程式碼。每個人都還在某件事上是專家,但也都在寫程式碼了。
    他沒有展開「為什麼這是好事」,但暗含的邏輯是:當寫程式碼的邊際成本接近於零,那些原本被排除在工程之外的角色(財務、設計、研究)就有了直接出工程產物的能力,分工的邊界自然會模糊。
    註: 這…
    5 min
  • @claudeai:Claude 推出金融服務 Agent 模板,加速從信評到結帳的自動化流程。 Claude 針對金融服務推出即用型 Agent 模板,涵蓋製作推介材料、估…
    Claude 推出金融服務 Agent 模板,加速從信評到結帳的自動化流程。
    Claude 針對金融服務推出即用型 Agent 模板,涵蓋製作推介材料、估值審核、月末結帳等任務,可作為 Cowork 和 Claude Code 的 plugin 安裝,或透過 cookbook 在生產環境運行為 Managed Agents。這些模板內建必要連接器、技能與子 Agent,適用於銀行、保險、資產管理和金融科技領域,幫助機構提升市場服務與風險管理效率。
    客戶見證與效率提升
    多位金融領袖分享 Claude 在實際部署中的成效,強調其在時間節省、安全性和生產力上的優勢:
    Bradley Axen(Principal Data and Machine Learning Engineer)表示:「75% 的工程師每週節省 8 到 10+ 小時,使用開源 AI Agent(代號 goose)生成 SQL 查詢,加速開發速度並減少瑣碎工作。在我們特別測量的任務中,Claude 系列表現最佳。」
    Varsha Mahadevan(Senior Engineering Manager,Coinbase)讚揚 Anthropic 的多雲解決方案在規模、效能與安全性上超越基準,符合營運需求與客戶期望,將助 Coinbase 為不同客戶群建構解決方案,帶動十億用戶進入加密經濟。
    Ron Lefferts(LSEG 資料與分析共同負責人)指出,Claude 等企業級安全 AI 擴大 LSEG 與客戶的深度合作機會,無論客戶工作流程在何處。
    Atte Lahtiranta(Core Engineering 負責人)提到,Claude for Excel 讓投資專業人士直接在資料與模型中運作,用於建置更新涵蓋模型、分離訊號與雜訊、壓力測試,效率大幅躍升。
    Stephanie Ferris(FIS CEO 暨總裁)強調,FIS 選擇 Anthropic 建構 AI Agent,將反洗錢(AML)調查從數天壓縮至數分鐘,後續將推出信貸決策、詐欺防範與存款留存 Agent,客戶無需自行建置基礎設施。
    Leigh-Ann Russell(CIO 暨全球工程負責人)表示:「透過 Eliza 和 Claude,我們為流程注入全新數位員工,從頭到尾處理個案。」
    Matt Anderson(Carlyle 首席數位長)將 Claude 視為 AI 技術堆疊核心,因其強大程式撰寫能力、Agentic 推理,以及模型與功能的持續進化,涵蓋投資、營運至投資組合管理。
    Patrick Suehnholz(Managing Director 暨銀行營運長)分享,Claude 壓縮會議前準備工作,將時間轉化為idea 生成,帶來更快工作流程、更豐富客戶洞察,以及未預期的全新應用。
    Mojgan Lefebvre(執行副總裁暨科技與營運長)觀察,自引入個人化 Claude 與 Claude Code 助理後,工程卓越度顯著提升,生產力改善,支援風險專業優勢、客戶體驗優化與效率提升等戰略優先事項。
    Will England(Walleye Capital CEO)透露,該 400 人對沖基金 100% 員工使用 Claude Code,體現 AI-first 心態,每位員工無論技術角色與否,都需不斷反思「AI 如何助我完成此任務?」。
    Lloyd Hilton(Hg Catalyst 負責人)稱,Claude for Excel(基於 Claude Opus 4.6)在盡職調查與財務建模上大幅躍進,從非結構化資料以最小提示智能處理,自動化複雜分析,實質提升投資專業人士能力並節省時間。
    Gary Kotovets(Dun & Bradstreet 首席資料與分析長)強調,企業 AI 需驗證行動對象,D&B 的 Commercial Graph 與 D-U-N-S® Number 為全球商業身分標準,整合至 Claude 確保 Agent 以可驗證資料運作,提供金融工作流程所需的確定性與可審計結果。
    Adam Wheat(Morningstar 暨 PitchBook 首席技術長暨資料與研究解決方案負責人)指出,結合數十年獨立分析師智慧,讓 Claude 提供更快且更好的答案,建構公私市場智慧層,驅動更明智決策。
    Kate Stepp(FactSet 首席 AI 長)表示,客戶希望直接在 FactSet 資料集運行 AI 工作流程,與 Anthropic 合作將 Claude 引入託管程式環境,讓機構投資者、資產管理、對沖基金與銀行在既有工具中推理市場資料、研究與分析;內部工程團隊全面採用 Claude Code,加速功能交付。
    David Griffiths(Citi CTO)選擇 Claude 因其進階規劃、Agentic 程式撰寫、安全可靠性,以及與工作負載相容。
    Bobby Grubert(AI 與數位創新負責人)視與 Anthropic 合作超越單純部署 AI,而是理解金融服務複雜性,Claude 無縫整合多資料來源、自動化耗時工作流程,合作數位化資本市場平台,讓團隊專注策略思考與客戶關係成長。
    Cristina Pieretti(Moody’s 數位內容與創新負責人)透過語意層豐富資料,以 Model Context Protocol (MCP) 伺服器與 Smart APIs 交付,讓 Moody’s 龐大資料庫(評級、研究、公私公司資訊)直接供客戶創新使用。
    David Horn(AI 負責人)重視 Anthropic 將強大模型定位於企業需求,客戶首重資料隱私,為討論能力前之基礎。
    新 Agent 模板與部署方式
    Claude 推出全新預建 Agent 模板、擴充連接器與 Microsoft 附加元件,加速啟用:
    可部署為 Claude Cowork 或 Claude Code 的 plugin,或用 cookbook 作為 Managed Agents 運行於生產環境。
    每個模板封裝技能、連接器與子 Agent,涵蓋信貸審核、KYC 篩選至對帳等任務,即用或依公司標準調整。
    投資銀行推介材料 Agent
    專為投資銀行設計,支援直接在 PowerPoint 與 Excel 建構推介書、比較表(comps tables)與公司資訊備忘錄(CIMs):
    Claude 負責組裝分析與格式化,使用者掌控敘事與估值判斷。
    適用於投資銀行核心工作,提供從訊號到決策的競爭優勢。
    這些解決方案不僅驗證於領先機構如 Coinbase、LSEG、FIS、Carlyle、Citi、Moody’s 等,透過 Claude 的 Agentic 能力與安全設計,轉化金融工作為高效、可靠的 AI 驅動流程,客戶回饋一致肯定其在壓縮時間、提升洞察與風險控管上的實效,預示金融服務 AI 應用的全面轉型。更多詳情見 Claude 金融服務解決方案。
    原文:https://easyvibecoding.app/curated/1167
    7 min
  • @alex_whedon:SubQ 推出首款全次二次方稀疏注意力(SSA)模型,1200萬token上下文,宣稱52倍速FlashAttention、成本僅Opus 5%。 Sub…
    SubQ 推出首款全次二次方稀疏注意力(SSA)模型,1200萬token上下文,宣稱52倍速FlashAttention、成本僅Opus 5%。
    SubQ 是首個基於完全次二次方稀疏注意力(SSA)架構的前沿模型,強調長上下文處理效率,適用企業AI工作負載,但引發效能比較與獨立驗證質疑。
    SubQ 核心主張
    SubQ 建構於 SSA (Subquadratic Sparse Attention),這是線性擴展注意力機制,專為長上下文檢索、推理與軟體工程設計。作者 Alexander Whedon 宣稱,這是 LLM 智慧重大突破,因為 Transformer 基 LLM 浪費運算於每個詞彙間所有關係(標準注意力),僅少數真正重要;SubQ 只聚焦相關部分,據稱運算量近 1000 倍降低,提供 LLM 新擴展方式。模型具 1200 萬 token 上下文視窗,在 100 萬 token 時比 FlashAttention 快 52 倍,成本不到 Opus 的 5%。
    長上下文必要性與痛點
    企業 AI 問題多為長上下文挑戰,如程式庫中函式定義、呼叫與測試分散;合約義務依賴多頁定義與例外;研究需整合多篇論文證據;長程程式任務涉及規劃、編輯與回歸。短上下文系統強迫碎片推理,RAG 遺失位置與參照結構,Agentic 工作流累積錯誤並需人工策劃,違反「苦課」(bitter lesson)。密集注意力每 token 比對全序列,成本隨長度平方成長,雙倍上下文使成本四倍;FlashAttention 優化執行但不改擴展法則,大多注意力權重近零,屬浪費性二次方。
    SSA 運作原理
    SSA 採用內容依賴選擇,每查詢 (query) 選取值得關注序列位置,僅精確計算那些注意力,跳過無訊號互動。具三特性:
    運算與記憶體線性擴展,成本隨選取位置成長而非全序列。
    內容依賴路由,依意義決定關注位置,非位置預設。
    任意位置稀疏檢索,保留遠距特定資訊恢復能力。
    實測於 B200s 上,128K token 比 FlashAttention-2 輸入處理快 7.2 倍;256K 達 13.2 倍;512K 達 23.0 倍;1M token 達 52.2 倍預填充加速。
    先前架構妥協
    過往效率架構皆犧牲檢索:
    固定模式稀疏注意力(如滑動視窗、步進、稀疏遮罩)預設路由,遺漏內容外資訊。
    狀態空間模型(如 Mamba)、遞迴替代(如 RWKV、Hyena、RetNet)壓縮狀態,遺失遠距精確事實。
    混合架構保留密集層,二次方成本仍主導。
    DeepSeek Sparse Attention (DSA) 移二次方至 lightning indexer,仍 O(n²) 擴展。
    SSA 解決開放問題:高效、內容依賴、任意位置長上下文檢索。與 DSA 差異在 SSA 選擇器更高效,模型卡將公布硬數據。
    訓練流程
    三階段訓練確保長上下文可靠:
    預訓練建立語言建模與長上下文表示。
    監督微調形塑指令遵循、結構推理與程式生成。
    強化學習針對長上下文檢索與積極使用上下文的程式行為,防本地推理偏誤。
    訓練資料強調高密度跨參照長形式來源。基礎設施支援 1M token 穩定訓練,線性記憶體擴展,使用分散序列並行分片超單裝置序列,加速反覆實驗。
    效能基準結果
    運算速度:1M token 預填充 52.2 倍加速,變互動工具而非批次作業。
    RULER:測試多跳檢索、聚合、變數追蹤、選擇過濾。
    MRCR v2:最嚴苛,多證據整合;SubQ 達 65.9%,Opus 4.6 則為 78.3%,顯示功能性上下文而非名義視窗的重要性。
    SWE-Bench Verified:針對 End to End (端到端) GitHub 議題程式工程設計,旨在測試程式庫理解、錯誤定位與修補能力。
    JasOberoiTweets 指出 MRCR v2 落後 Opus,視為成本/效率勝而非品質躍升;52x 比較 FlashAttention(密集優化,非競爭架構)設低門檻,Whedon 回應意在示範非僅理論加速。
    早期存取與資源
    SubQ 與程式 Agent「SubQ Code」開放早期存取,連結:立即取得存取 。技術部落格詳解 SSA:SSA 如何讓長上下文實用 (2026 年 5 月 5 日)。模型卡下週發布,歡迎特定細節請求;Whedon 答疑。基準使用 B200s 與 FlashAttention-2,因 FA4 未出,正整合 FA4。
    社群質疑與回應
    JasOberoiTweets 問模型大小與第三方驗證,Whedon 未直接答,僅辯 FlashAttention 比較為高門檻示範。elie 比擬 DSA,問取代 O(L^2) lightning indexer 與記憶體移動,Whedon 確認選擇器更高效,將公布數據;提及激進記憶體研究需從零訓練。PratyushRT 問為何不用更新實作,Whedon 稱基準時 FA4 未出。針對社群對其技術本質的討論,目前尚無公開證據證實其架構與既有開源權重或特定稀疏注意力模型的關聯,相關技術細節仍待模型卡發布後進一步釐清。JasOberoiTweets 的方法論質疑(稀疏本贏密集加速,不反映 vs. 其他稀疏優勢)僅簡單回應,凸顯宣傳 vs. 嚴謹差距。
    產業啟示與隱憂
    SSA 降低推理與學習長上下文成本,讓百萬 token 常態化,反覆開發加速。但宣傳強調「首款」與「突破」,卻未充分對比 DSA/V4 等,MRCR v2 落後 Opus 顯示非全面品質躍升。歷史顯示純次二次方常止步前沿規模,SubQ 需模型卡與第三方驗證證明跨牆。儘管效率勝猶佳,讀者應審視「功能性上下文」主張,防名義視窗誤導;這反映企業 AI 推長上下文解決方案的熱切,伴隨架構創新與驗證張力。
    提醒
    在模型卡與第三方驗證出來之前,這篇可以當作 SubQ 的技術定位聲明來讀,但別當作架構優劣的定論。
    原文:https://easyvibecoding.app/curated/1180
    8 min
  • @OpenAIDevs:OpenAI 重新設計 WebRTC 堆疊實現低延遲語音 AI。 OpenAI 即時 AI 互動團隊透過「分離式 relay 加 transceiver」…
    OpenAI 重新設計 WebRTC 堆疊實現低延遲語音 AI。
    OpenAI 即時 AI 互動團隊透過「分離式 relay 加 transceiver」架構,解決大規模部署 WebRTC 的埠耗盡、狀態黏著與全球路由延遲問題,服務超過 9 億週活躍使用者,讓語音對話跟上說話節奏,避免尷尬停頓或截斷插話。
    WebRTC 在 AI 產品的核心價值
    WebRTC 作為開放標準,標準化 ICE(互動式連線建立)、DTLS(資料包傳輸層安全協定)、SRTP(安全即時傳輸協定)、codec 協商、RTCP(即時傳輸控制協定)與客戶端功能如回音消除與抖動緩衝,讓 OpenAI 無需從頭處理 NAT 穿透、加密與網路適應,直接聚焦連接媒體與模型。
    對語音 Agent 而言,音訊連續流到達最關鍵,使用者說話中即可轉錄、推理、呼叫工具或產生語音,區別於「按下說話」式系統。
    團隊建構於 Pion 開源實作與 Justin Uberti(WebRTC 原始架構師)、Sean DuBois(Pion 創建者)基礎,如今兩人皆為 OpenAI 同事,強化 WebRTC 與即時 AI 整合。
    媒體架構選擇:transceiver 優於 SFU
    SFU(選擇性轉發單元)適合多方通話如群組或會議,將音訊 codec、RTCP、資料通道集中處理,但 OpenAI 多為 1:1 延遲敏感 session(如使用者對模型或應用對 Agent),故選 transceiver 模型。
    transceiver 在邊緣終結 WebRTC 連線,擁有 ICE、DTLS 握手、SRTP 金鑰與 session 生命週期,將媒體轉為簡單內部協定供推論、轉錄、生成與調度。
    後端服務無需扮演 WebRTC peer,更易擴展;狀態集中簡化所有權,避免分散複雜。
    Kubernetes 部署痛點:埠耗盡與狀態黏著
    首版 transceiver 以 Go 基於 Pion 實作,處理信令(SDP 協商、codec 選擇、ICE 憑證)與媒體(終結下游 WebRTC、上游後端連線),驅動 ChatGPT 語音、Realtime API 與研究專案。
    傳統「每個 session 一個埠」模型不適 Kubernetes:
    高並發需數萬 UDP 埠,雲端負載平衡器、健康檢查、防火牆與 rollout 複雜,擴大攻擊面,阻礙 pod 新增/移除/調度彈性。
    「每台伺服器一個 UDP 埠」解埠問題,但 ICE/DTLS 有狀態,封包須黏著原行程,否則連線檢查、握手、解密或 ICE restart 失敗,媒體中斷。
    核心架構:relay + transceiver 分離
    解決方案分離「封包路由」與「協定終結」:信令直達 transceiver 設定 session,媒體先經 relay(輕量 UDP 轉發層,小固定公開介面),relay 只讀 metadata 轉發,不解密、不執行 ICE、不協商 codec,客戶端視為標準 WebRTC。
    首封包路由基於 ICE ufrag:伺服器端產生含路由 metadata 的 ufrag(username fragment),SDP answer 回傳共享 relay VIP(如 203.0.113.10:3478),首 STUN binding request 經 ufrag 解碼轉發至 transceiver(共享單 UDP socket,非每個 session 一 socket)。
    後續封包:經快取(Redis 保存 <客戶端 IP:Port, transceiver IP:Port>)透明轉發,狀態極簡(記憶體 session、計數器、逾時清理),重啟僅短暫丟失,下 STUN 重建。
    全球部署:Global Relay 與地理導向
    Global Relay 為地理分散入口,縮短首跳延遲、減抖動與封包遺失。
    Cloudflare geo/proximity steering 導信令至鄰近 transceiver 叢集,決定 session 地點與 Global Relay 位址;ufrag 導媒體至指定叢集與 transceiver。
    結合讓信令與媒體走鄰近路徑,縮短首次 ICE 檢查往返時間,使用者更快開始說話。
    Relay 實作與效能優化
    以 Go 撰寫精簡 userspace 實作,無 kernel-bypass,避免維運複雜:
    不終結協定,只解析 STUN/ufrag;後續 DTLS/RTP/RTCP 用快取不透明轉發。
    暫態記憶體狀態,水平擴展,多實例後負載平衡,重啟快速恢復。
    效率措施:
    SO_REUSEPORT:多 worker 綁定同一 UDP 埠,核心分配封包避瓶頸。
    runtime.LockOSThread:goroutine 釘 OS 執行緒,同 flow 封包留同一 CPU 核心,優快取局部性、減 context switching。
    預配置緩衝、最少記憶體複製減解析開銷、避垃圾回收。
    小規模 relay 已承載全球流量,證明無需 kernel bypass。
    成果與關鍵心得
    架構讓 WebRTC 在 Kubernetes 運行,無需暴露數千 UDP 埠,提升保全、負載平衡與擴展;小攻擊面、更好基礎設施支援,確認無 SFU 適合 1:1 延遲敏感負載,推論服務更易擴展。
    心得強調複雜度置薄路由層,而非後端或客戶端自訂:
    邊緣保留 WebRTC 語義,保瀏覽器/行動互通。
    硬狀態集中 transceiver,relay 只轉發。
    用 ICE ufrag 現有鉤子實現確定性首封包路由,無熱路徑查詢。
    先優一般情況,再 kernel bypass;Go + SO_REUSEPORT 等足夠。
    即時語音 AI 需基礎設施讓延遲「不可察覺」,OpenAI 改變 WebRTC 部署形態,但維持客戶端期望。
    原文:https://easyvibecoding.app/curated/1140
    7 min
  • @OpenAINewsroom:Stargate 不僅驅動 ChatGPT,還帶動德州 Abilene 的銷售稅收入成長 37%。OpenAI 透過此專案展示人工智慧基礎設施帶來的社區效益。 …
    Stargate 不僅驅動 ChatGPT,還帶動德州 Abilene 的銷售稅收入成長 37%。OpenAI 透過此專案展示人工智慧基礎設施帶來的社區效益。
    OpenAI 的「Stargate」人工智慧基礎設施專案不僅支援 ChatGPT 等工具的訓練與運作,還為美國鎖定到 2029 年 10GW 運算容量,目前已確認逾 8GW;自 2023 年 0.2GW、2024 年 0.6GW 成長至 2025 年約 1.9GW,年增約 3 倍。此專案強調運算對美國人工智慧競爭力的關鍵,並透過 Abilene 案例駁斥水資源與社區負擔疑慮,展現正面地方影響。
    網路防禦民主化計畫
    OpenAI 發布 5 點行動計畫,應對人工智慧加速的網路威脅環境,包括關鍵基礎設施中斷、大規模勒索軟體、軟體供應鏈攻擊及國家支持的複雜活動。計畫主張不應限制防禦工具僅供少數夥伴使用,因攻擊者不會等待,現有模型已適用多數網路工作流程,犯罪集團將採用任何可用工具。
    民主化網路防禦:加速信任防禦者取得工具,超越敵手適應速度。
    政府產業協調:深化與聯邦、州政府及商業實體合作。
    強化前沿網路能力安全:保護先進工具。
    部署中維持可見度與控制:確保監控。
    使用者自我保護:提供工具讓使用者防衛自身。
    Sasha Baker(OpenAI 國家安全政策主管)強調,透過民主機構擴大技術存取,將建構「智慧時代」韌性,保護社區、關鍵系統及國家安全。
    運算容量與國家競爭力
    運算驅動人工智慧全層面:前沿研究、模型效能、產品部署及營收。OpenAI 於 2025 年 1 月宣布 Stargate,目標 2029 年前在美國確保 10GW,已鎖定逾 8GW。下週「OpenAI Forum」將聚焦此議題,邀請 OpenAI 基礎設施專家 Nick Edwards 及 NVIDIA 的 Dion Harris,討論投資運算如何維持美國全球領導地位,並與地方社區責任建構未來。活動提供華盛頓現場觀眾及直播,Forum 成員可提問。
    水資源使用事實澄清
    針對資料中心高耗水疑慮,OpenAI 以 Abilene「Stargate」園區為例駁斥迷思。園區採用封閉迴路水系統,僅需一次性初始注水,每棟 50 萬平方英尺建築約等同兩座奧運標準游泳池。全園區 8 棟建築運作後,每年僅需補充相當於 4 戶家庭年用水量。
    運作原理為:大型金屬管從外部水箱引冷水進入建築,上方橡膠軟管網分配至各機架;黑管輸送冷水,紅管回收達 82 度熱水後重複循環,無蒸發損失。此設計確保水資源持續重用,非持續高量壓力。
    Abilene 社區轉型故事
    資料中心常成人工智慧公眾意見焦點,社區憂慮電費、水資源、土地及交通問題;2026 年選舉估計花費 630 萬美元於反資料中心廣告,民調顯示反對率達高峰。但德州西部 Abilene 視 Stargate 為機會,非入侵。
    園區訓練 ChatGPT 等工具,每週服務全球近 10 億使用者。Crusoe(人工智慧基礎設施建商)專案主任 Taylor Slack 表示,這是「主要工業革命的骨幹」,監督 8,500 名 24 小時輪班勞工。市長 Hurt 指出,專案為 Abilene 提供成長路徑,其他西德州城鎮則掙扎。自 Stargate 抵達,城市銷售稅收入漲 37%,飯店稅收上升;全園區完工後,產物稅預計等於 Abilene 目前總物稅基數的三分之一。
    地方企業如 Buffalo Gap 的 Perini Ranch Steakhouse 受惠:Tom 與 Lisa Perini 觀察到專案工人及訪客帶動平日客流。更廣層面,他們認為年輕人可上大學後返鄉就業。「許多小鎮失去醫院、醫療及商業,很艱難。你必須擁抱變革並管理它」,Lisa Perini 說。此案例彰顯人工智慧基礎設施如何重塑地方經濟與機會觀。
    Stargate 專案不僅驗證運算擴張的可行性,還透過 Abilene 實證駁斥負面刻板印象,強化 OpenAI 對人工智慧民主化與社區共榮的立場。未來運算投資需持續平衡全球競爭與地方福祉,方能維持美國領導優勢。
    原文:https://easyvibecoding.app/curated/1149
    6 min
  • @googledevs:Google 與 UCSD 合作透過 DFlash 實現 TPU 上 LLM 推論 3.13 倍加速。 Google Cloud 與 UCSD 研究團隊攜…
    Google 與 UCSD 合作透過 DFlash 實現 TPU 上 LLM 推論 3.13 倍加速。
    Google Cloud 與 UCSD 研究團隊攜手,將「DFlash」(擴散式推測解碼)整合至 vLLM TPU 推論框架,打破傳統自迴歸推測解碼的序列瓶頸,平均達成 3.13 倍 token 每秒加速,峰值近 6 倍,特別在數學任務表現卓越。
    打破自迴歸瓶頸
    傳統 LLM 推論採用自迴歸方式,每生成一個 token 需完整前向傳遞,嚴重低度利用 TPU 等加速器的平行運算能力,尤其在低批次大小時。推測解碼透過小型「草稿」模型預測多個 token,再由「目標」模型平行驗證,若準確則以單步成本接受多 token,大幅降低延遲。但現有方法多依賴自迴歸草稿機制,需 K 個序列前向傳遞生成 K 個候選 token,此序列依賴形成執行瓶頸,限制加速潛力。DFlash 轉向區塊擴散(block diffusion),以 O(1) 單次前向傳遞生成整個區塊,消除序列猜測的時間消耗。
    DFlash 在 TPU 上的擴散式草稿
    DFlash 基於擴散 LLM(dLLM),利用目標模型提取的隱藏特徵,在單次前向傳遞生成高品質區塊草稿 token,複雜度從 O(K) 降至 O(1),完美契合 TPU 的高頻寬矩陣乘法單元(MXUs)。UCSD 團隊在 Google Cloud 工程師指導下,將 DFlash 整合至 vLLM TPU 推論框架,優化記憶體頻寬與矩陣乘法飽和度,將草稿階段開銷最小化,最大化目標模型平行驗證吞吐量。
    移植至 TPU/JAX 的三大挑戰
    將 DFlash 從 GPU/PyTorch 移植至 TPU/JAX 生態需重新工程化,以匹配 TPU 架構優勢:
    雙快取注意力解決方案:DFlash 的非因果區塊擴散與標準分頁注意力不相容,團隊設計雙快取架構——目標模型續用分頁 KV 快取與 Pallas 核心;草稿模型則用靜態 JAX 陣列,維持原設計並確保 TPU 原生效能。
    智慧上下文管理:DFlash 草稿模型依賴目標模型中間隱藏狀態的上下文緩衝區,團隊採用 2 的冪次填充策略,優化 CPU-TPU 傳輸區塊,精準追蹤已消耗上下文,避免重複處理或資料遺失。
    元資料同步:DFlash 具狀態性,依賴跨迭代的上下文緩衝、KV 快取位置與 RoPE 偏移;TPU vLLM 管道的元資料導致序列長度膨脹,團隊重新設計提案者嚴格同步真實接受 token 計數,恢復完美對齊,解鎖 TPU 上的精準區塊擴散。
    基準測試:DFlash 對 EAGLE-3 的壓倒性勝利
    在 TPU v5p 上,使用相同 Llama-3.1-8B 目標模型與官方檢查點(無微調),DFlash 端到端服務加速 2.29 倍,遠超 EAGLE-3 的 1.30 倍。EAGLE-3 自迴歸預測 2 token/步,需序列前向與 Python 協調開銷;DFlash 單步生成 10 個高品質 token,消除瓶頸。在 mbpp 程式碼任務,每 token 生成時間從 9.81ms 壓至 3.48ms,提升 2.83 倍。
    TPU v5p 跨領域基準結果
    UCSD 團隊建置獨立 JAX 基準,排除服務層開銷,評估 TPU v5p 上 DFlash:
    平均加速 3.13 倍,數學推理峰值近 6 倍。
    math500 任務:每 token 從 8.02ms 降至 1.40ms。
    humaneval 程式碼評估:加速逾 3.5 倍。
    結構化任務如數學與程式碼具高可預測性,接受長度長,飽和 TPU 平行驗證;對話任務隨機性高,加速較溫和。
    推測效率洞見:K-Flat 突破
    TPU v5p 等資料中心加速器驗證 1024 token 成本幾與 16 token 相同,因時間主導於模型權重載入而非注意力運算,「更寬驗證幾乎免費」。這推翻傳統觀念,瓶頸非驗證成本而是草稿品質,開發者可大膽擴大區塊大小,利用雙向上下文提升準確率。
    擴展理論:品質勝於數量
    儘管 K=16 已捕獲 90% 理論最大加速,擴至 K=128 僅增少於 1 token/步。提升每位置接受機率(a)效益為擴大 K 的 2–3 倍,未來焦點轉向智慧草稿訓練,而非更寬推測視窗。
    任務驅動加速差異
    接受機率依任務可預測性而定,區塊末尾 token 難猜測(位置衰減)。數學與程式碼衰減緩慢,維持高接受率;對話快速衰減。結構化推理更有效利用 TPU 潛力。
    開源整合 vLLM
    完整實作已提交 vLLM tpu-inference 儲存庫:
    PR #1868:DFlash 模型與提案者架構。
    PR #1869:端到端推測解碼管道整合。
    PR #1870:全面 CI 與端到端測試框架。
    團隊正開發 torchax 提案者,支持 PyTorch 服務路徑。
    未來前沿:TPU 推測系統擴展
    DFlash 平行取樣奠基「Speculative Speculative Decoding (SSD)」,利用推測快取降低高吞吐延遲。計畫擴大草稿區塊捕獲豐富上下文,提升複雜推理接受率,使用 TPU RL Stack Tunix 與 MaxText;新 JAX 核心支持擴散目標模型,維持 vLLM-TPU 在非自迴歸生成前沿。
    此成就源於 TPU Builder 計畫,提供硬體與 Google Cloud 點數予學術與開源社群。感謝 UCSD 團隊(Zhongyan Luo、Son Nguyen、Andy Huang)及 Google 工程師貢獻。詳見技術報告、Colab Notebook 與 vLLM GitHub。欲申請 TPU 研究,請聯絡 [email protected]。
    原文:https://easyvibecoding.app/curated/1142
    7 min
  • @ClaudeDevs:Claude 平台推出無金鑰驗證,取代長效靜態 API 金鑰,使用短效 OIDC token 強化安全性。 Claude 開發團隊針對客戶常見的安全隱憂—…
    Claude 平台推出無金鑰驗證,取代長效靜態 API 金鑰,使用短效 OIDC token 強化安全性。
    Claude 開發團隊針對客戶常見的安全隱憂——API 金鑰管理,推出「Workload Identity Federation (WIF)」功能,讓工作負載透過既有身份提供者(IdP)如 AWS IAM、Google Cloud 或任何符合標準的 OIDC 發行者,取得短效 JWT token 驗證 Claude API,而非依賴永不失效的「sk-ant-...」靜態金鑰。此舉移除靜態憑證的儲存、輪替與洩漏風險,但強調這僅為部分安全方案,強度取決於上游 IdP 的控制。
    運作機制
    工作負載從 IdP 取得簽署 JWT(多為環境內建,如 Kubernetes 投影服務帳號 token、Google Cloud 元資料伺服器、Azure IMDS 或 GitHub Actions OIDC 端點),JWT 的「iss」欄位標識提供者,「sub」及其他欄位標識特定工作負載。SDK 透過環境變數或設定檔,讀取 JWT 檔案,POST 至「/v1/oauth/token」端點,使用 RFC 7523 jwt-bearer grant 交換 Anthropic 存取 token。Anthropic 驗證簽章(對照註冊 JWKS)、檢查「exp/nbf/iat」欄位,並比對聯邦規則,回傳標準 OAuth 2.0 回應,包括短效「sk-ant-oat01-...」token,綁定組織服務帳號。SDK 在每筆請求附加 token,並於到期前自動刷新,應用程式無需設定 api_key 即可正常呼叫 API。
    核心概念
    在 Claude Console 配置三項資源,定義「來自發行者 X、符合 Y 條件的 token,可代表服務帳號 Z 運作」。
    服務帳號(svac_...):組織層級非人類身份,無 email、密碼或 Console 登入,加入 workspace 後生效,受該 workspace 的速率限制與使用歸因。不同於 API 金鑰(憑證本身),服務帳號僅 on-demand 產生憑證,便於稽核哪些工作負載代表其運作。
    聯邦發行者(fdis_...):註冊 OIDC IdP,包含「Issuer URL」(JWT iss 欄位值)與「JWKS source」(公開金鑰擷取方式)。通常每環境獨立註冊,如生產 EKS 叢集、分階段叢集與 GitHub Actions 分別為三個發行者。
    聯邦規則(fdrl_...):連結發行者與服務帳號,定義匹配條件、目標、授權範圍與 token 存活期(如匹配時產生範圍 S 的 token)。
    設定步驟
    需組織管理員權限、具 JWKS 端點的 OIDC IdP,以及可取得身份 token 的工作負載。在 Claude Console「Settings → Workload identity」頁面:
    「Issuers」分頁點「Create issuer」註冊發行者。
    「Settings → Service accounts」點「Create service account」建立服務帳號。
    「Federation rules」分頁點「Create rule」設定規則。
    工作負載驗證
    配置完成後,工作負載運行時交換 IdP JWT 為 Anthropic token,SDK 自動處理交換與刷新。推薦生產環境零參數模式:相同容器映像注入環境變數「ANTHROPICFEDERATIONRULEID」、「ANTHROPICORGANIZATIONID」、「ANTHROPICSERVICEACCOUNTID」與「ANTHROPICIDENTITYTOKEN_FILE」,依環境區分。
    從 API 金鑰遷移
    無中斷切換既有工作負載:
    平行配置聯邦。
    煙霧測試憑證優先(執行「ant auth status」)。
    移除所有注入的「ANTHROPICAPIKEY」。
    撤銷舊 API 金鑰。
    Token 存活與刷新
    Anthropic token 存活期取規則「tokenlifetimeseconds」(預設 3600 秒)與呈現 IdP JWT 剩餘存活兩倍值的最小值,下限 60 秒。SDK 快取 token,按兩階段排程刷新:到期前 120 秒建議刷新、到期前 30 秒強制刷新。此設計確保短效 token(分鐘級)取代永不失效金鑰,大幅降低洩漏風險,搭配 IdP 的工作負載綁定、條件存取與稽核記錄,提供深度防禦。
    此功能忠實回應客戶痛點,強調 WIF 非萬靈丹,僅強化 Anthropic 端表面安全,需仰賴上游 IdP 強度,適合追求零靜態憑證的企業工作負載。詳細文件見 https://platform.claude.com/docs/en/build-with-claude/workload-identity-federation。
    原文:https://easyvibecoding.app/curated/1144
    5 min