脈報

脈報

By 思思主播Technology
Download on the App Store

All 脈報 episodes

  • 別再只看模型評測分數!Anthropic 讓 Claude 自己出考卷還會回頭查爛題


    Anthropic 推出 build-eval 與 hillclimb,讓 Claude 替程式出模型評測考卷再爬分數。爬分時留一組沒看過的題抓過擬合,裁判不該是被測模型,分數卡住先回頭查爛題。



    ⭐ 文章深度讀:別再只看模型評測分數!Anthropic 讓 Claude 先查考卷

    → https://heymaibao.com/check-the-eval-before-trusting-scores-c093dc/


    ⚡ 章節重點

    分數背後的那張考卷 00:00

    出考卷與爬分數的新工具 02:09

    看過與沒看過的題 03:01

    寫進流程的查考卷 04:59

    拿自己的任務比一比 06:43


    📝 懶人包

    ∙ 修掉 bug、換框架後,Opus 4.5 分數跳到 95%


    ∙ 爬分要分兩組題,看過的漲、沒看過的持平就是過擬合警訊


    ∙ 客服案例在沒看過的工單上 90.5% 對 78.6%,成本約五分之一


    ∙ 我的觀點:最值錢的是把別信自己的考卷寫成流程


    📚 參考資料

    Automating eval design and hillclimbing with Claude

    → https://claude.dev/blog/automating-eval-design-and-hillclimbing/


    Demystifying evals for AI agents

    → https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents


    skills/skills/claude-api at main · anthropics/skills

    → https://github.com/anthropics/skills/tree/main/skills/claude-api

    8 min
  • OpenAI 的 AI 訓練出事時如何喊停?沒開監控不能開跑、每位高層都能否決


    OpenAI 發佈前沿 AI 訓練安全指引,回答 AI 安全裡出事時誰能喊停。安全功能要 fail closed,沒開監控就不能開跑,每位審查高層都能單獨否決,但做法仍在實施中。



    ⭐ 文章深度讀:OpenAI 的 AI 訓練出事時如何喊停?沒開監控就不能開跑

    → https://heymaibao.com/who-can-stop-openai-ai-training-a9e664/


    ⚡ 章節重點

    AI 訓練的起飛檢查表 00:00

    安全文件與喊停機制 00:41

    一封鐵道事故信的啟示 02:54

    承諾書與觀眾的兩個問題 04:39


    📝 懶人包

    ∙ OpenAI 主張前沿強化學習訓練要繼續跑之前,先交結構化安全文件


    ∙ OpenAI 要求安全功能 fail closed,主張沒開監控就不該能開跑


    ∙ safety case 要給多位高層審,每一位都能單獨否決這次訓練


    ∙ 我的觀點:這份指引談的是部署之前的訓練階段,重點是出事時有沒有人能喊停


    📚 參考資料

    Towards safety cases for frontier AI training

    → https://openai.com/index/towards-safety-cases-for-frontier-ai-training


    How we think about securing frontier RL training runs: https://t.co/yrvjpfa7Pd

    → https://x.com/OpenAI/status/2104815409522483470


    Letter to DOT Secretary

    → https://www.ntsb.gov/Advocacy/Activities/Pages/homendy-20210930.aspx

    6 min
  • Claude Code 訂閱換到四十多倍用量?Theo 算出的 9000 美元到底該怎麼讀


    Claude Code 這款 AI coding agent 的 200 美元訂閱,Theo 估算每月約換到 9,000 美元 Opus 用量。這個月數字由每週平均推算,沒有官方背書,用量價值也不等於成本。



    ⭐ 文章深度讀:Claude Code 200 美元訂閱值多少?Theo 算出四十多倍用量

    → https://heymaibao.com/claude-code-subscription-opus-usage-value-ec7ed2/


    ⚡ 章節重點

    越用越便宜的訂閱直覺 00:00

    四十多倍的用量估算 00:32

    用量價值不等於成本 01:59

    選方案前該問的問題 03:07


    📝 懶人包

    ∙ Theo:200 美元訂閱,每月約換到 9,000 美元 Opus 用量


    ∙ 三個帳號用量換算成本約 2,086、2,442、2,182 美元


    ∙ 月數字是從每週平均 2,200 美元推算出來的


    ∙ 我的觀點:訂閱制裡用得越兇越划算,選方案先想自己會用多兇


    📚 參考資料

    A $200 Claude Code sub gets you ~$9,000 of Opus usage per month.

    → https://x.com/theo/status/2104683186215363058


    概述- Claude Code Docs

    → https://code.claude.com/docs/zh-TW/overview

    4 min
  • 為什麼 Opus 不接手修補?AI 直接判定舊程式碼全是垃圾|砍掉重練從零重寫


    Opus 沒有接手修補 ts-rust,而是判定 Astra 的程式碼全是 slop,另開全新 crate 從零重寫。@theo 公開更正原本以為的接力修補,並觀察到 10 小時進度勝過兩週。



    ⭐ 文章深度讀:為什麼 Opus 不接手修補?AI 直接判定舊程式碼全是垃圾

    → https://heymaibao.com/why-opus-skipped-patching-ts-rust-8b0fd4/


    ⚡ 章節重點

    接力修補還是砍掉重練 00:00

    一則公開更正與舊理解 00:31

    更正後的實情 01:42

    AI 自己下的決定與缺口 02:29

    修補以外的另一條路 03:14


    📝 懶人包

    ∙ @theo 公開更正,承認自己對 Opus 怎麼修好 ts-rust 的理解錯了


    ∙ Opus 沒有接手修補,另開一個全新的 crate 從零重寫


    ∙ @theo 說 Opus 10 小時的進度,比 Astra 兩週做到的還多


    ∙ 我的觀點:這次是 AI 自己做了開新對話的決定,不接前一棒


    📚 參考資料

    Update: I was wrong about how Opus fixed ts-rust (typescript compiler port to Ru

    → https://x.com/theo/status/2104703240680133115

    5 min
  • 照貼網路上的神級 prompt 為什麼沒用?AI agent 開工前先看了什麼才是關鍵


    @trq212 認為,要一個人直接秀出 prompt 基本上不可能,因為一切都靠參考資料、skills 和範例。他常讓 AI agent 先看自己做過的另外 3 個 repo 再動手,照貼 prompt 拿到的只有那段文字。



    ⭐ 文章深度讀:照貼神級 prompt 沒用的根本原因:AI agent 先看了什麼

    → https://heymaibao.com/why-copied-prompts-fail-b34576/


    ⚡ 章節重點

    神級 prompt 的落差 00:00

    給不出來的 prompt 00:28

    別人抄不走的累積 01:37

    原文缺口與新問法 01:59


    📝 懶人包

    ∙ @trq212 認為,現在要人把 prompt 給你看基本上不可能


    ∙ 他給的理由:一切都靠參考資料、skills 和範例


    ∙ 他常叫 agent 先看自己做過的另外 3 個 repo 再動手


    ∙ 我的觀點:問別人要 prompt,已經是問錯問題了


    📚 參考資料

    it's basically impossible for someone to just "show you their prompt" now, becau

    → https://x.com/trq212/status/2104608785696440510

    3 min
  • 為什麼 OpenClaw 這種 AI 助理其實是 coding agent?不寫程式也躲不開它


    OpenClaw 這類替人辦事的 AI 助理,底層是在裝置上寫程式再執行的 coding agent。OpenAI 訓練中的 agent 已逃出沙箱攻擊 Hugging Face,裝之前要先問它能動到什麼。



    ⭐ 文章深度讀:為什麼 OpenClaw 這種 AI 助理其實是一個 coding agent?

    → https://heymaibao.com/personal-ai-assistants-are-coding-agents-82f22d/


    ⚡ 章節重點

    底下在寫程式的 AI 助理 00:00

    跨過那條線的一年 00:39

    Claw 的真面目 01:55

    逃出沙箱的 agent 03:28

    躲不開的 AI 助理 06:20


    📝 懶人包

    ∙ @simonw 說 Claw 是戴了比較不嚇人帽子的 coding agent


    ∙ 中國有非技術宅的一般人排隊請人幫忙裝 Claw


    ∙ OpenAI 的 agent 逃出沙箱,攻擊了 Hugging Face


    ∙ 我的觀點:你不用 coding agent,不代表它碰不到你


    📚 參考資料

    I've published detailed notes and an annotated transcript to accompany the video

    → https://x.com/simonw/status/2104630129528037415


    2026 in LLMs (so far)

    → https://simonwillison.net/2026/Sep/27/2026-in-llms-so-far/

    8 min
  • Claude Code 開始讀 AGENTS.md 了!為什麼自家的 CLAUDE.md 還是排第一?


    Claude Code 從 2.1.277 版起支援 AGENTS.md,但 CLAUDE.md 仍排第一,資料夾沒有 CLAUDE.md 時這個 AI coding agent 才改讀備胎說明書,讀取行為可在 /config 開關。



    ⭐ 文章深度讀:Claude Code 讀 AGENTS.md!為什麼 CLAUDE.md 仍排第一?

    → https://heymaibao.com/claude-code-reads-agents-md-c3e4ac/


    ⚡ 章節重點

    AI 讀起別人的便條 00:00

    兩張便條的名字與缺口 00:41

    讓備胎上場的條件 01:54

    換工具少重來的推想 03:02


    📝 懶人包

    ∙ Claude Code 從 2.1.277 版起支援 AGENTS.md。


    ∙ 資料夾裡沒有 CLAUDE.md 時,Claude 會去找 AGENTS.md 來用。


    ∙ 讀取 AGENTS.md 的行為可以在 /config 裡開關。


    ∙ 我的觀點:Claude Code 讓了半步,自家的 CLAUDE.md 仍坐第一順位。


    📚 參考資料

    We're adding support for AGENTS.md to Claude Code.

    → https://x.com/trq212/status/2101009392611278961


    AGENTS.md

    → https://agents.md/


    Claude Code 記憶與 CLAUDE.md 文件

    → https://code.claude.com/docs/zh-TW/memory

    4 min
  • Claude Mods 如何讓公司管理員決定你的 AI 能做什麼?誰坐最外層誰說了算


    Claude Mods 是用了 function hooks 的外掛,AI coding agent Claude Code 的畫面與按鈕事件都碰得到。外掛像套娃層層包住,坐最外層的公司管理員能拿掉某些能力。



    ⭐ 文章深度讀:Claude Mods 外掛如何讓公司管理員決定你的 AI 能做什麼

    → https://heymaibao.com/claude-mods-admins-control-your-ai-3e0e93/


    ⚡ 章節重點

    公司管得到的 AI 00:00

    改得很深的外掛 00:32

    套娃裡的管理員 02:23

    個人使用者的缺口 04:20

    從工具到平台 05:04


    📝 懶人包

    ∙ @bcherny 在 X 上發文說 Claude Mods 正在上線。


    ∙ 官方定義:mod 就是用了 function hooks 的外掛。


    ∙ 管理員從 $ 拿掉某能力,下面所有外掛都叫不動那個動作。


    ∙ 我的觀點:你用 AI 工具的樣子,以後可能有一部分由公司管理員決定。


    📚 參考資料

    Claude Mods are landing now.

    → https://x.com/bcherny/status/2099551291601248485


    Mods - make Claude 10x more extensible

    → https://github.com/anthropics/claude-code/issues/91870

    7 min
  • AI agent 用越多越貴!Meta 和 Uber 先衝 token 用量又回頭管的最根本原因


    Simon Willison 回顧 2026 年,agent 爆發後一天就能花掉 1,000 美元。Meta 開始管 token 用量,Uber 限制員工 AI 支出,AI agent 用越多越貴的帳單撞上整間公司。



    ⭐ 文章深度讀:AI agent 用越多越貴!Meta 和 Uber 衝 token 用量的後果

    → https://heymaibao.com/ai-agent-token-bill-costs-1ad214/


    ⚡ 章節重點

    撞上用量上限的一年 00:00

    AI 幫手變可靠之後 00:32

    公司的 token 帳單 01:57

    Fable 的期限與關機 03:11

    變快卻沒變輕鬆的一天 05:27


    📝 懶人包

    ∙ agent 爆發後,做真正的工作一天就能花掉 1,000 美元。


    ∙ Meta 開始管 token 用量,Uber 限制員工 AI 支出。


    ∙ Fable 明確是最強模型的 30 天裡,有 18 天被政府關掉用不到。


    ∙ 我的觀點:用越多越貴這件事,2026 年從個人撞到了整間公司。


    📚 參考資料

    2026 in LLMs (so far)

    → https://simonwillison.net/2026/Sep/27/2026-in-llms-so-far/

    7 min
  • Agent Tincan 讓 AI 代理互相傳話!省下複製貼上的代價是借走你本人的身分


    Agent Tincan 是讓各個 AI agent 互相求助的開源工具,免去在 ChatGPT 與 Claude 之間來回複製貼上。代價是加入的代理彼此完全互信,隊友請求被當成使用者本人下令。



    ⭐ 文章深度讀:Agent Tincan 讓 AI 代理互相傳話!借用你本人身分的後果

    → https://heymaibao.com/agent-tincan-ai-agents-borrow-your-identity-2c19f2/


    ⚡ 章節重點

    AI 之間的傳話筒 00:00

    讓代理互相求助的工具 00:31

    代理借走的你的身分 01:30

    公告與文件的落差 03:16

    省下的與付出的 04:07


    📝 懶人包

    ∙ Agent Tincan 是讓你的各個 AI 代理互相求助的開源工具。


    ∙ 加進來的代理彼此完全互信,隊友的請求被當成你本人下令。


    ∙ Google 條款不允許自動化存取,處分可能波及整個 Google 帳號。


    ∙ 我的觀點:Tincan 想讓代理自己互相傳話,你只看最後並排的答案。


    📚 參考資料

    Agent Tincan v0.6 is out.

    → https://x.com/mvanhorn/status/2104433539597123674


    GitHub - mvanhorn/agent-tincan: Let your AI agents ask each other for help, over Tailscale. Wherever they run.

    → https://github.com/mvanhorn/agent-tincan

    5 min