脈報

脈報

By 思思主播Technology
Download on the App Store

All 脈報 episodes

  • Karpathy 實測 Opus 5:約兩小時寫出 5500 行程式碼,檢查成果卻只能靠截圖


    Opus 5 花約兩小時寫出 5500 行程式碼,檢查成果時只能一張張截圖。Karpathy 的實驗把模型評測拉進長跑,量到的是能被程式驗證的活變便宜,靠肉眼判斷的仍要人接手。



    ⭐ 文章深度讀:你可以帶走的一條線

    → https://heymaibao.com/karpathy-opus-5-5500-lines-screenshot-check/


    ⚡ 章節重點

    開場 00:00

    這次實驗到底做了什麼 00:26

    題目換了,量到的東西也換了 01:41

    粗糙是從哪裡來的 02:26

    崩掉的是哪一道門檻 03:43

    你可以帶走的一條線 04:55


    📝 懶人包

    ∙ Karpathy 給 Opus 5 《魔戒》開頭的第一段文字、100 萬 token 的預算 (他標成大約 10 美元),要它用 three.js 這套跑在瀏覽器裡的 3D 工具做出一個畫面。模型跑了大約 2 小時,寫出 5500 行程式碼,用程序化的方式把故事渲染出來


    ∙ 他說我們正開始離開那種用「畫一張騎腳踏車的鵜鶘 SVG (create an svg of pelican on a bicycle)」來測 LLM 的領地,題目正在換成長時間、大預算的長跑


    ∙ 他說這些模型無法輕易稽核自己的工作,因為沒辦法高效且原生地感知影片,或在裡面玩遊戲。這次 Opus 5 只能非常緩慢吃力地在不同時間點截圖,中間搞砸了幾次


    ∙ 我的觀察是,成品粗糙在這裡不是失敗,是量測結果。這次真正被量到的是模型檢查自己的那條迴路有多窄


    📚 參考資料

    Andrej Karpathy 在 X 的原始貼文

    → https://x.com/karpathy/status/2083749667410727319


    Model system cards

    → https://www.anthropic.com/system-cards


    Pelicans on a bicycle

    → https://simonwillison.net/2024/Oct/25/pelicans-on-a-bicycle/


    Task-Completion Time Horizons of Frontier AI Models

    → https://metr.org/time-horizons/


    Genie 3: A new frontier for world models

    → https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/

    7 min
  • Spec-driven development 吵錯重點了,關鍵是那份規格寫完之後要活多久


    spec-driven development 的真正分水嶺,是規格寫完之後要活多久。Martin Fowler 網站一篇文中未署名的實測比較三個 AI coding agent 規格工具,整理出三層規格壽命。



    ⭐ 文章深度讀:三個警訊,都有實測撐著

    → https://heymaibao.com/spec-driven-development-spec-lifespan/


    ⚡ 章節重點

    吵的其實不是該不該寫規格 00:00

    引爆點:他公開拒絕被歸進 SDD 00:27

    同一個詞,三種規格壽命 01:12

    把光譜再往下延一格 02:10

    三個工具,各自在替存活期投票 03:03

    三個警訊,都有實測撐著 04:20

    MDD 這面照妖鏡 06:27

    動手前先問一次:這份規格要活多久 07:23


    📝 懶人包

    ∙ 那篇評測把 SDD 拆成三層:只服務當下任務的 spec-first、任務結束後繼續維護的 spec-anchored、規格變成唯一主檔的 spec-as-source。作者試的三個工具裡,只有一個明確追求 spec-anchored,而且還在探索最上面那層。


    ∙ 最痛的實測結果是尺寸不匹配。作者拿 Kiro 修一個小 bug,需求文件把它變成 4 個 user story (使用者故事,需求的標準寫法)、總共 16 條驗收條件。


    ∙ Matt Pocock 公開拒絕被歸進 SDD。他說他的工具產生的規格是設計成要立刻刪掉的,不是留著,也不是被當成原始碼。


    ∙ 我的觀察是,這條軸上唯一在變的變數就是存活期。Matt Pocock 的立場不是另一個陣營,是同一條軸再往下一格,成立條件是你願意把「產生規格的過程」而不是「規格本身」當成真正的產出。


    📚 參考資料

    Martin Fowler 網站:三個自稱 spec-driven development 的工具實測

    → https://martinfowler.com/articles/exploring-gen-ai/sdd-3-tools.html


    Matt Pocock 談 spec-driven development 的貼文

    → https://x.com/mattpocockuk/status/2083563195671667176


    github/spec-kit

    → https://github.com/github/spec-kit/blob/main/README.md


    Matt Pocock 的 /grill-me skill 頁面

    → https://www.aihero.dev/skills-grill-me


    8 Reasons Why Model-Driven Approaches (will) Fail

    → https://www.infoq.com/articles/8-reasons-why-MDE-fails/

    9 min
  • DeepSeek 用設定檔坐進 Codex 選單,新模型開口自稱是基於 GPT-5 的 Codex


    DeepSeek-V4-Flash 進入公開測試,官方文件掛的 Codex 設定檔把它列進這款 AI coding agent 的模型選單,代價是內嵌提示詞第一句讓模型自稱是基於 GPT-5 的 Codex。



    ⭐ 文章深度讀:要動手的人,先看那一格

    → https://heymaibao.com/deepseek-config-model-claims-codex-gpt-5/


    ⚡ 章節重點

    開場 00:00

    Codex 是什麼 00:27

    公告裡的兩句關鍵話 00:58

    設定檔裡的三個條目 01:17

    官方沒有回答的事 02:38

    制服穿到底,內嵌的 Codex 提示詞 03:13

    我同意的部分,和我的分歧 03:58

    便宜跟強,目前只有一半有數字 04:52

    要動手的人,先看那一格 05:48

    最後 06:42


    📝 懶人包

    ∙ 2026 年 7 月 31 日,DeepSeek 官方帳號宣布 V4-Flash 的官方 API 進入公開測試,同一句話裡主打兩件事:原生支援 Responses API 格式 (一種請求與回應的介面規格),而且「已完成 Codex 適配」


    ∙ 官方文件的 Codex 整合頁掛著一份模型設定檔,把三個 DeepSeek 模型列進 Codex 的模型選單,帶 100 萬 token 的 context window 與 low、high、max 三檔推理強度,而每個條目裡還內嵌了一整份 Codex 的系統提示詞,開頭第一句是「你是 Codex,一個基於 GPT-5 的 agent」


    ∙ 外部視角來自在自己 blog 上寫模型評註的 Simon Willison:這是一顆 304B 參數的模型,輸入每百萬 token 0.14 美元、輸出 0.27 美元,第三方排名壓過一顆 428B 的模型,但他用預設推理強度跑出來的結果讓他失望


    ∙ 我的觀察是,模型公司的競爭點已經移到「能不能無痛坐進別人家客戶端的模型清單」,而 DeepSeek 這次為了坐進去,連對方的自我認知都一起端了過來


    📚 參考資料

    DeepSeek 官方公告:V4-Flash Official API 進入公開測試

    → https://x.com/deepseek_ai/status/2083084415157022911


    DeepSeek API Docs:Codex 整合

    → https://api-docs.deepseek.com/quickstart/agentintegrations/codex


    DeepSeek-V4-Flash-0731 (Simon Willison)

    → https://simonwillison.net/2026/Jul/31/deepseek-v4-flash-0731/


    deepseek-ai/DeepSeek-V4-Flash-0731 · Hugging Face

    → https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731


    Codex Configuration Reference

    → https://developers.openai.com/codex/config-reference


    OpenRouter Reasoning Tokens

    → https://openrouter.ai/docs/guides/best-practices/reasoning-tokens

    8 min
  • Matt Pocock 的規劃工具不寫完計畫,先劃出「現在就能決定」的邊界在哪


    wayfinder 不把計畫一次寫完。Matt Pocock 公開的這個規劃 skill 先決定資訊已經足夠的部分,其餘明確留白。本文說明這個取捨為什麼比更完整的路線圖更耐用。



    ⭐ 文章深度讀:我的觀察是,這裡真正的設計選擇是承認有些決定現在資訊還不夠,並把「還不能決定」正式寫進計畫裡,這個判斷就算你不裝這個工具也用得上

    → https://heymaibao.com/matt-pocock-wayfinder-decide-what-can-be-decided-now/


    ⚡ 章節重點

    開場:漂亮的計畫為什麼走不完 00:00

    問題出在哪:一半的決定當下沒資訊 00:31

    先把來源講清楚 00:59

    它宣稱會做的四件事 01:29

    重點在第一項:frontier 是一條線 02:03

    線往外推:邊界由資訊決定 03:10

    第二個設計選擇:地圖放在哪裡 03:51

    我的保留:宣稱強度對不對得起證據 04:57

    原文沒有回答的 05:52

    你今天就能用的部分 06:20

    收尾 07:11


    📝 懶人包

    ∙ 你給它一個目的地,它會先找出現在就能決定的事情的邊界,不一次生出完整路線


    ∙ 前方的路線隨著你往前走才逐步揭開,過程中它會做研究、做原型、也跟你討論


    ∙ 這張地圖維護在你自己選的 issue tracker (開發團隊記錄待辦與進度的系統,例如 GitHub、Linear) 裡,而不是留在對話中


    ∙ 我的觀察是,這裡真正的設計選擇是承認有些決定現在資訊還不夠,並把「還不能決定」正式寫進計畫裡,這個判斷就算你不裝這個工具也用得上


    📚 參考資料

    Matt Pocock 在 X 介紹 /wayfinder

    → https://x.com/mattpocockuk/status/2082774006189449355


    skills.sh 上的 wayfinder 頁面

    → https://www.skills.sh/mattpocock/skills/wayfinder


    skills CLI 使用說明

    → https://www.skills.sh/docs/cli


    Anthropic:用 Agent Skills 讓 agent 面對真實世界

    → https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills

    8 min
  • Anthropic 抓到 Claude 打進三家真公司,它當下以為在演習:三起事件經過


    Anthropic 主動審查 141,006 次資安評測,找出三起 Claude 打進真實組織正式系統的事件。評測 prompt 說沒有網路,設定錯誤卻讓網路可用,AI 安全邊界要靠設定強制。



    ⭐ 文章深度讀:那段自我說服

    → https://heymaibao.com/anthropic-claude-cybersecurity-eval-incidents/


    ⚡ 章節重點

    開場 00:00

    這件事怎麼被翻出來 00:55

    事件一 同名的真公司 02:10

    事件二 一個不存在的套件名 03:00

    事件三 掃了大約九千個目標 04:29

    那段自我說服 05:03

    三個模型三種反應 06:18

    手法有多平庸 07:17

    你可以帶走的三條 07:46

    我怎麼看這次揭露 08:17


    📝 懶人包

    ∙ Anthropic 主動回溯審查了 141,006 次「Claude 有可能取得網路連線」的評測 run (一次 run 就是模型從頭到尾執行一次任務),找出 3 起事件、共 6 次 run,影響三個不同組織的正式基礎設施,最早可回溯到 4 月


    ∙ 成因是兩層疊加:Anthropic 的評測 prompt 明確告訴 Claude 這裡是模擬、沒有網路,但因為 Anthropic 與評測夥伴之間的認知落差加上一個設定錯誤,機器實際上連得上外網


    ∙ 三起事件涉及 Claude 的三個不同模型,面對「目標可能是真的」的反應完全不同:Opus 4.7 認出了仍繼續攻擊,Mythos 5 推理回「還在模擬裡」,最新的內部研究測試模型自行判定為真並停手


    ∙ 我的觀察是,這次的關鍵變數不是模型能力,是情境認知。用到的手法全是弱密碼、暴露的除錯頁面、SQL injection 這類老東西,成立條件只有一個:有一個不會累的執行者,相信自己在演習裡


    📚 參考資料

    Investigating incidents in our cybersecurity evals

    → https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals


    OpenAI and Hugging Face partner to address security incident during model evaluation

    → https://openai.com/index/hugging-face-model-evaluation-security-incident/


    Irregular's AI Evaluation Platform: Cyber Use-Case

    → https://www.irregular.com/research/ai-evaluation-platform-cyber-use-case


    METR: Risk Assessment

    → https://metr.org/evaluations/

    9 min
  • OpenAI 免費送研究者前沿模型,開放 12 天就改抽籤,首波只發 10,000 席


    OpenAI 免費前沿模型計畫開放 12 天就改成抽籤,首波只發 10,000 席。文章拆解 13,000 份申請、65,000 席上限的口徑,並指出抽籤避開了誰最缺算力這道判斷。



    ⭐ 文章深度讀:不是研究者的我們,為什麼要在意

    → https://heymaibao.com/openai-academic-researchers-free-frontier-models-lottery/


    ⚡ 章節重點

    開場:免費的東西居然要排隊 00:00

    這部影片在講什麼 00:27

    這 12 天發生了什麼 00:52

    三個數字,單位都不一樣 02:05

    抽籤這個選擇,本身就有代價 03:12

    需求那一端,公告自己給了數字 04:27

    不是研究者的我們,為什麼要在意 06:11

    原文沒有回答的事 06:52

    收尾:它只會換一種方式排隊 07:13


    📝 懶人包

    ∙ OpenAI 推出 ChatGPT for Academic Researchers,要讓選定學術機構的 10 萬名研究者免費使用 GPT-5.6 系列等前沿模型,計畫在 2027 年前達成


    ∙ 8 月 10 日的更新寫明:首波收到超過 13,000 份申請,代表最多 65,000 個研究者席次 (一位申請人最多可以帶 4 位協作者),OpenAI 會用抽籤從合格申請者中選出最初的 10,000 席,落選者在 2026 年秋季稍後重開申請時仍具資格


    ∙ 申請門檻不低:限定被認可、可授予學位、研究活躍度高的院校,核准者可以邀請最多 4 位同機構協作者,但這些協作者也計入計畫的總帳號數


    ∙ 我的觀察是,抽籤讓程序變公平,卻同時放棄了「誰最缺這條算力」這道判斷。在供給遠小於需求的時候,中立的分配方式不等於中立的分配結果


    📚 參考資料

    Accelerating scientific discovery with ChatGPT for Academic Researchers

    → https://openai.com/index/chatgpt-for-academic-researchers/


    Exclusive: OpenAI offers 100,000 academics free ChatGPT access

    → https://www.axios.com/2026/07/29/openai-academics-research-chatgpt-sol


    GPT-5.6 in ChatGPT

    → https://help.openai.com/en/articles/20001354-gpt-5-6-in-chatgpt


    FrontierMath Tier 4 (v2)

    → https://epoch.ai/benchmarks/frontiermath-tier-4-v2

    8 min
  • OpenAI 降價 80%,但帳單不一定變小,官方示範別讓 GPT-5.6 Luna 跑完全程


    OpenAI 將 GPT-5.6 Luna 降價 80%,同一篇公告卻示範用貴的 Sol 定計畫、便宜的 Luna 動手。本文拆解 Blitzy 省下 87% 成本的真正歸因與三條 AI agent 迴圈規則。



    ⭐ 文章深度讀:可以直接抄的三條 harness 規則

    → https://heymaibao.com/gpt-5-6-luna-price-cut-tiered-agent-routing/


    ⚡ 章節重點

    開場 00:00

    降的是哪一層,沒降的是哪一層 00:49

    官方自己示範的分工 02:10

    便宜的詞元不等於便宜的任務 03:33

    可以直接抄的三條 harness 規則 05:10

    那個「自主」到底有多自主 06:43

    我保留的地方 07:39

    所以現在該做什麼 07:52


    📝 懶人包

    ∙ OpenAI 從 7 月 30 日起把 GPT‑5.6 Luna 降價 80%、Terra 降價 20%,旗艦的 Sol 價格沒動,反而多了一個兩倍價的 Fast mode 加速選項


    ∙ OpenAI 在官方公告裡舉的 coding workflow 例子是分層的:用 Sol 解決不確定性、定出計畫,再用 Luna 實作已明確規格的變更、寫測試跑測試、評估結果


    ∙ Blitzy 共同創辦人暨 CTO Sid Pardeshi 說,導入 Luna 讓他們從單次的結構化輸出呼叫改成完整的工具呼叫 agent 迴圈,快取重用率從 24% 提高到 90%,成本比 GPT‑5.4 mini 低 87%


    ∙ 我的觀察是,這批公告真正的門檻不在價格表,而在你的 agent 迴圈能不能重用同一段開頭。迴圈的形狀沒改之前,換成便宜模型省下的只是單價,不是帳單


    📚 參考資料

    How GPT‑5.6 fuses frontier intelligence with frontier efficiency

    → https://openai.com/index/gpt-5-6-frontier-intelligence-efficiency/


    Advancing the price-performance frontier with GPT‑5.6

    → https://openai.com/index/advancing-the-price-performance-frontier-with-gpt-5-6/


    Simon Willison on GPT‑5.6 Luna in Datasette Agent

    → https://x.com/simonw/status/2082996044175213050


    Prompt Caching in the API

    → https://openai.com/index/api-prompt-caching/


    OpenAI cuts prices on smaller models as businesses scrutinize AI spend

    → https://www.reuters.com/business/retail-consumer/openai-cuts-prices-smaller-models-businesses-scrutinize-ai-spend-2026-07-30/

    9 min
  • OpenAI 自己查出來:自家模型在 ARC-AGI-3 的低分主因是測驗程式關掉了記憶


    OpenAI 公布 ARC-AGI-3 模型評測的重跑結果:ARC 官方 harness 給 13.3%,OpenAI 自家設定給 38.3%,輸出 token 還少 6 倍。差別在測驗程式關掉了模型的記憶。



    ⭐ 文章深度讀:我對這篇的三個保留

    → https://heymaibao.com/openai-arc-agi-3-harness-memory/


    ⚡ 章節重點

    開場 00:00

    這個模型明明不笨 00:35

    問題出在記憶被關掉了 01:24

    改了什麼,差多少 02:09

    反直覺的那一格 03:10

    我對這篇的三個保留 03:41

    那 ARC 的做法錯了嗎 04:00

    你可以拿回去做的事 04:18


    📝 懶人包

    ∙ OpenAI 用官方 harness (跑這個測驗的那套外框程式) 跑 ARC-AGI-3 公開題組,GPT‑5.6 Sol 得 13.3%,換成自家設定重跑,同一個模型得 38.3%,輸出的 token (模型產出的文字量) 還少了 6 倍


    ∙ 被關掉的兩件事都是記憶。每做完一個動作,模型的私有推理內容就被丟棄,對話長到超過上限時,最舊的訊息會被直接砍掉


    ∙ OpenAI 給 API 開發者的三條建議:改用 Responses API 而不是舊的 Chat Completions、保留推理、開啟 compaction (壓縮式的脈絡管理)


    ∙ 我的觀點是,記憶對 agent 來說是地基等級的東西。所以一個 benchmark 分數量到的,其實是模型加上跑它的那套程式,這兩者拆不開


    📚 參考資料

    How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

    → https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/


    ARC Prize 對 GPT-5.5 與 Opus 4.7 在 ARC-AGI-3 表現的分析

    → https://arcprize.org/blog/arc-agi-3-gpt-5-5-opus-4-7-analysis


    ARC Prize 評分方法與 RHAE 指標說明

    → https://docs.arcprize.org/methodology


    ARC-AGI-3 人類基準資料集的建立方式

    → https://arcprize.org/blog/arc-agi-3-human-dataset


    Responses API 的新工具與功能

    → https://openai.com/index/new-tools-and-features-in-the-responses-api/

    5 min
  • 放完幾週假回來,11 個分頁裡的 AI agent 還停在半途,那是一疊罪惡感存貨


    一位個人網站作者放完幾週假回來,打開筆電看到 11 個 cmux 分頁,每個分頁裡的 AI agent 都停在半途。他把這些未完成視窗診斷成罪惡感存貨,並指出壓力只是換了出口。



    ⭐ 文章深度讀:那道門檻長什麼樣

    → https://heymaibao.com/paused-ai-agents-guilt-inventory/


    ⚡ 章節重點

    開場 11 個分頁裡的罪惡感存貨 00:00

    這篇隨筆的來歷 00:24

    為什麼比開一堆瀏覽器分頁更糟 01:24

    壓力換了一個出口 02:25

    他點名的三種使用模式 03:20

    被跳過的學習 04:37

    他自己給的正面對照 05:04

    那道門檻長什麼樣 05:42

    刻意能不能靠意志力維持 06:30

    收在他那句話上 07:25

    今天就能做的一個小動作 07:40


    📝 懶人包

    ∙ 一趟夏末假期,有很長一段時間他沒碰筆電和手機,等於幾週沒有 AI。回來打開電腦,迎接他的是 11 個 cmux 分頁 (他用來同時掛多個 agent 的分頁工具),每個分頁裡都有多個 agent 停在各種任務的中途,另外還有從稅務到景觀設計點子到政策文件審閱的 Claude 對話未讀徽章


    ∙ 他的診斷是壓力換了出口:這股壓力沒有逼他去分類優先順序、聚焦在工作與生活裡最重要的事,反而餵養了一個未經檢視的信念,也就是他現在應該能做更多,然後釋放成又一個 agent 對話、又一個終端機分頁


    ∙ 他把自己最沒效益的那個模式命名為生產力銜尾蛇,也就是那條咬住自己尾巴的蛇:手上有理論上能讓他變快的工具,於是產生強烈衝動要最大化利用這些工具,而利用的方式就是拿它們去最大化利用工具本身


    ∙ 我的觀察是,這篇真正的門檻在你按下送出之前說不說得出兩件事:你要它回答什麼,以及你自己已經知道什麼。答不出來的時候,那個 agent 替你逃掉的是想清楚這一步


    📚 參考資料

    The human is the loop

    → https://brentfitzgerald.com/posts/the-human-is-the-loop/

    8 min
  • 1,378 名前沿 AI 公司員工連署:承認 AI 的煞車還沒造出來,請美國政府出手


    Pacing the Frontier 連署聲明由 1,378 名前沿 AI 公司員工署名,自陳世界缺少調節 AI 前沿進展的工具。本文釐清這封信在 AI 監管上要什麼、又沒有回答什麼。



    ⭐ 文章深度讀:原文沒有回答的那個問題

    → https://heymaibao.com/frontier-ai-employees-pacing-statement/


    ⚡ 章節重點

    停在一句話上 00:00

    這封信要的不是暫停 00:47

    承認沒有工具,比警告危險更有份量 01:41

    囚徒困境是他們自己寫進去的 02:39

    人在裡面,話只能用個人身分說 03:44

    加速這件事,評測裡看得到 04:54

    原文沒有回答的那個問題 05:19

    那我們該怎麼看這件事 06:14


    📝 懶人包

    ∙ 這封信的訴求只有一句:請求美國政府支持一項國際努力,去開發刻意調節自動化 AI 開發前沿所需的技術與治理工具


    ∙ 聲明自己寫下兩件事,今天世界缺少這些工具,而且每一家公司與每一個國家都承受著不單方面放慢加速的強大競爭壓力


    ∙ 頁面寫明要被驗證必須是前沿 AI 公司員工,並用公司 email 或提供雇用證明,但同一個頁面也寫著,所有評論皆以個人身分發表,不必然代表任何公司的看法


    ∙ 我的觀察是,這封信真正的新訊息是一份缺口通報,不是一次道德呼籲。前者可以被推翻,後者不能,這讓它比一般的公開信更值得記住


    📚 參考資料

    A statement from 1,378 employees of frontier AI companies

    → https://www.pacingthefrontier.com/

    8 min