DataSci Ocean

把一件工作拆給好幾個 AI 分工，一個負責規劃要去查哪些資料，一個負責整合出答案，直覺上每個位置都放最強的模型最好，但實驗結果剛好相反。AgentOpt 是一份技術報告介紹的免費開源工具，專門幫你試出這種分工的系統每個位置該配哪個模型，不用改原本的程式，也不必每一種搭配都花錢測完。在一個需要查資料的問答測試裡，讓 Anthropic 最強的 Claude Opus 負責規劃，不管搭配誰統整答案，成績都落在所有搭配（九個候選模型配兩個位置，共八十一種）的最後面那一群；報告的解釋是它太有自信，跳過了該做的搜尋。反過來讓小模型規劃、Opus 統整，準確率 74%，兩個位置都放 Opus 只有 32%。另一個測 AI 會不會正確使用工具的測試裡，Opus 和一個開源模型準確率一樣，花費卻差了大約 32 倍。我也會講我的問號，例如這個結論能不能套到別的任務。這集不是模型推薦清單，也不是安裝教學，不需要讀過論文或會寫程式。

這集你會知道

• 為什麼挑模型不能只看排行榜：幾個 AI 分工就像接力賽，前一個模型交出的東西，決定下一個模型拿到什麼
• 最強的 Claude Opus 負責規劃時，整組成績反而落到最後面那一群，以及報告給的原因
• 在測 AI 會不會正確使用工具的測試裡，兩個模型準確率一樣，花費卻差大約 32 倍
• 搭配太多、錢不夠全部測完怎麼辦：AgentOpt 像選秀海選一樣，一輪輪淘汰沒希望的搭配，在查資料的問答測試裡省下 67% 的測試費
• 這集沒有做什麼：不是模型推薦清單，也不是安裝教學

章節

• 2:21 為什麼最強的模型不一定最好用？
• 5:42 把挑模型變成一道可以算的題目
• 7:48 不改你的程式，怎麼偷偷換模型？
• 11:01 沒錢全部測完，怎麼找到冠軍？
• 14:56 成績單：最強的模型為什麼拖垮隊伍？
• 19:27 我讀完之後的幾個問號

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/paper-intro/agentopt/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

請 AI 寫詩、講笑話，答案常常大同小異，這個現象叫模式坍縮。

這集談的 Verbalized Sampling（口述機率取樣），是一篇研究論文提出的做法：不重新訓練 AI，只在提問時多加一句「並說出每個答案的機率」。

論文的解釋是，AI 是靠人類給回答打分數來調教的，而人類打分時偏愛熟悉的答案，AI 因此學成幾乎只給最常見的那幾個；請它說出機率，等於請它把可能的答案都列出來，而不是只挑一個。

實驗中，請 AI 隨便說一個美國州名，直接問時有模型幾乎每次都答加州，換成這種問法，各州出現的比例就貼近它訓練時讀過的資料；請 AI 出多樣的數學題當教材、去訓練較小的 AI，較小的 AI 解題的平均答對率，從 30.6%（直接要 AI 出題）升到 37.5%。

我也會講我的問號，例如 AI 口頭報的機率可不可信。這集不是提示詞技巧大全，不需要讀過論文或會寫程式。

這集你會知道

• 為什麼 AI 被調得越安全聽話，答案越像：論文的解釋是，調教靠人類打分數，而人類偏愛熟悉的文字，這個偏好被一路學進模型
• 只多加一句「並說出每個答案的機率」，為什麼能讓 AI 從只給最常見的答案，變成把整份可能的答案攤開
• 請 AI 隨便說一個美國州名：直接問時，有模型幾乎每次都答加州；換成這個問法，各州出現的比例就貼近它訓練時讀過的資料
• 用這個問法請 AI 出多樣的數學題當教材、訓練較小的 AI，解題的平均答對率從 30.6% 升到 37.5%（對照是直接要 AI 出題）；還有我的五個問號，例如 AI 口頭報的機率可不可信
• 這集沒有做什麼：不是提示詞技巧大全，也不是實作教學

章節

• 2:06 為什麼 AI 越調教越沒新意？
• 4:42 是誰把答案磨成一樣的？
• 8:29 只改問法，就能把多樣性叫回來
• 11:41 實驗結果：真的更多樣嗎？
• 15:36 我讀完之後的幾個問號
• 18:13 所以，我們到底學到了什麼？

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/paper-intro/verbalized-sampling/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

讓 AI 幫你寫程式的工具，怎麼做到自己動手讀程式、改程式，還自己跑測試（檢查程式有沒有出錯）？

這集談的 Claude Code，是 Anthropic（做 Claude 聊天機器人的公司）推出的 AI 寫程式助手。

它跟網頁上的 Claude 聊天不一樣，是直接在你的電腦裡讀檔案、改檔案。它的核心是一個「看結果、決定下一步、動手」的迴圈，失敗時不會停，而是把錯誤當成下一輪的材料。

這集是我把自己寫的拆解文章改成音訊，會講這個迴圈、它手上的工具、擴充本事的方式、長對話怎麼不忘記，以及讓人敢放手的安全機制，最後也講我讀完的保留：

文章是設計層面的拆解，沒有實測數據。這集不是安裝或操作教學；不需要會寫程式，名詞我都會講白話。

這集你會知道

• 它怎麼做到自己讀程式、改程式、跑測試：核心是一個「看結果、決定下一步、動手」的迴圈，失敗只是下一輪的材料
• 工具為什麼刻意只給少數幾樣（讀檔案、改檔案、下指令等），以及三種擴充本事的方式各管什麼：教它固定流程、保證一定照做的規則、接上外部服務（例如 GitHub）
• AI 模型本身每次都從頭開始、不會記得上一次，對話那麼長它怎麼不忘記：每次開工先讀一份專案說明檔、壓縮舊對話、把雜活派給另一個 AI 助手
• 它憑什麼敢放手改你的東西：三層安全機制（你決定它能多自主、難以挽回的動作一定先問你、把它關在隔離環境），目標是讓犯錯的代價低、可以回頭
• 這集不是安裝或操作教學，也沒有實測數據；最後會講我讀完的保留

章節

• 0:06 一句話交代，它怎麼自己改程式、自己驗證
• 2:06 核心只有一個迴圈
• 7:24 工具為什麼刻意只給幾樣
• 11:01 三種擴充它本事的方式
• 15:33 對話那麼長，它怎麼不會忘記
• 19:30 它憑什麼敢放手改你的東西
• 22:43 它的定位，還有我的保留

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/ai-concept/claude-code/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

把同一個問題原封不動貼兩遍再丟給 AI，答對的機率會變高嗎？這集談的 Prompt Repetition（提示詞重複），是 Google Research 在 2025 年 12 月發表的研究論文，測的就是這個做法。

原因出在 AI 讀文字是從頭到尾單向讀：讀到前面的字時，還不知道最後的問題是什麼；貼第二遍，等於讓它帶著問題再讀一次。作者拿七個主流 AI 模型（OpenAI、Anthropic、Google、DeepSeek 都有）做十種考題，共七十種組合，貼兩遍在其中四十七種答對率明顯較高（統計上不是碰運氣），沒有任何一種明顯變差。

其中一個在五十個名字裡找第二十五個的測試，答對率從 21.33% 升到 97.33%，不過那是專門為了放大這個現象設計的，日常提問不會有這種幅度。

而且等待時間幾乎沒變，因為 AI 讀題可以同時處理，慢的是寫答案。我也會講我的問號：輸入加倍，用程式呼叫 AI（API）、按輸入量收費的帳單也會加倍；AI 本來就會先寫出一步步思考過程時，效果就不明顯；論文是用程式呼叫 AI 的方式測的，ChatGPT 之類的聊天視窗沒有測過。

這集談的是 AI 怎麼讀題目，結尾我會講怎麼自己小規模試試看，但不是現成的提示詞清單；不需要讀過論文或會寫程式。

這集你會知道

• 問 AI 的題目，為什麼擺放順序會影響答案：AI 讀文字只能從前往後，讀到前面的字時還不知道問題是什麼
• 把題目貼兩遍，為什麼第二遍就能補上這個盲點，以及為什麼回答幾乎不會因此變慢
• 七十種組合裡，貼兩遍有四十七種答對率明顯較高、沒有一種變差；在五十個名字裡找第二十五個，答對率從 21.33% 升到 97.33%（專門設計的測試）
• 我打的問號：它真的免費嗎？AI 已經先寫出思考過程時，效果為什麼就不明顯
• 這集不是提示詞技巧大全；結尾會講適合用在哪些任務，以及怎麼拿自己的題目小規模試試看

章節

• 0:06 題目貼兩遍，答對率從 21% 變成 97%
• 2:04 模型的盲點：讀題目的時候，它看不到後面
• 7:33 貼兩遍，為什麼就能補上盲點
• 10:40 輸入變兩倍長，為什麼不會變慢
• 12:52 成績單：七十種組合，一場都沒輸
• 17:20 免費午餐有隱藏價格嗎？我的幾個問號
• 21:00 所以，我該不該也把問題貼兩遍

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/paper-intro/prompt-repetition/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

用 AI 查公司文件、客服知識庫，常常答非所問。AI 讀不完整份文件，所以會先把文件切成一小塊一小塊（論文裡叫 chunking）存進資料庫，被問到問題時再翻出相關的幾塊來回答，這套做法叫 RAG。

這集談的 Adaptive Chunking，是一篇研究論文提出的做法，專門處理最前面、最容易被忽略的「怎麼切」：它不找一種萬能切法，而是替每份文件同時試好幾種切法，用五個不必真的跑完整 RAG 的檢查（例如代名詞有沒有被切散、每一塊的主題純不純）打分，只留最高分的那一種。

在論文自己準備的 99 道測試題裡，其他環節全都不變，只把常見的預設切法換成它，答對題數從 49 題升到 65 題。

我也會講這個比較有哪些地方我覺得不能講太滿，以及它的代價：事先整理文件要多花時間，其中一個評分工具目前只支援英文。

這集談的是開發者在做的事，不是教你怎麼調 ChatGPT，適合做或想了解公司知識庫、客服機器人的人；不需要讀過論文或會寫程式。

這集你會知道

• AI 查文件答非所問，有時問題不在 AI 不夠聰明，而是文件一開始就被切壞了，例如代名詞和它指的東西被切到兩邊
• 不必跑完整個 RAG，就能替切法打分的五個檢查角度，以及系統怎麼替每份文件挑出最適合的切法
• 只換切法、其他環節不變，99 道題的答對題數從 49 題（常見預設切法）升到 65 題；而五個檢查的平均分只差約 2.5 分（滿分 100，91.07 對 88.62），為什麼到最後被放大好幾倍
• 兩個成本很低的補救做法：太大的塊重切、太小的碎片合併，你自己做 RAG 也能先試
• 這集不是 RAG 入門，也不是實作教學；我也會講實驗有哪些地方我覺得不能講太滿

章節

• 0:06 只換切法，答對題數差了 16 題
• 2:02 RAG 答非所問，問題出在哪一步
• 5:53 切法工具箱：先整理文件，再準備兩種新切法
• 10:30 補救機制：切壞的時候怎麼辦
• 12:34 不跑完整 RAG，怎麼替切法打分
• 17:23 系統怎麼替每份文件挑切法
• 21:01 成績單：切得好，答案真的比較準嗎
• 25:19 限制，以及我打的幾個問號
• 27:21 所以，我們到底學到了什麼

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/paper-intro/adaptive-chunking/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

AI 老是重複犯同樣的錯，能不能不動 AI 本身，只改它每次開工前會先讀的「操作手冊」（一份給 AI 看的文字檔，論文裡叫技能文件）來減少錯誤？

微軟的 SkillOpt 把改手冊這件事當成訓練來做（被訓練的是這份文字檔，AI 本身一點都不動）：

先讓 AI 跑一批任務找出錯在哪，每一步只准改幾處，而且改完要在 AI 沒練習過的題目上分數更高才收下，否則退回。

在論文測的 52 種情境（換不同的 AI、不同的測試題、不同的工具環境）中，它都是最佳或並列最佳；例如在 Claude Code（一種會自己操作電腦的 AI 程式環境）做試算表任務，百分制的分數從 22.1（沒有手冊時）升到 80.4。

這集用白話拆解它怎麼運作、成績怎麼看，以及它的代價與適用前提。談的是 AI Agent（能自己操作工具完成任務的 AI）背後的說明文件，是開發者在做的事，不是教你調 ChatGPT 的提示詞，適合想知道 AI 產品背後怎麼被改進的人。不需要讀過論文或會寫程式，用過 ChatGPT 就聽得懂。

這集你會知道

• 為什麼讓 AI 自己反覆改提示詞，常常越改越糟：只盯最近的錯、越補越肥，還會悄悄忘掉舊教訓
• 手冊怎麼被「訓練」：先跑一批任務找出錯在哪、每一步只准改幾處，再拿 AI 沒練習過的題目檢查，贏了才收下，就像考試不能偷看考卷
• 一份在 Codex（另一種會自己操作電腦的 AI 環境）練出來的手冊，直接搬到 Claude Code 用，試算表分數從 22.1 升到 81.8，比在 Claude Code 自己練的 80.4 還高；也有我對照論文結果表格發現、反方向搬沒有這樣結果的地方
• 它的代價與前提：訓練一份手冊要消耗數千萬到上億個 token（AI 計算用量的單位），還得有能自動打分數的任務，所以適合反覆執行的正式任務
• 這集不是教你怎麼改自己的 ChatGPT 提示詞，也不是實作教學

章節

• 0:06 一份文字檔，怎麼被「訓練」出來
• 1:55 AI 自己改提示詞，為什麼越改越糟
• 4:37 把手冊當成可以被訓練的東西
• 8:10 誰說改得好？一場不能作弊的考試
• 10:30 一個訓練步驟裡到底發生什麼事
• 14:51 每次最多改幾處，以及怎麼不忘記舊教訓
• 19:00 成績單：實際進步了多少
• 23:48 它的限制：哪些情況會吃緊
• 26:55 所以，我們到底學到了什麼

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/paper-intro/skillopt/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

AI 老是重複犯同樣的錯，能不能讓它自己寫一本「失敗筆記」，下次照著改？一篇叫 WikiSkill 的研究實測了這件事：

有了筆記，AI 在數學、試算表、網路問答、長文件問答這四類任務上的平均答對率，從 48.7%（沒有筆記時）升到 63.7%。但筆記要給對地方，給錯了，效果反而打折。這集用白話拆解這個做法怎麼運作、實驗證明了什麼，以及研究自己沒驗證到的地方。談的是 AI Agent（能自己查資料、操作工具完成任務的 AI）在反覆執行任務時怎麼累積經驗，不是聊天時的失誤。「操作手冊」（論文裡叫 skill）是它做事前會先讀的說明文件。不需要讀過論文或做過 AI 開發，用過 ChatGPT 就聽得懂。

這集你會知道

• 為什麼 AI 改了好幾輪操作手冊，學到的教訓卻一直留不下來，失敗筆記又是怎麼由不同的 AI 分工解決的
• 一個真實案例：AI 在模擬的家裡找東西（一種測試 AI 的虛擬環境），卻一直重複「拿起、檢查、放回」，筆記怎麼幫它跳出迴圈
• 為什麼同一本筆記，給改手冊的 AI 讀有用，給做事的 AI 讀效果反而更差
• 研究最想主張「整理成條理分明的筆記，勝過照時間順序記流水帳」（像主題分類的筆記本，對比只按日期寫的日記），但實驗沒有直接拿這兩種做法來比
• 這集不是教你怎麼叫 ChatGPT 記筆記，也不是實作教學

章節

• 2:14 為什麼 AI 改了好幾輪，卻一直學不到教訓
• 4:42 失敗筆記怎麼運作：誰做事、誰整理、誰改手冊
• 9:53 一個 AI 卡在「拿起、檢查、放回」的迴圈，怎麼靠筆記脫身
• 12:12 加了筆記，成績進步多少？小模型也能打贏大模型
• 16:48 一個 AI 學到的手冊，換另一個 AI 用會更好還是更糟
• 20:26 同一本筆記，為什麼給改手冊的 AI 有用、給做事的 AI 卻變差
• 23:48 研究最想證明的那件事，其實沒被證明
• 26:54 這套做法比較省成本嗎？
• 28:32 聽完之後，我帶走哪幾件事

原文

這集提到的架構圖和實驗數據，用聽的實在沒辦法。完整的筆記我寫在部落格上：

https://datasciocean.com/paper-intro/wikiskill/

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

官方喊比前沿大模型快193.6倍、便宜444.6倍,而且不會產生幻覺。好幾組獨立團隊真的拿去實測,倍數卻掉到不到八分之一——但沒有一組抓到造假。這集把官方數字怎麼算出來的、四個混淆變因,還有背後那套叫RLCD的訓練方法,一次拆開講清楚。

這集你會知道

• 官方的193.6倍是怎麼精挑細選出來的,拆開之後真正的倍數是多少
• 「機率校準」是什麼,為什麼大模型講得越篤定,反而越可能是校準壞掉
• 四個混淆變因,一套可以拿去拆穿任何誇大benchmark的習慣
• 什麼任務適合用這種輕量模型、什麼任務碰都不要碰的一句話規則
• 這是拆解與評論,不是操作教學——不會教你怎麼串接Jev的API

章節

• 2:01 這家新創想補的,是哪一塊沒人補上的空隙
• 4:25 TypeSafe AI是誰:創辦人的背景要分層看
• 6:10 所謂一次forward pass,到底是什麼意思
• 10:00 從RLHF到RLCD:機率為什麼需要另外訓練校準
• 17:12 193.6倍是怎麼算出來的
• 20:58 第三方獨立測試,真正的倍數落在哪裡
• 24:40 什麼任務適合交給Jev,什麼絕對不要
• 30:09 行銷包裝 vs 技術本質:三個被放大的地方
• 32:47 這集脫離Jev也用得上的判斷框架

原文

這集提到的架構圖和實驗數據,用聽的實在沒辦法。完整的筆記我寫在部落格上:

https://datasciocean.com/ai-concept/jev-overview/

因為本人比較害羞,本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時寫的筆記。

同一個團隊做了兩個版本，一個簡單、一個用知識圖譜。照理說複雜的那個應該比較強，結果四類問題裡它輸了兩類 —— 而論文對這件事，一句解釋都沒有。這集我們把 Mem0 的記憶管理拆開來看,它其實只有四個動作；最後再回頭看那個沒被解釋的結果，講講我自己的猜測。

這集你會知道

• 為什麼 AI Agent 會忘記事情，以及「把記憶體開大一點」為什麼治不好這個病
• Mem0 的記憶管理只有四個動作，簡單到你聽完就能用在自己的專案上
• 這篇論文真正證明的東西，跟它標題宣稱的不太一樣
• 知識圖譜版本反而在 multi-hop 問題上輸了 —— 論文沒解釋，我講講我的猜測

章節

• 0:06 複雜的那個版本，輸了
• 1:52 AI Agent 為什麼會忘記事情
• 3:41 「把記憶體開大一點」為什麼治不好
• 6:45 Mem0 怎麼記東西：只有四個動作
• 11:46 加上知識圖譜的那個版本
• 16:31 實驗怎麼測，測出了什麼
• 24:07 我對這篇論文的幾個意見
• 25:36 所以，我們到底學到了什麼

原文

這集提到的架構圖和實驗數據,用聽的實在沒辦法。完整的筆記我寫在部落格上:

https://datasciocean.com/paper-intro/mem0/

---

因為本人比較害羞，本集音訊交由 AI 語音合成。Podcast 內容主要基於我自己讀論文時候寫的筆記。