Karpathy 的 LLM wiki 不是 RAG:知識整理一次就持續累積,交叉引用自動建好。完整拆解三層架構、和 NotebookLM 的差異,以及為什麼他選擇分享 idea file 而不是程式碼。
⭐ 文章深度讀:完整拆解三層架構、RAG 差異、和 Karpathy 沒回答的三個問題
→ https://heymaibao.com/karpathy-llm-wiki-idea-file/
⚡ 章節重點
你的 AI 為什麼每次都從零開始 00:00
RAG 的根本問題在哪 00:33
LLM wiki 三層架構拆解 02:08
idea file:只分享想法不給程式碼 03:50
八十年的老問題 LLM 終於解了 05:10
📝 懶人包
∙ Karpathy 的 LLM wiki 和一般 RAG (讓 AI 從文件裡檢索答案的技術) 的核心差異:RAG 每次查詢都從原始文件重新檢索,LLM wiki 則是把知識「編譯」一次並持續更新,交叉引用已建好、矛盾已標出,不用每次重新拼湊
∙ 過去所有知識管理工具最後都死在「使用者放棄維護」,LLM 讓維護成本趨近零,解決了 1945 年 Vannevar Bush 提出 Memex 願景以來,一直沒人能回答的問題:誰來做維護?
∙ Karpathy 把這個想法寫成 idea file 分享,刻意只描述概念不提供實作。他主張在 agent 時代,分享想法讓對方的 agent 客製化建構,比分享特定實作更有價值
∙ 我的觀察:這個想法最有力的部分不是 wiki 架構本身,而是「維護成本歸零」的洞察。但 Karpathy 的經驗目前僅限約 100 篇文章的規模,idea file 的適用範圍也比表面看起來窄,它最適合工作流程和模式層級的分享,不太適合需要精確工程權衡的系統
📚 參考資料
Karpathy LLM wiki workflow 推文
→ https://x.com/karpathy/status/2039805659525644595
Karpathy idea file 推文
→ https://x.com/karpathy/status/2040470801506541998
llm-wiki gist
→ https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f