EasyVibeCoding Podcast

EasyVibeCoding Podcast

By EasyVibeCodingTechnology
Download on the App Store

All EasyVibeCoding Podcast episodes

  • Cursor 推出 Google Workspace Plugins:coding agents 可直接操作 Gmail、Drive、Calendar、Docs 與 Sheets

    Cursor 推出 Google Workspace Plugins:coding agents 可直接操作 Gmail、Drive、Calendar、Docs 與 Sheets。

    2026 年 8 月 4 日,Cursor 表示這些 plugin 已可從 Cursor 的 Customize page 安裝,並提供變更紀錄。
    Cursor 與 Google Workspace 的品牌標誌組合
    核心能力 這項整合讓 Agent 不必離開 Cursor,就能取得工作脈絡、草擬與更新文件,以及管理收件匣和行事曆。各項 plugin 支援:
    Google Drive:搜尋檔案與資料夾、開啟及下載內容、建立與整理檔案。
    Gmail:搜尋與閱讀郵件、草擬及寄送訊息、套用標籤並管理郵件串。
    Google Calendar:讀取行程、建立及更新活動、尋找可用時段。
    Google Docs:開啟與閱讀文件、撰寫及編輯文字、建立新文件。
    Google Sheets:讀取儲存格範圍與尋找值、更新儲存格、建立及編輯試算表。
    安裝方式 使用者可在 Cursor Marketplace 瀏覽新的 plugin,或從 Cursor 的 Customize page 進行安裝;變更紀錄另指引使用者參閱官方文件。Cursor 官方變更紀錄標示日期為 2026 年 8 月 3 日,內容則具體列出五項 Google Workspace 服務的可操作範圍。

    原文:https://easyvibecoding.app/curated/2836-cursor-launches-google-workspace-plugins-coding-agents

    2 min
  • Qwen3.8-Max 以 2.4T 參數拿下多項視覺評測第一,將於下週開源模型權重

    Qwen3.8-Max 以 2.4T 參數拿下多項視覺評測第一,將於下週開源模型權重。

    發表重點 Qwen 在 2026 年 8 月 3 日宣布 Qwen3.8-Max,稱其為目前能力最強的模型,並預告下週釋出 open weights;Qwen3.8-27B 也將同步開放權重。貼文將 Qwen3.8-Max 定位為 coding 與 cowork 的新門檻,模型規模為 2.4T parameters,主打從空白資料夾一路完成 production 專案、在多輪工作中自主規劃,以及把視覺理解納入持續的執行與自我修正迴圈。
    Qwen 團隊另在 2026 年 8 月 2 日發布文章「Qwen3.8-Max: A New Bar for Coding and Cowork」,宣稱這是 Qwen 家族首次開放 Qwen-Max-class weights。文章指出,模型建立在 Qwen3.5 的 architectural foundation 上,強化 advanced coding、complex multi-step workflows 與 interactive human-AI collaboration;不過目前公開內容主要是能力主張與展示,實際權重、評測方法、硬體需求與開放授權細節仍應等待正式發布。
    自主開發能力 Qwen 將 Qwen3.8-Max 的核心能力描述為能在沒有人工逐步指示的情況下,持續超過 10 天的 self-evolving development。貼文同時以「16 days autonomous coding」作為展示主題,聲稱模型可從空白資料夾開始,經歷規劃、程式撰寫、測試、修正與交付,最後產出 production-quality 結果,並在 GitHub 保留完整專案軌跡。相關專案是 oh-my-cli,完整程式庫位於 qwen-code-dev-bot/oh-my-cli。
    Qwen3.8-Max 以 16 天 Autonomous Coding 打造 oh-my-cli harness 的全記錄與過程展示
    這項展示的重點不只是模型一次產生多少程式碼,而是讓 Agent 在長時間 loop 中維持 workspace 狀態、保存 session、處理失敗、重試 provider request、檢查變更,並在需要時恢復工作。oh-my-cli 是以 Node.js 22、TypeScript 與 ESM 建置的小型 code-agent CLI,提供 read、list、glob、grep、write、edit 與 shell 等工具,採 Apache License 2.0。
    安裝與基本檢查流程如下:
    `bash
    npm install
    npm run build
    oh-my-cli --doctor
    `
    開發與整合測試流程則為:
    `bash
    npm run build
    npm run typecheck
    npm test
    npm run test:integration
    npm run smoke
    `
    其中 npm run test:integration 使用 fake provider、無 network;npm run smoke 針對 built binary 執行測試,也會驗證 docs/FIRST-RUN.md 中記載的 first-run commands。Release 前則必須遵循 docs/RELEASE.md,其中包含 supported platforms、artifact verification 與 rollback evidence。
    長時間規劃與工作成果 Qwen 宣稱 Qwen3.8-Max 能進行 system-level autonomous planning,搭配 closed-loop adaptive learning,處理需要大量來回修正的工作。貼文給出的具體展示包括:
    500+ turns 的 chip design optimization。
    365 天的 e-commerce strategy。
    跨數百種職業產出 production-quality deliverables。
    從 dynamic workflows 到 quant strategies 的展示。
    Qwen3.8-Max 在量化策略(Quant Strategies)中執行的動態工作流與多維度因子挖掘效能評比
    針對任何職務進行「build beyond」的 cowork。
    以 visual agentic intelligence 將影像從單純輸入轉為持續回饋來源。
    這些數字呈現的是 Qwen 團隊對長視野 Agent 的定位:模型不只回答問題,而是要維持目標、觀察中間結果、調整計畫,再繼續執行。然而,500+ turns、365 天策略與 10 至 16 天自主開發目前屬於官方展示或宣稱,不能直接等同於所有使用者環境中都能穩定重現的 production 保證;成本、工具可靠性、外部服務可用性與人工審核仍會影響結果。
    視覺與互動能力 Qwen 將 native multimodal intelligence 描述為「Vision isn't just input」:視覺資訊不只是讓模型看懂圖片,而是參與 planning、execution 與 self-correction 的連續 feedback loop。這代表模型可能在讀取螢幕、檢視圖表、分析設計結果或觀察執行狀態後,重新修訂下一步行動。
    Qwen3.8-Max 展示涵蓋長篇文件解析、圖像轉 3D、遊戲開發 agent 與 100 小時影片記憶等多模態能力的概覽與操作演示
    目前 oh-my-cli 的 CLI 介面支援以 --image 傳入 PNG、JPEG、GIF 與 WebP,也可在互動介面透過 /attach 附加圖片。來源擷取內容沒有提供完整的視覺模型 benchmark 數字,因此不宜把「VL Performance」展示主題解讀為已獲得獨立評測驗證。
    價格與使用入口 Qwen 公布 Qwen3.8-Max 的價格為:
    Input:每 M tokens 2.0 美元。
    Output:每 M tokens 6.0 美元。
    Implicit Caching:每 M tokens 0.25 美元。
    使用者可透過 Qwen Studio、Qwen Cloud API 與 官方 Blog 了解模型與服務。貼文也提供 Arena.ai Text Arena leaderboard 作為文字能力比較入口,但來源沒有提供 Qwen3.8-Max 在該排行榜上的具體名次或分數。
    Alibaba 憑藉 qwen3.8-max 模型在 Text Arena 排行榜以 Model Score 1496 ±10 取得 Lab Rank 第 2 名。
    設定與 credential 邊界 oh-my-cli 可透過 environment variables 或使用者擁有的 ~/.oh-my-cli/settings.json 設定 provider;也可用 --settings 指定設定檔。environment variables 永遠優先,credential 不會寫入檔案,只保存 credential 所使用的 environment-variable 名稱。預設必填 OPENAIAPIKEY 與 OPENAIMODEL;若由 settings file 提供,則不必在 environment 中設定,OPENAIBASE_URL 預設為 https://api.openai.com/v1。
    Qwen 相容 endpoint 的設定範例如下:
    `json
    {
    "model": {
    "baseUrl": "https://dashscope.aliyuncs.com/compatible-mode/v1",
    "name": "qwen-latest-series-invite-beta-v77",
    "apiKeyEnv": "DASHSCOPEAPIKEY"
    },
    "mcpServers": {},
    "extensions": {}
    }
    `
    欄位優先序為:
    Base URL:OPENAIBASEURL > model.baseUrl > built-in default。
    Model:OPENAI_MODEL > model.name。
    Credential:OPENAIAPIKEY > model.apiKeyEnv 指向的變數。
    Project 內 settings file 不會自動發現,以避免 untrusted repository 重新導向 endp…

    19 min
  • MiniMax 公開 H3 全模態影片生成模型,最高輸出 2K、15 秒立體聲影片

    MiniMax 公開 H3 全模態影片生成模型,最高輸出 2K、15 秒立體聲影片。MiniMax 於 2026 年 8 月 3 日宣布開放模型,模型頁面位於 Hugging Face 。

    以偵探風格呈現的 MiniMax H3 宣傳短片,展示文字、圖像、聲音與影片等多模態生成功能。
    核心能力 MiniMax-H3 支援 4~15 秒影片、24 FPS、32 kHz 立體聲,以及 21:9、16:9、1:1、9:16 等多種畫面比例;穩定支援阿拉伯文、中文、英文、法文、德文、義大利文、日文、韓文、葡萄牙文、俄文與西班牙文共 11 種對話語言。H3-Base-FL2VA 可接受零至兩張圖片,支援文字生影片、首幀/末幀生影片與首末幀生成;H3-Base-Ref2VA 則可混合最多 9 張圖片、3 段影片與 3 段音訊,所有輸入檔案合計最多 12 個。
    MiniMax H3 的 Next-Generation Open-Weights General-Purpose Multimodal Video Model 形象標題畫面
    系統架構 完整系統由 H3-Context-IR、H3-Base 與 H3-Regenerate-2K 組成:前者負責解析跨模態關聯、時間脈絡與複雜推理,H3-Base 先生成 768p 結果,再由 H3-Regenerate-2K 依原始脈絡重生成 2K,以保留小字與細節。H3-Omni-Transformer 是 33B 參數的 dense 單流 Transformer;另有 H3-Encoder 使用 Qwen3-VL-32B 的完整預訓練權重,取其第 50 層 hidden states 餵給前者。H3-Omni-Transformer 的完整權重已釋出,但初始版本僅提供 full attention,sparse attention 將於後續更新推出。
    MiniMax H3 System Overview 的系統架構流程圖,分為 Context Understanding、Base Generation 與 High-Resolution Regeneration 三個主要階段。
    MiniMax H3-Base 的多模態編碼、上下文序列打包、統一生成與解碼架構圖
    開放範圍與限制 H3-Context-IR 與 H3-Regenerate-2K 因依賴多階段 hosted models 與服務,尚未開源,官方改以 API 驗證結果;使用者可在本機部署 H3-Base,或結合 Open Platform API 執行端到端 2K 流程。文字、圖片、影片與增強後 prompt 會經自動審核,疑似違法、色情或侵害第三方權利的內容可能遭封鎖,且官方提醒仍可能出現誤判。

    原文:https://easyvibecoding.app/curated/2824-minimax-releases-h3-multimodal-video-generation-model

    3 min
  • DeepSeek-V4-Flash 以開源與低至每百萬 Token 0.14 美元推進 Agentic 能力普及

    DeepSeek-V4-Flash 以開源與低至每百萬 Token 0.14 美元推進 Agentic 能力普及。

    市場影響 @infwinston(Wei-Lin Chiang)認為這次 DeepSeek 的發布討論度不足;他指出,DeepSeek-V4-Flash 將 intelligence/$ frontier 推進一個數量級,開源特性可把強大的 Agentic 能力帶向大眾市場,讓可行應用案例一夜之間成長為十倍。
    評測與成本 Arena.ai 於 2026 年 8 月 1 日表示,DeepSeek-V4-Flash-High 在 Frontend Code Arena 以 1586 分重塑 Pareto Frontier;定價為每 MToken 0.14/0.28 美元,在同級模型中具最佳效能/價格表現。
    DeepSeek-V4-Flash-High 在 Frontend Code Arena 的 Pareto Frontier 圖中標示 Score 1586、價格 $0.25/M;圖中綠線連接多個具名 frontier 點。

    原文:https://easyvibecoding.app/curated/2818-deepseek-v4-flash-open-source-agentic-ai-affordability

    2 min
  • Firecrawl 開源 pdf-inspector:純 Rust 本機解析引擎,PDF 不經 OCR 直接轉成結構化 Markdown

    Firecrawl 開源 pdf-inspector:純 Rust 本機解析引擎,PDF 不經 OCR 直接轉成結構化 Markdown。

    核心發布 Firecrawl 表示,pdf-inspector 與自家 OCR 模型一起驅動 /parse,每頁處理速度可達 0.002 秒;Nicolas Camara 指出,分類 PDF 約需 20ms、200 份 PDF 可在 2.8 秒完成,並能在本機擷取高品質表格與圖表內容。Firecrawl 說明,約 54% 的 PDF 並不需要 OCR,這類純文字 PDF 在本機可於 200 毫秒內處理完成。專案由 Firecrawl 開源(github.com/firecrawl/pdf-inspector),採 MIT 授權;Nicolas Camara 另發文致謝 @abimaelmartell 主導開發。
    技術能力 pdf-inspector 可辨識 TextBased、Scanned、ImageBased 與 Mixed PDF,回傳信心分數及需要 OCR 的頁碼;它支援文字位置、字型資訊、多欄閱讀順序、RTL 文字、CID 字型與編碼問題偵測,並能將標題、清單、程式碼區塊、表格、粗體/斜體、超連結與分頁轉成 Markdown。整體採純 Rust、無 ML model、無外部服務,文件只解析一次,也可透過 Python、Node.js、瀏覽器 WebAssembly 與 Rust 使用。
    效能與定位 在 2026 年 7 月 31 日、Apple M4 Pro 上的 200 份 PDF opendataloader-bench 測試中(該測試只列入不使用模型解析的本機引擎,且關閉 OCR),pdf-inspector 整體分數 0.875、閱讀順序 0.915、表格 0.814,完整執行速度 0.470 秒;相較 LiteParse 的 0.750 秒、OpenDataLoader 的 2.569 秒與 PyMuPDF4LLM 的 17.117 秒,整體、閱讀順序、表格與速度表現均具優勢,但標題分數 0.788 低於 LiteParse 的 0.811。其最適合原生文字 PDF,例如研究報告、論文、財務文件、發票與法律文件。
    Firecrawl 的發布圖:一份美國專利 PDF 正被 pdf-inspector 解析成 Markdown,圖上標示 Parsing 進行中
    CLI 使用 來源提供以下完整指令:
    `bash
    cargo install pdf-inspector
    pdf2md document.pdf
    pdf2md document.pdf --json
    pdf2md document.pdf --items-json
    pdf2md document.pdf --raw
    pdf2md document.pdf --compact
    pdf2md document.pdf --pages
    pdf2md document.pdf --select-pages 1,3,5-10
    detect-pdf document.pdf
    detect-pdf document.pdf --json
    detect-pdf document.pdf --analyze --json
    `
    其中 --compact 可降低 token 使用量,--pages 插入頁碼標記,--select-pages 僅處理指定頁面;從原始碼建置時則使用 cargo run --bin pdf2md -- document.pdf 或 cargo run --bin detect-pdf -- document.pdf。

    原文:https://easyvibecoding.app/curated/2814-firecrawl-open-source-pdf-inspector-rust-pdf-to-markdown

    4 min
  • Karpathy 給 Opus 5 一段《魔戒》開場文字與 1M token(約 10 美元)預算,它跑了約 2 小時、寫出 5,500 行程式碼

    Karpathy 給 Opus 5 一段《魔戒》開場文字與 1M token(約 10 美元)預算,它跑了約 2 小時、寫出 5,500 行程式碼。

    實驗背景 Andrej Karpathy 在 2026-08-02 分享,他認為人們正逐漸離開以「建立一個腳踏車上的鵜鶘 SVG」測試大型語言模型的階段。為探索更一般化的能力,他提供 Opus 5《魔戒》第一段文字、1M token 的預算(約 10 美元),要求模型以 three js 將內容呈現出來。
    生成成果 Opus 5 執行約 2 小時,寫出 5,500 行程式碼,以程序化方式描繪故事。成果雖然有些粗糙、帶有不少 jank,卻仍令人驚訝:模型必須自行安排各種 polygon asset,將它們放置並編排在 (x,y,z) 座標中,再撰寫程式碼讓整體場景動起來,而且最後確實產生了可運作的結果。輔助影片畫面顯示,demo 採用低多邊形 3D 風格,呈現丘陵、哈比人洞穴、路徑、木柵欄、花圃與河流,也以字幕與角色演出《魔戒》中比爾博·巴金斯慶祝一百一十一歲生日等橋段,畫面中還出現一塊寫著「BY ORDER OF MR. BILBO BAGGINS OF BAG END」的宴會告示牌。
    低多邊形風格的丘陵地表與哈比人洞穴 3D 動畫短片
    創作門檻下降 Andrej Karpathy 認為,這類作品的價值在於,正常情況下沒有人會投入時間製作如此客製化的內容;但大型語言模型擁有近乎無盡的耐力與耐心,讓「沒有人會做」轉變為「反正幾乎免費,為什麼不做」。這可能開啟更多一次性、按需生成的體驗,例如讓玩家進入《魔戒》世界,成為旁觀的 NPC、故事角色,或其他身分,形成「隨需生成的某個 X 的短暫 GTA」式世界。
    核心限制 世界與遊戲也暴露出大型語言模型的弱點:它們目前無法輕易有效地檢查自己的成果,因為還不能高效率、原生地理解影片,或在生成的遊戲中實際遊玩。這次 Opus 5 只能在不同時間點緩慢且費力地擷取螢幕畫面,因此出錯了幾次,也累積了不少粗糙之處。Andrej Karpathy 認為,這正是多模態理解與 gameplay 這類原始能力仍相當欠缺的例子。

    原文:https://easyvibecoding.app/curated/2813-karpathy-opus-5-lord-of-the-rings-3d-render

    3 min
  • Seedance 2.5 上線 Dreamina:原生 30 秒單次生成、長影片模式最長 3 分鐘,先開放訂閱戶與五大區

    Seedance 2.5 上線 Dreamina:原生 30 秒單次生成、長影片模式最長 3 分鐘,先開放訂閱戶與五大區。

    一支以洗衣機會吃襪子為題材、帶有黑色幽默風格的 AI 生成影片廣告與其幕後創作介面
    核心功能與亮點
    Dreamina 官方平台與 BytePlus 正式宣佈推出 Dreamina Seedance 2.5,主打電影級的生成品質與精準控制:
    單次生成即可產出原生 30 秒影片,並支援最長 3 分鐘的長影片模式,確保長時間播放的一致性。
    支援最多 50 個多模態參考輸入,現已新增支援 3D 白模(white models)與綠幕素材,讓 AI 生成能真正對接實際影視製作流程。
    提供全新的互動式編輯體驗,使用者能重新塑形畫面中的任一部分(例如將盆栽仙人掌換成鴕鳥)、調整時間軸長度,並進行精準至 1 秒的時間戳記控制。
    具備更逼真的光影表現、更豐富的動態細節,並支援多語言影片生成與多語言場景對話。
    推出適用於 Maya 和 Blender 的 Dreamina AI plugin,專為影視級生產線打造。
    Dreamina 推出 Seedance 2.5 影片生成功能與進階編輯工具的宣示影片
    各平台與服務商上線動態
    各大 AI 創作平台與服務商也紛紛預告或推出 Seedance 2.5 的支援與限時優惠:
    BytePlus 表示企業級 API 存取將於近期推出;Dreamina AI 訂閱戶即日起可在東南亞、中東、非洲、歐洲與南美洲等地區搶先使用該模型。
    SEEDANCE 2.5 影片生成工具推出與 14 天無限次使用方案宣傳畫面
    Higgsfield AI 預告將推出 Seedance 2.5,並祭出 14 天無限次使用方案(包含 7 天無限次使用 4K Seedance 2.0,以及隨後切換至其他 Seedance 模型的 7 天無限次權益)。
    SEEDANCE 2.5 宣傳影片展示延伸影片長度、參考輸入增強、影片編輯增強及多語言支援等功能。
    Astorie AI 宣布 Seedance 2.5 已在平台上線(包含美國地區),支援 30 秒一鏡到底、真實物理模擬與 50 個參考輸入,並推出限時 72 小時的互動贈點活動(完成互動可獲 300 點免費 credits)。
    Renoise 亦預告將引入 Seedance 2.5,支援單一短片原生輸出 30 秒影片、最多 50 個多模態參考輸入及原生 4K 影片生成。
    「RENOISE X SEEDANCE SEEDANCE 2.5 COMING SOON」宣傳畫面

    原文:https://easyvibecoding.app/curated/2808-seedance-dreamina-25-launches-30-second-generation

    3 min
  • MiniMax H3:打破任務與模態界線的開放模型

    MiniMax H3:打破任務與模態界線的開放模型

    今天,我們推出通用型多模態生成模型 MiniMax H3。H3 能夠理解橫跨文字、圖片、影片與音訊的統一 context,並能原生生成具備立體聲、最高 15 秒且解析度達 2K 的影片。
    早期測試顯示,H3 已準備好應用於各種使用情境的商業內容創作,並在指令遵循(instruction following)、精確的文字與品牌渲染(rendering),以及 V2V(影片到影片)動作遷移(motion transfer)方面表現出色。憑藉著精確、可控的多模態生成與編輯能力,H3 非常適合應用於廣告、品牌行銷、電子商務、產品設計、UI/UX、遊戲等領域。
    在 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 和 In-Context Regeneration 等技術的驅動下,H3 提供了業界領先的性價比。我們預設提供 2K 解析度。在 2K 解析度下,H3 的每秒價格不到主流模型的三分之一;而在 768p 解析度下,價格則不到主流模型 720p 的一半。
    長期以來,閉源模型一直主導著影片生成領域,其迭代速度較慢,生態系統也不如大型語言模型等領域開放。為了支援開源社群、加速與更廣泛 AI 硬體相容,並讓使用者更容易打造專屬的自定義版本,我們計畫在遵守適用法律和法規的前提下,於未來幾天內開源模型權重。硬體相容性一直是 H3 設計初期以來的關鍵考量。
    ---
    H3 模型亮點
    多模態 context 理解
    真實的創意工作需要在多個模態之間融合複雜資訊,並將圖片、音訊、影片等作為輸入來源。例如,以下鏡頭的 prompt 是:「參考影片 1 中的希區考克式鏡頭運動(Hitchcock camera movement),讓圖片 2 中的角色唱歌,且歌聲要與音訊 3 相符。」只需用文字描述 context 與目標影片之間的關係,H3 就能自行處理複雜的全模態理解。
    多模態輸入
    展開畫面重點畫面為戶外咖啡座的實景拍攝。主體是一位留著黑色蓬鬆捲髮、臉上有明顯雀斑的年輕女性,身穿白色上衣與藍色吊帶褲,手腕戴著多色手環,正低頭捧著一個小型白瓷杯飲用。背景為歐式街景,左側可見「CAFÉ」字樣的招牌,並有其他顧客坐在藤編座椅上用餐,整體光線明亮。
    (原文此處為 H3 生成影片,未收錄)
    2K 效能
    原生立體聲
    ---
    H3 使用情境
    電影開場片頭
    產品網站
    動態海報
    廣告與電子商務
    ---
    H3 的設計哲學
    打破任務之間的界線:從專用走向通用
    我們先前已經開發過兩代模型:海螺 01(Hailuo 01)從零開始建立了系統,而海螺 02(Hailuo 02)則專注於改善核心元件,例如架構效率、資料品質與規模。
    在設計 H3 時,我們意識到先前生成式模型在任務界線上的限制:圖片生成通常被拆分為 T2I(文字轉圖片)、編輯、主體參考、動作參考和風格參考等不同的專家模型;音訊生成中的語音、音效和音樂,很大程度上也被視為獨立的領域研究;影片生成則進一步碎片化為文字轉影片、圖片轉影片、首尾幀、主體參考、動作參考、語音參考、影片編輯等,圖片、影片和音訊之間也存在著清晰的界線。
    這些孤立的任務、能力和模態在實務上限制了創作自由,而在訓練方面,也限制了模型的泛化能力。這兩點都表明,無論是在應用範式還是訓練範式上,都有很大的改變空間。因此,指導 H3 開發的第一原則就是跨任務的統一與泛化。
    基於此,以下是 H3 預訓練範式的簡要概述:
    資料與任務
    文字轉圖片
    文字轉影片
    伴隨聯合生成的音訊,所有音訊輸出皆為原生立體聲
    原生多鏡頭建模
    文字轉音訊
    語音、音效與音樂之間沒有區隔——全部進行聯合建模
    廣義參考與編輯
    圖片到圖片的參考與編輯
    圖片到影片的參考與編輯
    音訊到音訊的參考與編輯
    音訊影片到音訊影片的參考與編輯
    在我們的設計中,「廣義參考與編輯」意味著:
    完全由真實、自然的資料構建,賦予其強大的資料可擴展性。
    參考與編輯關係透過自然語言表達,而不侷限於固定的任務集;語言(廣義上的智慧結構)是通往泛化的橋樑。
    架構
    儘早融合多樣化的資料類型與任務——合適的混合比例是關鍵。
    訓練策略
    在訓練過程中儘早融合多樣化的資料類型與任務——合適的混合比例是關鍵。
    這些選擇都指向同一個目標:從預訓練階段開始,賦予 H3 廣泛的多模態 context 理解與生成能力。
    我們稍早談到了訓練範式的轉變,那麼影片模型的應用版圖又是如何變化的呢?
    我們看到創作者直接用自然語言描述他們的意圖,而不只是輸入簡單的視覺 prompt。隨著多模態理解、指令遵循和複雜任務執行的不斷提升,影片模型將能夠掌握更完整的創作意圖,處理更複雜的內容需求,並逐漸從「生成片段」真正參與到整個內容生產過程中。
    ---
    H3 的技術選擇
    H3 的設計哲學很簡單——但建構過程絕非如此。從海螺 01(Hailuo-01)到海螺 02(Hailuo-02)再到 H3,每一代模型的工程複雜度都比上一代大約成長為 10 倍。
    以下簡要介紹 H3 的幾項核心技術:
    H3-Contextual Omni Representation
    在工程化 H3 的過程中,我們做過最重要的事情之一就是強化其標註(captioning)能力。
    引入多模態 context 進一步擴大了「標註」需要涵蓋的範圍,我們不再只是描述目標影片,還要描述 context 與目標影片之間的關係,甚至是 context 內部元素之間的關係。
    我們需要聯合描述影片與音訊,而這種音影關係在多個鏡頭之間會變得更加複雜。
    這本質上是一種 Contextual Omni Representation 的形式,其中語言扮演著可泛化的橋樑與解譯器,將「任務」統一為開放的描述性形式。這就是 H3 具備廣泛指令遵循能力的根源。
    為了實現這一點,我們建立了專用模型和全模態理解管道。大多數原始素材都需要大約 100K token 的推論,並被蒸餾至平均約 4K token。
    H3-VAE:大幅提升架構效率
    H 系列不斷推進 tokenizer 技術。在 H3 中,我們徹底改造了先前的 tokenizer,在重建品質與可學習性上實現了全面提升,讓 H3 在效率上具備競爭優勢。其高壓縮比也帶來了 4 倍的有效序列長度提升,大幅降低了訓練與推論成本,這也是我們支援原生 2K 解析度的關鍵技術。
    H3-Omni Transformer:為任務泛化而生的架構
    秉持著 H3「架構應為任務服務」的設計哲學,通用性與效率是僅有的兩個目標。值得一提的是,我們捨棄了海螺 02(Hailuo-02)的架構,儘管它曾帶給我們顯著的架構優勢,因為對於一個以任務泛化為核心的模型來說,它會引入不必要的複雜性。我們相信任務泛化是不可逆轉的趨勢,架構上的小技巧應該讓位於模型的定義方式。
    在 H3 中,多模態 context 的引入使序列長度的變異數增為三倍,理解與生成的運算工作負載也變得明顯異質化。我們採用了一種將理解與生成工作負載分離的訓練架構,針對每一種負載微調硬體利用率,同時兼顧單一樣本內的異質運算與跨樣本的負載平衡。端到端來看,這將訓練吞吐量提升了近 30%。
    H3-In-context Regeneration
    針對 H3 的 2K 輸出,我們沒有使用傳統的專用超解析度(super-resolution)模組,而是讓 H3 基礎模型在 context 內對自身的低解析度輸出進行重新生成(regenerate)。這帶來了兩個好處:首先,重新生成過程最大限度地重複利用了 H3 基礎模型內建的生成能力;其次,context 內的方法讓模型能夠再次利用原始的多模態 context 來產出高解析度輸出,恢復傳統超解析度只能「猜測」且往往無法還原的細節,例如小字型和精細細節。
    In-Context Regeneration 本身就是任務泛化的另一種表現形式。
    我們很快就會分享完整的 H3 技術報告。我們期待聽到您的意見回饋。
    ---
    我們的願景與下一步
    語言、圖片、影片和音訊是人類體驗的基本模態。它們深度互聯,是我們與世界互動的主要介面。它們共同構成了多模態 context,能夠高效傳遞豐富的資訊,而表達與分享資訊的能力本身就是一種生產力。
    對於多模態理解與生成,我們將語言視為一個可泛化、可擴展的計算系統。這就是為什麼我們堅信多模態智慧應該深深紮根於語言之中。
    H3 還有成長空間,以下是我們對未來版本的優先規劃:
    強大的多模態理解是高品質生成的基礎,且仍有很大的提升空間。在下一代的 H 系列中,我們計畫整合 M 系列模型…

    12 min
  • DeepSeek-V4-Flash 公開測試版上線:架構與尺寸不變,僅 API 端升級 Agent 能力

    DeepSeek-V4-Flash 公開測試版上線:架構與尺寸不變,僅 API 端升級 Agent 能力。

    發布重點與適用範圍
    DeepSeek 官方 API 於 2026 年 7 月 31 日正式推出 DeepSeek-V4-Flash 公開測試版。
    此次升級大幅強化了模型的 Agent 能力,評測分數超越 V4-Pro-Preview 版本。
    官方 V4-Flash 原生支援 Responses API 格式並完全適配 Codex。
    DeepSeek-V4-Flash-0731 的模型架構與尺寸與 preview 版完全相同,本次僅為 API 端升級。
    此次升級僅適用於 DeepSeek-V4-Flash API,DeepSeek-V4-Pro API 與 App/Web 模型目前維持不變,而 DeepSeek-V4-Pro 的官方正式版也即將推出。
    DeepSeek-V4-Flash-0731 在各項 Agent 與程式碼 benchmark 上大幅超越 DeepSeek-V4-Pro-Preview 與 DeepSeek-V4-Flash-Preview,且多數項目優於 GLM-5.2。
    Codex 整合與設定方式
    完整設定說明見 DeepSeek 官方 API 文件。
    目前僅 deepseek-v4-flash 支援與 Codex 整合,deepseek-v4-pro 預計於 2026 年 8 月初跟進支援。
    所有 Codex 客戶端(包含 Codex CLI、ChatGPT 桌面應用程式與 VS Code 的 Codex IDE 擴充功能)皆共用同一個設定檔。
    使用者可選擇以下其中一種方式完成設定:
    一鍵安裝指令(推薦):執行前請確保已安裝 Codex CLI 或 ChatGPT 桌面應用程式並至少啟動過一次(以確保 ~/.codex 目錄存在)。
    - macOS / Linux 使用者請在終端機執行需人工核對的高風險來源指令:
    `bash
    bash <(curl -fsSL https://cdn.deepseek.com/api-docs/codex-deepseek-setup-en.sh)
    `
    - Windows 使用者請在 PowerShell 執行需人工核對的高風險來源指令:
    `powershell
    irm https://cdn.deepseek.com/api-docs/codex-deepseek-setup-en.ps1 | iex
    `
    手動編輯設定檔:
    - 建立模型目錄檔案 ~/.codex/models.json 來宣告 DeepSeek 模型的元資料。
    - 編輯 Codex 設定檔 ~/.codex/config.toml(若不存在則建立),並加入以下內容:
    `toml
    model = "deepseek-v4-flash"
    model_provider = "deepseek"
    preferredauthmethod = "apikey"
    forcedloginmethod = "api"
    modelreasoningeffort = "high"
    modelcatalogjson = "~/.codex/models.json"
    [model_providers.deepseek]
    name = "deepseek"
    base_url = "https://api.deepseek.com/"
    wire_api = "responses"
    experimentalbearertoken = ""
    `
    開始使用與驗證
    設定完成後,各個 Codex 客戶端即可直接讀取共用設定檔,無需分別設定:
    - Codex CLI:進入專案目錄後執行 codex 指令:
    `bash
    cd /path/to/my-project
    codex
    `
    - ChatGPT 桌面應用程式:模型選擇器將顯示「Custom」,代表設定已生效。
    - VS Code 的 Codex IDE 擴充功能:安裝擴充功能即可直接使用。

    原文:https://easyvibecoding.app/curated/2807-deepseek-v4-flash-public-beta-agent-upgrade

    3 min
  • Google DeepMind 發布 Gemini Robotics 2:從腳到指尖的全身控制與多機協作

    Google DeepMind 發布 Gemini Robotics 2:從腳到指尖的全身控制與多機協作。

    核心功能與三大模型
    Google DeepMind 推出 Gemini Robotics 2,作為驅動下一代適應性機器人的智慧層,能讓機器人思考每個動作並完成複雜任務。該系統由三個模型組成:
    Gemini Robotics 2:最先進的視覺-語言-動作模型(VLA),能將視覺與語言輸入轉換為馬達控制,實現全身與雙臂的精細操控。
    Gemini Robotics ER 2:最具能力的具身推理模型(ER),作為機器人的高階大腦,能與人類溝通、理解實體世界並規劃持續數分鐘的多步驟任務,並支援多機器人協作。
    Gemini Robotics On-Device 2:最高效率的視覺-語言-動作模型(VLA),優化後可在機器人裝置上執行,只需數小時的資料就能快速適應全新的機器人硬體。
    Gemini Robotics ER 2 的標題畫面,右側為站立的人形機器人,左側為機械手臂,中間帶有彩色點雲視覺化的物體輪廓
    全方位控制與精細靈巧操作
    Gemini Robotics 2 擴展了實體人工智慧的應用範圍:
    全身動作:突破以往僅能控制上半身的限制,可控制完整人形機器人(如 Apptronik 的 Apollo 2),將指令轉換為智慧的全身控制,例如走動、拿取並放置物品。
    靈巧手部:解鎖不同的末端執行器操作,能控制 Apollo 2 機器人上的五指、22 個自由度的 SharpaWave 手部來執行打結或密封夾鏈袋等精細動作,也能操作 Franka Duo 平台的雙指平行夾爪。
    邊緣適應:On-Device 2 模型繼承自 Gemini Robotics 1.5 的「動作遷移」(motion transfer)技術,即使是感測器與自由度截然不同的 Dexmate、SO101 和 Trossen 等平台,也能在幾小時內完成適應——官方說明這類雙臂形體的適應通常只需要不到 200 筆範例。
    Gemini Robotics 2 介紹短片,展示人形機器人的全方位控制、精細手部操作與多機器人協同能力。
    多個機器手臂在不同場景(如書架整理、下棋、點擊螢幕、擺盤、操作保險箱與零件分類)進行操作的展示畫面
    白色人形機器人抬起一隻手掌,掌上與前方的帶柄物體覆有彩色點狀視覺化,另一隻金屬手正碰觸該物體
    汽車空調冷媒歧管壓力錶組的視覺標註畫面:框出藍色低壓錶與紅色高壓錶,標示 Manifold body 與兩側的低壓、高壓旋鈕,並在高壓錶指針上標出讀值(Reading:70)。
    代理推理與安全機制
    Gemini Robotics ER 2 能處理長達數分鐘、包含數百個決策的任務序列,在步驟失敗時自動修正,並支援多種機器人溝通協作。在安全性方面,Google DeepMind 導入了確保端到端安全與對齊的多層次方法:
    推出 ASIMOV-Agentic 基準測試,用於衡量代理安全協調與不確定性解析能力,例如評估代理拒絕來自 VLA 的不安全工具呼叫,以及主動請求人類介入的能力。
    Gemini Robotics ER 2 能在偵測到人類靠近時觸發安全工具呼叫,使機器人安全停止。
    詳見官方部落格〈Gemini Robotics 2 brings whole body intelligence to robots〉。

    Gemini Robotics 2 介紹短片,展示人形機器人的全方位控制、精細手部操作與多機器人協同能力。 影片中的 Prompt 與操作:

    操作步驟: 1. (00:00)介紹 Gemini Robotics 2 的人形機器人 Apollo 進行對話與動作展示 2. (00:08)示範機器人自主導航、移動物品與打桌球的實機畫面 3. (00:16)幾位研究人員分別說明 Gemini Robotics 2 的大腦控制、全身控制、靈巧手操作與多機器人協作等核心功能

    原文:https://easyvibecoding.app/curated/2795-google-deepmind-gemini-robotics-whole-body-control

    3 min