EasyVibeCoding Podcast

EasyVibeCoding Podcast

By EasyVibeCodingTechnology
Download on the App Store

All EasyVibeCoding Podcast episodes

  • 手臂動作、Codex 規劃同步進行,真機疊毛巾的中位耗時降至約 6 分鐘

    手臂動作、Codex 規劃同步進行,真機疊毛巾的中位耗時降至約 6 分鐘

    機器手臂正在撫平一條皺毛巾,Codex 已經在安排下一次要往哪裡推。前一個動作的回報送到時,手臂已經開始下一推,佇列裡也沒剩其他動作。模型在 2.8 秒後補上一推,手臂做完當下的動作就直接接上。 來源 6

    Hao AI Lab 用兩支 YAM 機器手臂做真機實驗,由 Codex 裡的 GPT-6 Astra 撰寫 Python 程式控制動作,採用 ultrafast 服務層級與中等推理強度。團隊調整工具呼叫、模型收到的資訊和動作排程後,疊毛巾的中位耗時從前兩版流程的約 16 至 18 分鐘降到約 6 分鐘。這項比較只計入完成的場次,也扣除了 Codex 起初閱讀控制介面程式碼的時間。各場毛巾的起始狀態有差異,許多場次中途就停了。 來源 6

    手臂原本在等什麼?

    RoboDojo 的模擬器會等模型交出下一個動作才往下跑,評測限制的是步數。真機如果還沒收到下一道指令,就會停在原地,但計時照走。團隊拆解其中一場耗時較長的早期疊毛巾測試,發現模型處理占整場耗時的 78%,手臂只在約四分之一的時間裡移動。即使回應不到 100 個 token,從送出請求到收到第一個 token 的等待時間,中位數也約有 2 秒。每次另外發請求看照片或查手臂位置,都要再付一次等待成本。 來源 6

    手臂動起來後,Codex 怎麼接下一步?

    團隊先讓每個動作結束時一次回傳相機畫面和手臂狀態,省掉另外發請求看結果的時間。他們也把四路相機畫面拼成一張,將較舊的影像換成文字備註,並讓程式留在同一個 Python 行程裡執行,省去反覆啟動和載入的時間。 來源 6

    接著,團隊讓手臂按順序執行排好的動作,Codex 同時規劃後續步驟。上一個動作的回報可以在下一個動作開始時送達,Codex 看完還能改後面的安排。控制程式會檢查每道指令是否超出活動範圍、是否讓兩臂靠得太近。每場也有人盯著控制台,手就在手臂的電源開關附近。 來源 6 來源 5

    找梨子的任務省下哪些等待?

    團隊拿一場把梨子移到空杯下的真機測試,固定模型回應、工具呼叫和動作的順序,按實測的耗時把各版流程省掉的請求加回去。原版流程估計要 667 秒,完整流程真機實測是 204 秒,兩者都扣除了起初閱讀控制介面程式碼的時間。讓規劃和動作並行後,模型仍花 182 秒處理請求,其中 137 秒手臂也在動。從第一次動作到任務結束,手臂移動的時間占比從重播估算的 24% 升到真機實測的 84%。 來源 6 來源 1

    第 12 秒附近拆解相機與工具往返,第 18 秒附近比較 667 與 204 秒,第 24 秒後並列真機抓取、疊毛巾與套環畫面。 影片來源

    哪種動作還是得停下來等?

    即使能邊動邊想,三場真機示範裡,模型從收到最新畫面或動作回報到送出下一個動作,各場的中位數仍有 4.7 到 6.0 秒。杯子可以看一眼就規劃好依序掀開,毛巾卻幾乎每抓一次都得再看。套環更吃即時修正,每挪一點都要確認環和柱子對得準不準。即使同樣讓規劃和動作重疊,套環測試裡手臂也只有 28% 到 36% 的時間在動。 來源 6

    原文:https://easyvibecoding.app/curated/3820-codex-robot-motion-overlap

    5 min
  • Google 找 Blue Origin 發射太空 TPU,2029 年要比第一顆原型多驗什麼?

    Google 找 Blue Origin 發射太空 TPU,2029 年要比第一顆原型多驗什麼?

    地面站把「寫一首關於身在太空的俳句」的提示送上 Google 的第一顆 Suncatcher 原型衛星。衛星上的 Gemma 4 寫出了詩,地面在衛星飛越挪威斯瓦爾巴群島時收到回傳。11 月 19 日,Blue Origin 宣布與 Google 簽訂發射服務協議,目標在 2029 年第一季把多顆衛星送入軌道,每顆約有一個資料中心機架的算力。 來源 2 來源 4

    首顆原型回傳俳句後,還要驗什麼?

    首顆原型在 2026 年 10 月搭 SpaceX 的共乘火箭升空。回傳俳句證實 TPU,也就是 Google 用來跑 AI 模型的晶片,能在軌道上完成文字生成。團隊接著試了五行打油詩,也讓模型回報衛星上設備的狀態。Google 還要評估晶片在軌道上承受熱壓力和輻射時能否可靠運作,並把兩顆衛星互連列為 2027 年的里程碑。 來源 1 來源 2

    2029 年要把多大規模的算力送上軌道?

    Blue Origin 的 New Glenn 將執行 Suncatcher 首次專屬重型發射,目標是把這批衛星部署到太陽同步軌道。公告用了資料中心機架來描述單顆衛星的算力,衛星總數與整批算力則沒有公布。 來源 4

    想知道衛星能否彼此連線,可以先看 Google 訂在 2027 年的雙星互連里程碑。2029 年的發射公告交代了要把什麼送上軌道,至於入軌後會跑哪些 AI 工作、是否會測試多顆衛星共同運算,Blue Origin 尚未公布。 來源 2 來源 4

    原文:https://easyvibecoding.app/curated/3819-suncatcher-new-glenn-2029-tpu

    2 min
  • Meta Muse 分批開放 @muse.ai,原有信箱可只授權讀信

    Meta Muse 分批開放 @muse.ai,原有信箱可只授權讀信

    Meta 在 9 月 Connect 預告的 Muse 獨立信箱開始推出了。Alexandr Wang 宣布,功能正分批開放給受支援市場的所有使用者。Muse 官方帳號也說明,助理可以用自己的 @muse.ai 地址代你收信、寄信。功能開放後,點自己的頭像進入郵件分頁,就能選地址,也可以直接詢問 Muse。這次公告未列出支援市場,台灣是否在這波開放範圍內仍待確認。 來源 1 來源 2 來源 3

    你原本的信箱,Muse 能碰多少?

    如果你另外把原有的信箱連給 Muse,Meta 說你可以只開放讀信,也可以再授權它代寄,之後隨時能調整權限或解除連接。Muse 的安全文件還舉了 Gmail 的例子。就算你在 Gmail 端給了讀取權,仍可在 Muse 端收回查看 Gmail 設定的權限。Meta 也說,郵件連接功能會過濾一次性驗證碼、密碼重設連結,以及點一下就能登入的連結。 來源 4 來源 5

    輪到寄信時,誰來按確認?

    Meta 在 Muse 上市時的產品介紹裡,把寄信列為會先向使用者確認的敏感操作。當時的安全文件也說明,Muse 要透過連接的服務執行動作時,會由另一個叫 Sentinel 的程式依你設定的權限,決定放行、拒絕或詢問你。需要你確認時,操作會暫停,Muse 介面會列出這次要核准的動作。 來源 4 來源 5

    上市時的安全文件說,核准可以只用一次,也可以限於特定任務或一段時間。這次的 @muse.ai 示範也表示,你看得到獨立信箱的收件匣,並能在寄出前審看、核准信件。至於每封外寄信預設都會停下來等你確認,或可以事先給較廣的核准,這次公告沒有交代。舉例來說,請供應商寄一封報價到 @muse.ai,和把整個 Gmail 的讀信權限交給 Muse,是兩個不同的決定。 來源 5 來源 3

    畫面依序說明 Muse 可用自己的地址收寄信、接受轉寄,以及讓使用者查看收件匣並在寄出前審看和核准。 影片來源

    原文:https://easyvibecoding.app/curated/3818-meta-muse-email-permissions

    3 min
  • 同一個澀谷路口,Google 用 OpenStreetMap 做跑酷,Shumer 用 Fable 5.2 做出有行人的街景

    同一個澀谷路口,Google 用 OpenStreetMap 做跑酷,Shumer 用 Fable 5.2 做出有行人的街景

    在 Google 的《Neon Scramble》裡,你操控 Google 地圖的小黃人 Pegman,從澀谷十字路口出發。跑到鐵軌旁,可以按空白鍵跳上去,繼續往 Google 東京辦公室前進。Matt Shumer 的展示則從上方俯瞰同一個路口,幾條斑馬線上都是行人。Google 把地圖上的道路和鐵路做成可玩的路線,Shumer 則說,他用 Fable 5.2 生成場景裡的行人,並模擬他們的行為。 來源 1 來源 2 來源 3

    Google 讀進哪些地圖資料?

    Google 表示,《Neon Scramble》用 Gemini 4 Neon 把 OpenStreetMap 資料做成 3D 網頁跑酷,也加入自訂的網頁音訊。這批資料換成模型處理資料的單位,約有 100 萬個 token,涵蓋 654 條道路、70 條鐵路線和 280 個建物輪廓。建物輪廓標的是每棟建物在地圖上占的位置和形狀。 來源 2

    [](https://pbs.twimg.com/amplifyvideothumb/2123547066353766400/img/Ao56BN3xhJ3teMW.jpg?name=orig)

    開場地圖左上方標的是澀谷十字路口,右下方的終點標為 Shibuya Stream · Google Tokyo。

    第 6 秒附近滑過街道,第 18 秒附近沿鐵路前進,第 36 秒附近到達目的地。影片有遊戲音效與配樂。 影片來源

    打開網頁按 PLAY,就能用 A、D 換道、空白鍵跳躍、S 滑行。遊戲介面會顯示速度和分數,想慢慢看街景時,也能在拍照模式拖曳旋轉視角。https://neon-scramble.ai.studio/ 來源 1 來源 4

    Shumer 用 iPhone 操作,算圖在哪裡跑?

    Shumer 說,他全程用 iPhone 操作,透過 Higgsfield GPU Harness 使用 8 張 NVIDIA L40S。手機是他的操作介面,把 3D 場景算成畫面的工作由租用的雲端 GPU 執行。 來源 3 來源 5

    [](https://pbs.twimg.com/amplifyvideothumb/2123538161070460928/img/KTtoo589vDDfD-XT.jpg?name=orig)

    開頭俯瞰有行人的澀谷路口,下半部並列灰模和工作畫面,後半段切到街道高度。 影片來源

    按 Shumer 的說法,Fable 5.2 花了 12 小時建成澀谷場景,他另報的算圖時間是 2 小時。他也提到自己的曼哈頓作品算圖花了一週。兩筆算圖時間來自不同場景,已知的 GPU 配置只有澀谷這次,因此這組數字只能對照兩件作品各自的耗時。 來源 3

    原文:https://easyvibecoding.app/curated/3817-shibuya-neon-fable-3d

    4 min
  • Genie 4 可用 Gemini API 和 Reactor 呼叫,怎麼操作、有哪些限制、怎麼計費?

    Genie 4 可用 Gemini API 和 Reactor 呼叫,怎麼操作、有哪些限制、怎麼計費?

    用一張參考圖開場,按鍵在生成的世界裡移動,再輸入一行文字改變眼前的光線。Google 在 2026 年 11 月 19 日把 Genie 4 開放給開發者,可在 Google AI Studio 試玩,也可透過 Gemini API 的 Interactions API 接進自己的程式。Google DeepMind 的同一款模型也由 Reactor 託管,提供線上試玩及 JavaScript、Python 範例。 來源 1 來源 3

    世界開起來後,還能怎麼操作?

    在 Google 的入口,起始素材可以是文字、參考圖,或兩者一起用。模型持續輸出 720p、每秒 24 格的畫面,同步生成環境音、音效或角色對話。進入世界後,鍵盤用來移動,文字則能當場改變天氣、物件或事件。想先試手感,可以開 Google AI Studio 的互動畫布。 來源 1

    Reactor 把按鍵與文字指令拆成兩個操作。程式用 set\keys 告訴模型目前按住哪些鍵,用 instruct 修改已經在運行的世界,結束時可呼叫 end\world。Reactor 的型號頁標示單個世界最長 60 秒,參考圖接受 PNG、JPEG 和 WebP。 來源 3

    兩個入口怎麼計費?Gemini API 如何停費?

    把影片用量換算成 60 秒來估算,Gemini API 的 Standard 方案光是影片輸出就約 6.05 美元,已含音訊。Google 每輸出一格就計 240 個影片 token,以每秒 24 格、每百萬個影片 token 17.50 美元換算,約每秒 0.10 美元。Reactor 的型號頁則直接列出每秒 0.10 美元,跑滿 60 秒是 6.00 美元。 來源 2 來源 3

    估算 Gemini API 的總費用時,文字和參考圖的輸入另計,每百萬 token 1.50 美元。若有文字輸出,費率是每百萬 token 9.00 美元。Genie 4 在 Gemini API 僅供付費層使用,也不支援 Batch API、Flex 或 Priority。操作完要呼叫 complete() 結束工作階段,才會停止計費。 Reactor 公開的 60 秒是該入口的單個世界上限。Google 的公告與費率表未列出同樣的上限,選用前可從公告連到 Interactions API 指南確認。 來源 2

    原文:https://easyvibecoding.app/curated/3816-genie-4-gemini-reactor-api

    3 min
  • ChatGPT 開始讓少數 Plus 帳號測試 Dots,手機新版把 Dot 放進底部分頁

    ChatGPT 開始讓少數 Plus 帳號測試 Dots,手機新版把 Dot 放進底部分頁

    ChatGPT 手機 App 的新版把 Dot 放進底部的獨立分頁。使用者也能把 Codex、專案(Projects)和圖片(Images)釘選到同一排,從分頁列直接開啟常用功能。 來源 1

    [](https://pbs.twimg.com/amplifyvideothumb/2123557071723565056/img/DO1s4ZVPR6Yamusk.jpg?name=orig)

    展示畫面停在首頁。

    第 0 秒由首頁切向底部 Dot 分頁,第 12 秒附近開始顯示 Dot 的介紹和連接 Gmail 的畫面。 影片來源

    誰能用 Dot?誰會看到新版?

    Dots 開始在少數 Plus 帳號測試。OpenAI 說明,在支援地區,符合資格的 Plus 帳號也要等分批開放。還沒輪到的帳號,客服無法代為開通,重開 App 也不會讓帳號提早取得使用權。 來源 2 來源 4

    手機新版介面也會推給少數符合資格的 Plus 使用者。OpenAI 在 11 月 19 日的發行紀錄寫道,新版主要先推給 Dot 已開放地區、年滿 18 歲的 Pro 使用者。這波介面更新排除歐洲經濟區、英國、瑞士和韓國。 來源 3

    在哪裡切換新舊版?

    部分符合資格的 Pro 帳號會預設看到新版。只要手機 App 的設定裡出現 New ChatGPT design,就能在那裡開啟新版或切回原版。 來源 3

    原文:https://easyvibecoding.app/curated/3815-chatgpt-dot-plus-mobile-tabs

    2 min
  • GPT-6.2 接著做同一件事時,為什麼改寫舊訊息會讓 Responses API 丟掉後續推理?

    GPT-6.2 接著做同一件事時,為什麼改寫舊訊息會讓 Responses API 丟掉後續推理?

    假設你請 GPT-6.2 核對帳本總額。模型先決定怎麼查,再呼叫工具,拿到兩筆金額 40 和 50,接著根據資料推理。到了下一輪,如果程式把先前的工具結果改寫成一句「合計 90」,即使總額相同,Responses API 也會捨棄原本在工具結果之後產生的推理項目。工具呼叫前的推理仍可沿用,因為它前面的對話內容沒有被改到。 來源 2 來源 1

    為什麼只丟掉改動之後的推理?

    OpenAI 把每個推理項目前面的對話歷史稱為「前綴」。開發者可以把推理項目傳回 Responses API,讓模型接續先前的工作。從 GPT-6.2 起,如果在某個推理項目前插入或改寫內容,API 會依保護機制將該項目從下一次請求的輸入中移除,模型可能得重做部分推理,多花 Token 和時間。透過 OpenAI 的對話壓縮功能縮短歷史時,系統會保留壓縮位置之後的推理項目。 來源 2 來源 3

    下一輪怎麼補資料?

    如果只是要補一筆帳或交代下一步,OpenAI 建議把新內容接在對話末尾。自行管理對話歷史的程式,可以在下一次請求按原順序帶回原始輸入和先前回應的所有輸出項目,再附上新訊息。這樣先前的推理仍有機會沿用,提示快取也能從請求開頭比對相同的輸入,省下重複處理的成本。 來源 3 來源 2

    怎麼查是哪段推理被移除?

    先看 Responses API 回應裡的 input\transformations,找出被移除的推理項目及原因。帳本的例子裡,如果第二輪出現 prefix\mismatch,可以用項目 ID 對回第一輪的輸出,找出被移除的是哪個項目。要查有多少輸入 Token 命中提示快取,則看 usage.input\tokens\details.cached\_tokens。快取診斷的結果只能說明輸入的重用情況,無法確認模型實際沿用了哪些推理。 來源 2 來源 4

    原文:https://easyvibecoding.app/curated/3814-gpt-62-responses-reasoning-prefix

    3 min
  • AMD 完成兩筆收購,World Labs 補空間模型研究,Taalas 補專用推論晶片

    AMD 完成兩筆收購,World Labs 補空間模型研究,Taalas 補專用推論晶片

    11 月 13 日,AMD 完成對 World Labs 的全股票收購,向原股東發行 14,978,322 股普通股。這筆交易的原協議估值約為 82 億美元。AMD 又在 11 月 17 日宣布完成對 Taalas 的收購。兩筆交易補的是不同環節。AMD 希望透過 World Labs 的空間模型研究,了解新模型需要什麼樣的運算系統。Taalas 則帶來專用推論晶片設計,目標是讓模型在實際使用時跑得更有效率。 來源 3 來源 5 來源 4

    World Labs 的 3D 模型研究,怎麼影響 AMD 的硬體設計?

    給 World Labs 的空間模型一段文字、一張圖或一段影片,模型可以生成或重建可互動的 3D 環境。團隊也研究機器人如何在模擬環境裡學習。AMD 買下這支團隊後,打算讓研究人員繼續開發模型,並和自家工程師一起把新模型的運算需求帶進未來的硬體、軟體和系統設計。李飛飛出任 AMD 執行副總裁兼首席科學家,直接向執行長蘇姿丰報告。 來源 6 來源 5

    AMD 打算怎麼把 Taalas 的技術和 Instinct GPU 搭配?

    推論就是讓訓練好的模型接收輸入、產生結果。Taalas 按照模型怎麼運算、資料怎麼流動來設計晶片,目標是減少通用架構在運算和存取記憶體時遇到的瓶頸。AMD 第三季財報列出的協議金額約為 29 億美元,以現金和股票支付。這個金額已包含最高約 14 億美元的條件式付款,須達成約定條件才會支付。 來源 2 來源 1

    AMD 計畫把 Taalas 的技術納入未來的 AI 加速器設計,並搭配 Instinct GPU 開發整套運算系統。對要部署模型的團隊來說,接下來要看的是哪些推論工作會交給專用硬體、哪些會由 GPU 處理。AMD 的交割公告目前只交代搭配方向,具體分工、產品型號和供應時間仍待公布。 來源 4

    原文:https://easyvibecoding.app/curated/3813-amd-world-labs-taalas-closed

    3 min
  • 一週 Critical 漏洞補丁|11 月 13–19 日的 PHP、NGINX、Java、ORDS 與 Puppet 怎麼升級?

    一週 Critical 漏洞補丁|11 月 13–19 日的 PHP、NGINX、Java、ORDS 與 Puppet 怎麼升級?

    如果手上有受影響的 Puppet Enterprise,先排它的更新。本週美國 CISA 已確認這個漏洞遭到利用。對外的 PHP、NGINX 和 Oracle ORDS 可接著對照版本,Java 則要盤點每個服務實際帶著哪套執行環境。 來源 13 來源 2 來源 7 來源 14 來源 10

    這份清單精選 2026 年 11 月 13 到 19 日有安全更新,或新列入已知遭利用目錄的漏洞,以 11 月 20 日查核結果為準。表內採用至少一方的 CVSS 基本分數達 9.0 的項目。CVSS 描述漏洞的嚴重程度,CISA 的 KEV 目錄則用來確認已知的實際利用。 來源 13 來源 8

    五類系統,先對照修補版本

    | 產品 | CVSS 基本分數 | 更新目標 | | --- | --- | --- | | Puppet Enterprise | Perforce 4.0/9.4 | 2023.8.13、2025.12.1 或 2026.0.1,依分支升級並重啟 Puppet Server | | PHP | PHP 維護團隊 4.0/9.2 | 8.2.36、8.3.37、8.4.28、8.5.13,依分支升級 | | NGINX | 荷蘭 NCSC 轉列 9.2。F5 對 CVE-2026-123007 評為 4.0/9.2 | 開源穩定版 1.30.7、主線版 1.31.9。Plus 的 HTTP/2 這一項依 F5 公告選 37.0.8.1 或 37.3.0.1 | | Oracle Java SE | 研究團隊 4.0/9.2。Oracle 3.1/8.1 | 17.0.21.1、21.0.13.1、25.0.5.1、27.0.1.1,依分支升級 | | Oracle ORDS | Oracle 3.1/9.8 | 24.2.0 至 26.3.0 受影響。Oracle 下載頁列 26.3.1,部署前依 11 月更新公告核對套件 |

    來源 12 來源 2 來源 7 來源 8 來源 9 來源 10 來源 11 來源 14 來源 15

    Puppet Enterprise 已遭利用,升完還要重啟

    CVE-2026-115731 在 11 月 3 日公開,11 月 17 日列入 CISA 的 KEV 目錄。Perforce 要求更新後重啟 Puppet Server,讓服務載入修正後的程式碼。因已有利用紀錄,維運團隊可同時檢視更新前的伺服器紀錄和異常變更。 來源 12 來源 13

    PHP 這批更新修了哪些 Critical 漏洞?

    PHP 在 11 月 19 日更新四個分支。維護團隊將 PHP-FPM 請求處理(CVE-2026-129289)、時區快取(CVE-2026-129496)、檔案型 Session(CVE-2026-126714)、Session 序列化(CVE-2026-115560)和 Session 關閉流程(CVE-2026-129481)評為 CVSS 4.0/9.2。 來源 2 來源 1 來源 3 來源 4 來源 5 來源 6

    官方指出,Critical 案例需要非預設設定或較少見的部署條件。PHP 8.2 沒有 CVE-2026-129481 涉及的欄位,這個分支仍須升到 8.2.36 修補其他問題。用容器跑 PHP-FPM 時,應換上已修補的映像並重新部署,再核對執行中的服務確實用了新版。 來源 2 來源 6 來源 1

    NGINX 開源版、Plus 與入口控制器各查自己的版本

    荷蘭 NCSC 列出五筆 9.2,包括 HTTP/2 的 CVE-2026-123007、CVE-2026-123633,HTTP/3 的 CVE-2026-121810,DNS 解析器的 CVE-2026-123634,以及郵件代理的 CVE-2026-113425。開源版公告對這五筆都列出穩定版 1.30.7 與主線版 1.31.9 作為修補起點。 來源 9 來源 7

    以 HTTP/2 的 CVE-2026-123007 為例,F5 同時列出 CVSS 3.1/8.1 和 CVSS 4.0/9.2。用 Plus 或 Kubernetes 入口控制器時,應按產品名稱與分支查各筆 F5 公告,維運時也要核對套件庫是否已把修補回移到原分支。 來源 8

    Java4Shell 要核對實際執行的 Java

    CVE-2026-114938 涉及 OpenJDK 的 Base64 解碼,和支援 AVX-512 VBMI 的部分 x86-64 環境有關。通報研究團隊給 CVSS 4.0/9.2,Oracle 給 3.1/8.1。上表的分支版本來自 Oracle Java SE 11 月 17 日公告。用 Temurin、Corretto 或隨應用程式附帶的 Java 時,應查該發行商的版本,更新後重新啟動相關服務。 來源 11 來源 10

    Oracle ORDS 先核對 11 月安全更新矩陣

    CVE-2026-114849 在 Oracle REST Data Services 的受影響範圍是 24.2.0 至 26.3.0,評分為 CVSS 3.1/9.8。Oracle 的發行紀錄目前列 26.3.1。正式環境上線前,對照同一份 Oracle 11 月公告的產品及補丁說明,確認手上的套件和部署方式。 來源 14 來源 15

    原文:https://easyvibecoding.app/curated/3812-critical-cve-patch-roundup-2026-11-19

    7 min
  • Flutter 接上 LiteRT-LM,文字聊天和照片問答都能在手機上跑

    Flutter 接上 LiteRT-LM,文字聊天和照片問答都能在手機上跑

    在 Flutter Edge AI 的手機示範裡,你可以把一張照片交給 Gemma 4,再接著問照片裡的內容。模型在手機上讀圖、產生回答,這兩步都省下把照片傳到伺服器的往返。Flutter 官方貼文介紹的就是這種做法:用 LiteRT-LM 在裝置上執行 Gemma,讓 Flutter App 直接取得模型的回答。 來源 4 來源 2

    哪些功能可以在手機上跑?

    做文字聊天時,模型可以直接在手機上產生回答。要做看圖問答或讓模型接收音訊,就得選內含對應處理元件的模型,例如專案列出的 Gemma 4。如果功能是把錄音轉成逐字稿,或把文字念出來,Flutter Edge AI 另有裝置端語音套件可選。 來源 4

    支援函式呼叫的模型也能把使用者的話轉成參數,交給你寫好的 Dart 函式。假設你做的是離線待辦清單,模型可以把「新增一筆買牛奶的待辦」轉成待辦內容,再由函式寫入手機上的清單。若同一個函式還要把資料同步到雲端,同步這一步仍需要網路。 來源 4

    試作前要選哪個套件和模型?

    Google 的 Flutter API 文件列的是社群維護的 flutter\gemma。這個套件家族在 2.0 改名為 Flutter Edge AI,舊套件仍以原名發布。從 2.0 版的入門範例開始,要裝核心套件 flutter\edge\ai 和 LiteRT-LM 引擎套件 flutter\edge\ai\litertlm。接著註冊引擎、下載並安裝模型,再開啟聊天工作階段。範例在安裝模型時會連網,裝好後就能在本機產生回答。 來源 1 來源 3 來源 4 來源 2

    只想試離線文字聊天,可從專案目錄裡的 Gemma 3 1B(0.6 GB)開始。想試照片問答,同一份目錄列出的 Gemma 4 E2B(2.6 GB)可接收文字、圖片和音訊。這兩個數字是模型檔大小,可用來估算下載量和儲存空間。 來源 4

    專案把 Android 和 iOS 都列為支援圖片與音訊輸入。選好模型後,可在目標手機上用實際要處理的文字或照片測試,確認執行時的記憶體用量和等到回答所需的時間。 來源 4 來源 3

    原文:https://easyvibecoding.app/curated/3811-flutter-litert-lm-on-device-ai

    3 min