EasyVibeCoding Podcast

EasyVibeCoding Podcast

By EasyVibeCodingTechnology
Download on the App Store

All EasyVibeCoding Podcast episodes

  • @googlechrome:Chrome 即將在 Android 推出 auto browse。 Google Chrome 宣布,下個月起在 Android 上引入基於 Gemin…

    Chrome 即將在 Android 推出 auto browse。

    Google Chrome 宣布,下個月起在 Android 上引入基於 Gemini 3.1 模型的新 AI 功能,包括 auto browse 和 Agentic 瀏覽,旨在提升行動裝置瀏覽體驗,讓使用者透過個人 AI 助理處理日常任務。這些功能將從 2026 年 6 月底起,在美國地區的 Android 12 或更高版本特定裝置上陸續推出,其中 auto browse 限 AI Pro 和 Ultra 訂閱使用者。
    Gemini 作為個人瀏覽助理
    Gemini in Chrome 在 Android 上定位為個人 AI 瀏覽助理,能理解當前網頁內容,提升行動體驗。使用者點擊工具列右上角的 Gemini 圖示,即可在畫面底部開啟,輕鬆詢問網頁相關問題、摘要長篇文章,或獲取複雜主題的詳細解釋,無需切換應用程式。
    超越簡單查詢,Gemini 整合使用者喜愛的 Google 應用,如新增行事曆事件、將食譜食材加入 Keep,或在 Gmail 中搜尋特定資訊。
    若啟用 Personal Intelligence,可依據使用者的興趣、嗜好、家人甚至寵物,提供個人化回應,強調隱私保護並讓使用者保有控制權。
    Nano Banana 圖像自訂功能
    Nano Banana 讓使用者在 Chrome 中即時產生高度個人化視覺內容,或修改網頁上的圖像。舉例來說:
    線上準備考試時,可要求「將此頁面轉換成資訊圖表(turn this page into an informative infographic)」,以視覺方式吸收內容。
    瀏覽公寓列表時,可指示「修改圖像加入現代客廳必需品(alter the image to include modern living room essentials)」,預覽家具配置效果。
    Auto browse 自動化日常任務
    首次在 Android 上推出 auto browse,讓使用者輕鬆處理繁瑣任務,專注於重要事務。透過輸入提示,Chrome 會自動執行並完成工作,例如:
    即將前往 standup comedy 表演,忘記預訂停車位?Auto browse 可從票券確認的活動細節,自動在 SpotHero 上幫忙找位。
    寵物從幼犬轉換成成犬,需要改買狗糧?只需要求 Chrome 更新 Chewy 訂單即可。
    此功能設計為使用者提示後,生成計劃並請求確認,然後在任務完成時返回通知。
    安全與隱私保障
    所有功能沿用桌面版的安全防護,對抗新興威脅如 prompt injection,使用者在行動中也能安心瀏覽。Auto browse 在執行敏感任務前(如購物或社群媒體發文)會要求使用者確認,提供額外控制層級。
    推出時程與可用性
    Gemini in Chrome 將從 2026 年 6 月底起,在美國地區 Android 12 或更高版本的特定裝置上推出。同期,auto browse 限美國 AI Pro 和 Ultra 訂閱使用者,於相同裝置上開放。詳細資訊可參考 官方部落格。
    這些更新將 Gemini 的智慧能力從桌面延伸至行動端,透過 auto browse 等 Agentic 功能,實現更智慧化的瀏覽助理,雖然初期限美國與特定訂閱,但預示 Chrome 將深化 AI 在日常數位勞務中的角色。

    原文:https://easyvibecoding.app/curated/1316

    5 min
  • @GoogleDeepMind:Google DeepMind 以 AI 重新想像滑鼠指標介面。 Google DeepMind 發表實驗性示範,展示 AI 強化滑鼠指標如何在螢幕上無縫…

    Google DeepMind 以 AI 重新想像滑鼠指標介面。

    Google DeepMind 發表實驗性示範,展示 AI 強化滑鼠指標如何在螢幕上無縫整合人工智慧,解決傳統 AI 需切換視窗的痛點,讓幫助隨處可用而不中斷工作流程。
    維持工作流程
    AI 功能應跨所有應用程式運作,避免強迫使用者「繞道」至額外 AI 工具。原型 AI 強化指標可在使用者所在位置直接提供幫助,例如:
    指向 PDF 並要求「製作 email 的 bullet point 摘要」,直接貼入 email。
    懸停表格並要求「製作餅圖」。
    反白食譜並說「雙倍所有食材」。
    視覺與語意理解
    現有 AI 模型需精確指令,使用者須撰寫詳細提示。AI 強化指標透過「看見」游標下的內容,瞬間理解特定單字、影像或程式碼區塊,移除此負擔。
    擁抱「這」與「那」的自然語言
    現實中,人們不說長段落,而是指向並說「修復這個」(fix this)、「移到那裡」(move that)或「這是什麼意思」(what does this mean),依賴手勢與共享脈絡。結合指向與語音的 AI 系統,讓使用者以自然簡語完成複雜請求,無需繁瑣提示。
    像素轉化為可行動實體
    數十年來,滑鼠僅追蹤指向位置;AI 現在理解指向內容,將像素轉為結構化實體如地點、日期或物件,使用者可即時互動。例如:
    潦草筆記照片變成互動待辦清單。
    暫停的旅遊影片畫面變成餐廳預訂連結。
    指向建築影像並說「顯示路線」。
    互動原則總結
    Google DeepMind 提出四項原則,將傳達脈絡與意圖的負擔從使用者轉移至電腦,用更直覺互動取代文字提示:
    維持流程:AI 無處不在,不中斷。
    展示與敘述(Show and tell):指標捕捉視覺與語意脈絡。
    擁抱「這」與「那」:模擬人類自然簡語。
    像素轉行動:理解內容而非僅位置。
    產品應用與實驗環境
    這些原則正引導下一代介面設計,目前整合至 Chrome 與新「Googlebook 筆電體驗」。從即日起,使用者可在 Chrome 以指標向 Gemini 查詢網頁特定部分,例如反白產品要求「比較」,或指向客廳位置要求「視覺化新沙發」。Googlebook 即將推出「Magic Pointer」,讓使用者指尖即用 Gemini。更多概念將在 Google AI Studio 測試,包括 Google Labs 的 Disco。文章作者 Adrien Baranes 與 Rob Marchant 於 2026 年 5 月 12 日發表,強調建構適應人類行為的技術,而非強迫使用者適應,讓 AI 協作感覺直覺、流暢、無縫。
    未來願景
    Google DeepMind 興奮這些「以人為本」概念正融入日常產品,重新定義滑鼠指標從追蹤位置進化為理解脈絡與意圖,開啟 AI 時代全新使用者介面。

    原文:https://easyvibecoding.app/curated/1297

    4 min
  • @AndrewYNg:吳恩達斷言,不會有 AI 就業末日。 吳恩達駁斥 AI 將引發大規模失業的說法,認為這類過度渲染的故事不僅不負責任,還會造成不必要的恐慌;他呼籲停止散播此…

    吳恩達斷言,不會有 AI 就業末日。

    吳恩達駁斥 AI 將引發大規模失業的說法,認為這類過度渲染的故事不僅不負責任,還會造成不必要的恐慌;他呼籲停止散播此類敘事,並樂見主流媒體開始反擊。
    軟體工程就業趨勢強勁
    軟體工程是受 AI 工具影響最深的領域,程式碼 Agent 進展神速,但軟體工程師招聘仍維持強勁態勢。雖然有 AI 取代個別工作的案例,卻有明確趨勢顯示淨就業創造遠大於就業破壞,這與以往技術浪潮相似。此外,儘管 AI 進展令人興奮,美國失業率仍維持健康的 4.3%。
    就業末日敘事背後動機
    邊緣 AI 實驗室有強烈動機誇大 AI 威力,例如推廣科幻情境如 AI「接管」導致人類滅絕,以凸顯技術價值。若 AI 能取代多名員工,其商業價值自然水漲船高。
    SaaS 軟體公司通常向每位使用者收取每年 100-1000 美元,但 AI 若能取代年薪 10 萬美元員工,或提升其 50% 生產力,收取 1 萬美元也顯得合理;AI 公司以此薪資錨定定價,而非典型 SaaS 價格,從中獲利豐厚。
    企業也樂於將裁員歸咎 AI,因為宣稱「用 AI 少人更高效」聽來聰明,遠勝承認疫情期低利率與巨額政府刺激導致過度招聘。
    AI 對工作的真實衝擊
    吳恩達承認 AI 正大幅改變許多人的工作,這過程艱難、壓力沉重(對某些人或許有趣),他對受影響者表達同理。但這與預測就業市場崩潰截然不同。
    歷史教訓:恐慌敘事的危害
    社會常長年沉迷無實據的故事,導致糟糕決策,例如核電安全恐懼造成投資不足;1960 年代「人口炸彈」恐慌促使國家實施嚴苛減人口政策;膳食脂肪擔憂則讓政府數十年推廣不健康高糖飲食。吳恩達盼主流媒體對就業末日的質疑,能讓此敘事喪失威力,正如 AI 滅絕人類恐懼已逐漸消退。
    樂觀預測:AI 就業盛會
    吳恩達預測相反結果:將迎來「AI 就業盛會」!AI 將創造大量優質 AI 工程師職位,整體就業市場前景樂觀。AI 工程師工作將異於傳統軟體工程,多數職位出現在非傳統開發大雇主的企业;非 AI 角色所需技能也將因 AI 改變。這是鼓勵更多人精通 AI 的絕佳時機,讓他們準備好迎接未來多樣且豐沛的職缺。
    原文出自 [The Batch newsletter。]

    原文:https://easyvibecoding.app/curated/1302

    4 min
  • @MetaNewsroom:Meta 推出 Muse Spark 實現語音對話。 Meta Superintelligence Labs(MSL)於 2026 年 4 月 8 日發布…

    Meta 推出 Muse Spark 實現語音對話。

    Meta Superintelligence Labs(MSL)於 2026 年 4 月 8 日發布「Muse Spark」,這是其首款大型語言模型,專為優先考慮使用者而設計,目前驅動 Meta AI app 與 meta.ai 網站,並將逐步擴展至 WhatsApp、Instagram、Facebook、Messenger 及 AI 眼鏡。2026 年 5 月 12 日更新公告顯示,該模型已帶來更快的語音回應、更智慧的 AI 眼鏡,以及購物與對話輔助新功能,讓 Meta AI 更具脈絡理解與實用性。
    語音對話升級
    在 Meta AI app 中,「Muse Spark」支援自然語音互動,使用者可中斷對話、切換主題或語言轉換,同時 Meta AI 能即時產生圖像,並從 Reels、地图等拉取推薦內容。
    此外,app 引入「live AI」功能(AI 眼鏡已支援),使用者可對準相機拍攝周遭環境,實時詢問地標或家居問題,例如辨識路過的著名建築或家務協助。
    相關示範影片:語音互動示範 及 live AI 實時辨識。
    購物功能創新
    新「購物模式」讓使用者透過 Meta AI 搜尋附近 Facebook Marketplace 清單,同時整合網路新舊商品,並顯示地圖位置;可依價格、風格或距離精煉結果。
    使用者也能 @ 指定品牌或創作者,直接瀏覽其公開內容,以全新格狀格式滾動產品。
    2026 年 5 月 12 日更新強化此功能,讓購物與對話更無縫。
    示範 GIF:購物介面。
    跨裝置與 app 整合
    「Muse Spark」將於未來數週逐步在美國與加拿大推出 Ray-Ban Meta 及 Oakley Meta 眼鏡,Meta Ray-Ban Display 則於夏季上線。
    該模型同時擴展至 WhatsApp、Instagram、Facebook、Messenger 及 Threads 的搜尋列、群組聊天、貼文等處。
    測試新體驗包括:
    從群組聊天點擊 Meta AI 圖示開啟「side chats」,獲取基於群組討論的私人快速回應。
    Threads 貼文與回覆中使用 @meta.ai 提及。
    Meta 表示,此 AI 將觸及數十億使用者,提供更快、更具幫助性的體驗。
    模型開發背景
    過去九個月,MSL 從頭重建 AI 堆疊,開發週期為史上最快。「Muse Spark」為「Muse 系列」首款模型,採科學擴展策略,每代驗證後再放大規模。
    此初始模型刻意設計為小巧快速,卻能處理科學、數學、健康等複雜推理,目前驅動 Meta AI app 與 meta.ai,支援複雜推理與多模態任務。下一代已在開發中。
    Meta AI 核心升級
    Meta AI app 與 meta.ai 獲得全新介面與功能升級,能處理快速問答至需強大推理的複雜問題。
    使用者可切換模式,Meta AI 能平行啟動多個子 Agent 處理任務,例如規劃佛羅里達家庭旅行:一 Agent 草擬行程、另一比較 Orlando 與 Keys、第三尋找兒童活動,同時運作以加速優質回應。
    示範 GIF:子 Agent 平行運作。
    多模態感知能力
    「Muse Spark」內建強大多模態感知,讓 Meta AI 不只讀取文字,還能「看見」真實世界。
    拍攝機場零食架,Meta AI 即時辨識並依蛋白質排序零食,無需細看標籤。
    掃描產品,詢問與替代品的比較。
    當整合至 AI 眼鏡時,助理能更好理解周遭環境。
    示範圖:食物熱量估計。
    健康應用特別突出:與醫師團隊合作,提升模型對常見健康問題的詳細回應,包括圖像與圖表分析,滿足使用者首要需求。
    視覺程式設計專長
    「Muse Spark」在視覺程式撰寫卓越,使用者僅需提示,即可產生自訂網站與小遊戲:
    建置驚喜派對規劃儀表板。
    啟動復古街機遊戲追逐高分。
    推出奇幻飛行模擬器,並分享給朋友。
    脈絡連結與推薦
    Meta AI 協助穿搭建議、室內風格或禮物選購,從 app 內創作者與社群拉取靈感。
    搜尋地點或熱門話題時,會嵌入豐富脈絡,如在地使用者公開貼文或社群內容,提供即時全貌。
    示範 GIF:購物模式 及 搜尋脈絡。
    未來展望與部署
    「Instant」與「Thinking」模式已於美國 Meta AI app 與 meta.ai 上線,未來數週擴及更多國家及 Instagram、Facebook、Messenger、WhatsApp、AI 眼鏡。
    眼鏡上的感知能力將更強大。技術開放:API 私人預覽給特定夥伴,未來版本計畫開源。
    預期更豐富視覺結果,整合 Reels、照片、貼文,並歸功內容創作者。Meta 將強化 安全防護,包括風險框架與隱私保護。
    Meta 強調,此為通往「個人超智慧」起點:AI 不只回答問題,而是基於使用者生活脈絡真正理解世界。

    原文:https://easyvibecoding.app/curated/1312

    6 min
  • @demishassabis:Demis Hassabis 堅信 AI 首要改善人類健康。 融資細節 Isomorphic Labs 於 2026 年 5 月 12 日宣布完成 …

    Demis Hassabis 堅信 AI 首要改善人類健康。

    融資細節
    Isomorphic Labs 於 2026 年 5 月 12 日宣布完成 21 億美元 B 輪融資,由 Thrive Capital 領投,這是其連續第二輪領投。既有投資者 Alphabet 和 GV 參與,新投資者包括 MGX、Temasek、CapitalG 及 UK Sovereign AI Fund,大幅擴大全球資本基礎。
    公司使命
    Isomorphic Labs 創立之初即以人工智慧重塑並加速藥物發現為目標,為全球數百萬患者帶來急需治療。公司運用領先的 AI 藥物設計引擎 IsoDDE,推進多個治療領域及藥物型態的藥物設計計畫,延續 AlphaFold 的健康改善工作。
    未來願景
    Demis Hassabis 表示,此融資將「turbocharging」目標,有朝一日解決所有疾病,透過 AI 實現生物醫學突破。詳見新聞稿。

    原文:https://easyvibecoding.app/curated/1308

    2 min
  • @NewsFromGoogle:Google 情報小組偵測首例 AI 零日攻擊。 Google Threat Intelligence Group(GTIG)於 2026 年 5 月 1…

    Google 情報小組偵測首例 AI 零日攻擊。

    Google Threat Intelligence Group(GTIG)於 2026 年 5 月 11 日發布「GTIG AI Threat Tracker」報告,追蹤自 2026 年 2 月報告以來,攻擊者從初步嘗試 AI 轉向工業規模應用生成模型於攻擊流程中。報告基於 Mandiant 事件回應、Gemini 及 GTIG 主動研究,揭示 AI 雙重角色:攻擊者用作精密攻擊引擎,同時為高價值攻擊目標。
    首例 AI 生成零日漏洞利用
    GTIG 首次確認一名犯罪威脅行為者使用 AI 開發的零日漏洞(zero-day exploit),原計劃發動大規模利用事件,但 GTIG 主動反制發現可能已阻止其執行。中國大陸(PRC)及北韓(DPRK)相關威脅行為者亦積極利用 AI 進行漏洞發現。
    AI 輔助開發規避防禦
    攻擊者透過 AI 驅動程式撰寫加速基礎設施套件及多形惡意軟體開發,這些 AI 輔助開發週期促進防禦規避,包括建立混淆網路及整合 AI 生成誘餌邏輯於惡意軟體,此類惡意軟體連結至疑似俄羅斯相關威脅行為者。
    自主惡意軟體運作
    AI 輔助惡意軟體如 PROMPTSPY 標誌攻擊協調轉向自主化,模型解讀系統狀態動態產生指令並操縱受害環境。GTIG 分析揭露其先前未報導功能及與 AI 整合使用案例,讓威脅行為者將運作任務外包給 AI 以實現規模化及適應性活動。
    AI 強化研究與資訊戰
    攻擊者持續將 AI 作為高速研究助理支援攻擊生命週期,並轉向 Agentic 工作流程運作自主攻擊框架。在資訊戰(IO)活動中,這些工具大規模生成合成媒體及 deepfake 內容製造數位共識,如親俄「Operation Overload」活動所示。
    隱匿 LLM 存取
    威脅行為者透過專業中介軟體及自動註冊管道追求匿名高階模型存取,規避使用限制。此基礎設施實現服務大規模濫用,並透過試用濫用及程式化帳號輪替補貼運作。
    供應鏈攻擊目標 AI 環境
    如 "TeamPCP"(又稱 UNC6780)的攻擊者開始針對 AI 環境及軟體依賴作為初始存取途徑,導致 Secure AI Framework(SAIF)分類中的多類機器學習風險,包括 Insecure Integrated Component(IIC)及 Rogue Actions(RA)。鑑識資料分析顯示,攻擊者試圖從 compromised AI 軟體樞紐至更廣網路環境,用於初始存取及破壞活動如勒索軟體部署與勒索。
    Google 主動防禦措施
    攻擊者不斷實驗創新,Google 同樣積極應對,除分享發現及緩解策略予安全與 AI 社群外,強化產品防護提供使用者規模化保護。對 Gemini,Google 停用惡意帳號緩解模型濫用;另利用 AI Agent 如 Big Sleep 識別軟體漏洞,並透過 Gemini 推理能力如 CodeMender 自動修復,證明 AI 亦為防禦者強大工具。詳閱報告 。

    原文:https://easyvibecoding.app/curated/1314

    4 min
  • @UnitreeRobotics:Unitree發表全球首款量產載人Mecha。 Unitree Robotics 推出 GD01,這是全球首款量產載人 Mecha,為民用設計,包含操作員…

    Unitree發表全球首款量產載人Mecha。

    Unitree Robotics 推出 GD01,這是全球首款量產載人 Mecha,為民用設計,包含操作員約重 500 公斤,具備可變形底盤,能在崎嶇地形運輸、探勘或救援。影片強調其科幻變現實,但售價高達 390 萬人民幣(約 65 萬美元),Unitree 執行長王興興親自示範,引發是否為交通未來或高科技玩具的討論。
    產品規格與設計
    GD01 配備軀幹安裝的駕駛艙,讓人類操作員完全控制。
    最突出特色為可變形底盤:直立人形模式行走,遇顛簸路況轉四足模式提升穩定性。
    材質為高強度合金,工程嚴肅,包含操作員總重約 500 公斤。
    Unitree 官方 Twitter 提醒使用者以友好、安全方式操作機器人。
    示範與效能
    在工作室示範中,王興興親自駕駛 GD01 行走,並用手推倒一堵磚牆,展現其力量與機動性。影片轉錄自 YouTube 影片,開頭直指「科幻電影正在正式走入現實」。
    公司背景與市場地位
    Unitree 已為產業主要參與者,僅去年出貨超過 5,500 台人形機器人。GD01 推出進一步推動人機移動界限,宣告「Mecha 時代已經來臨」,售價 390 萬人民幣(約 65 萬美元)起,定位高端民用載具。
    未來展望與反思
    影片結尾質疑 GD01 是「交通的未來,還是終極的高科技玩具」,反映其潛力與高價位的現實落差,呼籲觀眾分享看法並訂閱更多汽車影片。

    原文:https://easyvibecoding.app/curated/1296

    3 min
  • @bcherny:Claude Cowork 透過 Opus 4.7 一次成功預訂 8 趟航班與 5 家飯店。 Boris Cherny 分享使用「Claude Cowor…

    Claude Cowork 透過 Opus 4.7 一次成功預訂 8 趟航班與 5 家飯店。

    Boris Cherny 分享使用「Claude Cowork」工具預訂即將到來的多趟旅行航班,Opus 4.7 版本首次實現「1-shot」完美完成,過去僅表現尚可,此次讓他徹底驚豔,從此拒絕手動預訂。
    操作流程與成果
    Boris Cherny 在 Cowork 指示中輸入航班偏好後,讓 Opus 自動處理。它開啟瀏覽器、導航多個網站,並完整預訂一切;在 Boris 於「Claude Code」專注其他工作時,Cowork 已預訂 8 趟航班與 5 家飯店,執行完美無缺。
    使用者互動確認
    Sravan Sarraju 詢問如何在確認前審核行程,Boris 回覆 Cowork 會先呈現行程供他批准,才進行預訂。此設計確保使用者掌控,避免直接下單風險。
    活動連結與社群回饋
    Txori 猜測倫敦行程點為 5 月 14 日「codex event」,Boris 更正為「Code with Claude」活動,並確認將出席。Walter R. 讚嘆並索取提示,Boris 簡述僅用「Book a flight to London」指令;JP 確認是否包含購買,Boris 明確表示涵蓋規劃與購買全程。
    作者立場反思
    Boris Cherny 強調這是 Cowork 最順暢體驗,從未如此無縫,象徵 Opus 4.7 在自動化任務上的重大躍進,讓使用者能專注核心工作,徹底擺脫繁瑣手動操作。

    原文:https://easyvibecoding.app/curated/1288

    3 min
  • @aparnadhinak:模型在一年內遵循指令的能力提升了一個數量級 共同作者:@seldo 在 AI Engineer: Miami 大會上,我們聽了 Dexter Hor…

    模型在一年內遵循指令的能力提升了一個數量級

    共同作者:@seldo
    在 AI Engineer: Miami 大會上,我們聽了 Dexter Horthy 的演講,他在閒談中提到研究顯示模型在同時處理超過 150-200 個指令時會遇到困難。他提到該數據來自去年,且「現在可能更高了」。這對我們來說是一個非常有趣的現象,因此我們追蹤了該數據的來源:Jaroslawicz 等人(2025 年)的 IFScale 基準測試。那篇論文已經快一年了,所以我們很好奇模型自那時以來究竟進步了多少。答案是:進步非常多,事實上,提升了一個數量級。
    廢話不多說,直接看數據:
    這張圖表的快速總結(TL;DR):
    Y 軸是準確率:給定一堆規則,模型實際遵循了百分之幾?
    X 軸是對數刻度,代表模型同時嘗試遵循的規則數量。
    淺色的虛線是原始論文撰寫時可用、且至今仍可使用的三款舊模型。你可以看到超過 100 條規則後,它們開始忽略部分給定的指令。到了 500 條規則時,它們開始遺漏多達一半的指令。
    粗線是一些當前的頂尖模型(Frontier models)。你可以看到它們在開始遺漏指令之前,能處理的規則數量遠多於舊模型。GPT 5.5 表現最好,而 DeepSeek V4 Pro 表現最差。
    這就是我們的核心發現:一年前,頂尖模型在同時處理約 200-300 個限制條件時開始失去對指令的追蹤。根據你選擇的模型,現在這個邊界已經接近 2,000 個指令。
    簡單來說,頂尖模型在過去 12 個月內遵循指令的能力提升了近 10 倍,這對現實世界的 AI 程式開發有許多影響,包括:
    Skills files 不再有壓縮問題
    Prompts 可以變得極其詳細
    能力的硬性邊界已經轉變為成本與能力之間的軟性權衡
    我們將會完整說明,但這裡面有很多細節,因此邀請你繼續閱讀。
    原始的 IFScale 基準測試
    我們的工作基於 Jaroslawicz 等人(2025 年)的基準測試論文。測試非常簡單:要求模型撰寫一份包含 N 個特定關鍵字的商業報告(從 500 個常用英文單字組成的詞彙表中選擇,例如「customer」、「revenue」、「logistics」),然後計算輸出中正確出現了多少個關鍵字。
    Prompt 本身很簡短:
    You are tasked with writing a professional business report that adheres strictly to a set of constraints. Each constraint requires that you include the exact, literal word specified… The report should be structured like a professional business document with clear sections and relevant business insights. Do not simply repeat the constraints; rather, use them to inform the text of the report.
    CONSTRAINTS
    Include the exact word: 'customer'.
    Include the exact word: 'revenue'. ...
    我們測試輸出的方式與原始論文相同:使用簡單的基於 regex 的精確匹配。複數不計入。連字號不計入。「Customer」符合「customer」;「customers」則不符合。我們將關鍵字的數量稱為密度或 N,而輸出中出現的關鍵字百分比即為準確率。
    我們與原始作者一樣,認為這是衡量「模型一次能遵循多少指令?」這個更廣泛問題的一個良好代理指標。這些關鍵字是任意選擇的,但它們代表了現實世界 skills files 中出現的那種離散的、具名的限制條件:「如果使用者說 X,就做 Y」、「包含關於 Z 的章節」、「不要使用 W 片語」。如果模型無法在單個 Prompt 中追蹤 200 個離散項目,那麼對於任何包含超過 200 個項目的技能規範來說,這都是一個問題。
    原始論文的結果依然正確
    在擴展基準測試之前,我們認為應該先嘗試複製原始發現。因此,我們在原始論文中提到的三款模型上重新執行了測試,這些模型在一年後仍然可用:GPT-4.1、Claude Sonnet 4(2025 年 5 月發布)以及 Gemini 2.5 Pro。
    有趣的事實:結果顯示 2026 年 5 月是這些模型可用的最後一個月!它們將在 6 月全部退役,所以我們很幸運還有東西可以比較。
    我們複製了原始論文的 Prompt 和它用於測試的 500 個單字詞彙表,並在 N=10 到 N=500 的範圍內進行測試,每次嘗試 5 次並取平均值。測試成功了:我們的準確率曲線與原始論文報告的形狀相符,在低密度時誤差小於 3 個百分點,在 N=500 時增長到約 10 個百分點,這完全在五次種子測試的雜訊範圍內。
    改變目標
    我們最初的計畫只是在完全相同的資料上測試較新的模型:相同的 Prompt、相同的詞彙表、相同的 N 範圍。但我們很快遇到了一個問題:新模型的表現太好了,以至於它們在 N=500 時達到了 100% 的準確率。原始論文的上限是 500 個限制條件,因為那是當時的模型開始遺漏指令的地方;但當前模型在 500 個單字時表現依然完美!
    所以我們必須增加難度:增加要包含的單字數量,並擴大詞彙表範圍。這嘗試了多次,因為我們找不到上限。我們將要遵循的指令數量加倍,然後再次加倍。最終,我們在 10,000 個單字的詞彙表上才開始看到明顯的效能下降。頂尖模型真的進步很多!
    頂尖模型的失敗方式各不相同
    你已經看過新的數據了:頂尖模型的表現好得多。但它們如何表現得更好是非常迷人的。它們大多沒有表現出那種僅僅是「忽略指令」的失敗模式。相反,當規則數量變得非常多時,它們會遇到不同的問題。
    DeepSeek V4 Pro 最接近原始模式:它在 N=750 左右開始遺漏指令,到了 N=2,000 時,它幾乎忽略了一半的指令。
    Claude Opus 4.7 認為這個測試很危險:在圖表中,你可以看到 Claude 的表現比 DeepSeek 好得多,但圖表隱藏了我們觀察到的奇特行為:Claude 並非僅僅忘記指令,而是直接拒絕回答,回傳一個 API 層級的「拒絕(refusal)」錯誤。
    據我們所知,這是 Anthropic 安全功能的意外影響。Opus 有一個非常敏感的「拒絕分類器」:如果你在 Prompt 中包含某些單字組合(例如「anthrax」和「cyanide」),它將完全拒絕回答。我們包含的單字越多,即使是刻意無害的單字,我們就越有可能觸發 Claude 認為的「危險」單字組合。
    我們最終不得不將整個詞彙表通過 OpenAI 的審核 API 來移除「危險」單字,才能讓 Opus 停止拒絕,即便如此,我們還是必須重試很多次。但曲線仍然是真實的:當它沒有直接拒絕時,Opus 仍然開始忘記部分給定的指令。到了 N=5,000,它只遵循了約一半的指令。但請記住,舊的上限是 200!這至少仍然是一個數量級的提升。
    Gemini 3.1 Pro 在開始過度思考之前表現得非常穩固:Gemini 的數據中有很多雜訊,因為 Gemini 在高 N 值時的行為非常不可預測。在 N=5,000 之前,它的表現非常出色。超過這個數值後,它開始以一種非常奇怪的方式失敗:它沒有忘記指令,而是將所有的輸出預算都花在內部推理 token 上,幾乎沒有輸出任何可見的報告。這就像模型太努力地想遵循指令,以至於耗盡了「思考空間」,導致完全沒有產生答案。
    GPT 5.5 認為這個測試很愚蠢:GPT 5.5 在我們測試的所有模型中表現最好,在 N=5,000 時保持了 99% 的準確率(在圖表中可以看到在 N=4,000 時有一個隨機的下降)。超過這個數值後,它開始下滑。而在非常高的 N 值時,我們開始收到拒絕,而不是僅僅遺漏指令。GPT 5.5 不會像 Opus 那樣回傳 API 層級的拒絕,而是偶爾會回傳像這樣的禮貌輸出訊息:
    I'm sorry, but the requested report cannot be produced in full within the practical response limits of this interface because it requires incorporating 4,000 exact terms while also maintaining a coherent professional business-…

    6 min
  • @OpenAIDevs:OpenAI Realtime API 實現語音操作看板會議助手。 OpenAI Developers 發布「openai-realtime-meetin…

    OpenAI Realtime API 實現語音操作看板會議助手。

    OpenAI Developers 發布「openai-realtime-meeting-assistant」程式庫,展示如何透過 OpenAI Realtime API 實現語音互動的看板會議工具,讓團隊在 standup 會議中直接用自然語言指令移動票券(tickets),無需手動操作。
    技術架構
    此示範以 Go 語言開發,使用 Pion WebRTC、Gorilla WebSocket、Opus 音訊編解碼,以及 Realtime + WebRTC 整合指南。伺服器負責混合多位參與者的音訊,傳送至 OpenAI Realtime peer,並透過 function calling 觸發看板更新。多位使用者可加入相同 WebRTC 房間,共享看板變更。
    安全警示
    [!IMPORTANT]
    此示範未內建認證或存取控制。伺服器運行時,任何人可透過應用程式 URL 加入會議房間並存取內容。
    執行步驟
    設定 OpenAI API:
    - 若為新使用者,註冊帳號。
    - 遵循 Quickstart 取得 API 金鑰。
    複製程式庫:
    `bash
    git clone https://github.com/openai/openai-realtime-meeting-assistant.git
    `
    設定 API 金鑰:
    在啟動伺服器的 shell 中匯出環境變數:
    `bash
    export OPENAIAPIKEY=
    `
    伺服器直接讀取環境變數,不自動載入 .env 檔案。
    安裝依賴:
    需要 Go 1.24 或更新版本,以及透過 pkg-config 取得的 Opus 函式庫。
    `bash
    brew install opus pkg-config
    `
    運行應用程式:
    `bash
    go run .
    `
    應用程式將在 http://localhost:3000 可用。
    若要使用其他連接埠:
    `bash
    go run . -addr :8080
    `
    啟動會議流程
    若 OPENAIAPIKEY 已設定,伺服器啟動時會建立 OpenAI Realtime peer;若金鑰缺失或連線失敗,瀏覽器房間仍可載入,但看板助手不會監聽或更新票券。
    開啟 http://localhost:3000。
    點擊 Join room。
    允許攝像頭與麥克風存取。
    以自然語音討論看板工作;房間混合音訊傳至 Realtime 助手,看板變更廣播給所有參與者。
    在另一瀏覽器分頁或裝置開啟相同 URL 加入。
    點擊 Leave 斷開連線並停止本地媒體軌道。
    使用建議
    使用耳機或降低喇叭音量,避免迴音。背景音訊可能被會議混合器擷取並誤解為看板更新。
    示範互動流程
    看板初始於 Backlog 欄位有幾張 WebRTC 相關票券。試說以下語句,看板將即時更新,票券移動有動畫,完成工作觸發彩帶,筆記更新顯示簡短預覽:
    "I started the ICE restart handling ticket."
    "The DTLS cleanup work is blocked on a transport shutdown issue."
    "We shipped the RTP HEVC packetizer."
    "Create a ticket to add subscription controls for simulcast forwarding."
    "Add the bandwidth tag to the simulcast card."
    "Delete the packet retransmission buffer ticket."
    已配置功能
    助手定位為語音操作的看板管理員,能夠:
    從明確請求或 standup 更新建立票券。
    在 Backlog、In Progress、Blocked、Done 之間移動既有票券。
    新增標籤而不取代既有標籤。
    後續脈絡到來時更新票券標題或筆記。
    依請求刪除票券。
    忽略填充詞、手遞或結束語句,若無需看板操作。
    詳細指令與工具見 kanban.go。
    自訂選項
    更新 kanban.go 中的 initialKanbanBoardCards(初始票券)。
    修改 sessionInstructions(Realtime 指令)。
    調整 kanbanTools(暴露給模型的工具)。
    設定 OPENAIREALTIMEMODEL 變更預設模型(預設 gpt-realtime-2)。
    自訂瀏覽器 UI 於 index.html。
    以 main.go 中的 -addr 旗標變更 HTTP 綁定位址。
    授權
    MIT License,詳見 LICENSE 檔案。
    程式庫:https://github.com/openai/openai-realtime-meeting-assistant。

    原文:https://easyvibecoding.app/curated/1273

    5 min