如果你想讓 Gemini 代為點選、搬運資料或輸入內容,Mac 上的 computer use 能幫上忙;但付款、身分驗證、刪除資料與分享內容,最後仍該由你親自確認。這項功能僅開放給符合資格的美國英文訂閱用戶,並會在受監督的隔離視窗中運作。
30 秒結論:雜務可交給 Gemini,登入與最後確認自己來
你可以讓 Gemini 負責瀏覽、轉錄與操作流程,但登入、付款、送出與刪除,都應保留在自己的確認範圍內。它會在獨立的虛擬畫面運作,並在聊天室提供即時預覽;遇到登入和付款時會暫停,執行敏感操作前也會詢問你。不過 Google 的說明頁面也明確提醒,Gemini「可能犯錯,或做出非預期的行為」(Google Support)。
是否能啟用?一次看懂資格與費用
以下五項條件涵蓋 Google 公告與說明頁面列出的主要使用資格(Google Blog、Google Support)。
| 條件 | Google 的說明 |
|---|---|
| 地區與語言 | 推出初期僅限美國與英文 |
| 帳戶 | 需為年滿 18 歲的個人 Google 帳戶;工作與學校帳戶不適用 |
| 方案 | Google AI Plus、Pro 或 Ultra(根據 MacRumors,入門方案每月 $4.99 起) |
| 硬體與作業系統 | 搭載 Apple Silicon 的 Mac,且需執行 macOS Sequoia 15.0 或更新版本 |
| App | Mac 版 Gemini app(gemini.google/mac);說明頁面建議使用 Hydrogen 4 或更新版本,以取得較佳回應品質 |
此功能自 2026 年 11 月 19 日起陸續推出;Intel Mac、免費方案、Workspace 帳戶與非美國用戶皆不在支援範圍內。相關公告尚未提供更廣泛地區擴展的日期。
啟用 @Computer use:權限別一次給太滿
在 Task 對話串中選擇 Task,再加入 @Computer use。可持續套用的 App 清單、macOS 權限與聊天室內的核准,屬於彼此獨立的控制項(Google Support)。
- 開啟
Gemini → Settings → Computer use(依 Google 提供的設定路徑,macOS 快捷鍵為⌘ + ,)。 - 開啟 Allow Gemini to work with your Mac,接著依提示授予 macOS 的輔助使用與螢幕與系統音訊錄製權限。
- 若工作涉及檔案,可先選擇性開啟 Use on-demand file backups;請把它視為盡力而為的保護措施,而不是保證可還原的備份機制。
- 在 Task 提示中清楚寫出來源檔案、目標 App 與輸出格式。
- 安全建議(作者建議,非 Google 規定):第一次讓它接觸某個桌面 App 時,先選 Allow once,不要直接選 Always allow。
先從未登入帳戶的資料夾與可丟棄的副本開始測試,過程中留意即時預覽,必要時按下 Stop task。
Connectors 會影響可顯示哪些整合服務,但是否能原生控制 App,仍取決於各 App 的 Allow 決定。Desktop 項目包括 Blender、Autodesk Fusion、Git 與 Obsidian(9to5Google)。
跨 App 能做到哪裡?先掌握幾條關鍵界線
Gemini 可以在多個 App 間操作與傳遞資訊,支援點擊、輸入、捲動、選單與表單。Google 公布的四種初期使用情境如下(Google Blog):
- 在創意 App 中批次編修照片並建立 3D 場景
- 將 PDF 裡的重量與地址填入多欄位的運費報價表單
- 把區域儀表板指標與螢幕截圖整理進 Slides
- 檢視服飾資料夾,建立待刊登的二手轉售商品
依 Google 說明頁面的資訊,以下幾個使用邊界特別重要(Google Support):
- 核准會中斷自動操作。 遇到登入與付款會暫停;代你建立商品刊登草稿,不代表會直接發布。
- 工作階段也會隨點擊一同交出去。 若允許操作已登入的 App,該工作階段與畫面可見的 MFA 內容都會暴露給它。
- 無法保證能還原。 備份屬盡力而為,會保留 24 小時或到下一個提示為止;部分 App 內容不在備份範圍內,部分操作也無法復原。
- 先確認第三方規則。 在交辦前,確認目標 App 是否允許自動化操作。
「每一個選單與表單背後都是你的登入狀態。把點擊交給代理人,也等於把工作階段交給它。那麼,誰在盯著權限頁面?」— @weiwan_ok, X
權限、核准與 24 小時備份上限
聊天室內的選擇只會套用到當前步驟;只有 Always allow 會持續保留在Allowed apps中。Blocked apps 則是相反的持續封鎖清單(Google Support)。
| 選項 | 適用範圍 | 適合使用的時機 |
|---|---|---|
| Don't allow | 僅限此步驟 | 不熟悉的 App、非預期的請求,以及任何登入或付款提示 |
| Allow once | 僅限此步驟 | 首次使用必要的 App |
| Always allow | 持續有效,直到移除 | 僅限反覆需要且風險低的 App |
| Blocked apps | 持續封鎖 | 郵件、訊息、密碼管理工具、金融服務,以及任何可造成不可逆影響的 App |
文件列出三項風險:不可信的螢幕內容,可能引導 Gemini 操作其他已允許的 App;程式碼編輯器或開發工具可能讓它執行 shell,並大幅修改檔案系統;備份「會保留 24 小時」,且不涵蓋每一種 App。工作結束後請移除暫時授予的權限,並透過工作對話中的 View backups 確認備份。
該選 Mac app 還是 Computer Use API?開發者的判斷原則
Mac app 的定位是在你的電腦上、由人監督完成雜務;API 則是由你的程式在自行部署的環境中執行螢幕截圖循環(Google AI Studio docs)。
| 面向 | Gemini Mac app(@Computer use) | Computer Use API |
|---|---|---|
| 誰執行點擊 | Gemini 在隔離的 Mac 視窗中操作 | 你的執行器(Playwright、Browserbase)執行回傳的 function_call |
| 座標模型 | 由視窗機制隱藏處理 | 標準化為 1000x1000 的 x/y 座標,再由你的程式縮放至 viewport |
| 成本型態 | 訂閱制(Plus/Pro/Ultra) | 按 token 計費的循環:每張截圖、歷史紀錄與操作輸出都會計入(pricing) |
| 安全責任歸屬 | Google 的提示機制,加上你的 Allowed/Blocked 清單 | 由你負責:回合上限、確認機制、沙箱、注入偵測與稽核日誌 |
| 最適合的情境 | 你會看著預覽的個人跨 App 雜務 | 瀏覽器自動化、大量填表、UI 測試、產品研究 |
若是無頭執行或可重複的產品流程,選 API;若有人會看著預覽並核准最後一步,則適合用 Mac app。詳細內容請參考 Gemini Computer Use API GA Guide: Pricing, Safety。
常見問題
為什麼我的 Gemini Mac app 找不到 Computer Use?
先重新確認上方五項資格,再檢查功能推送狀態,以及是否從 Task 加入 @Computer use。
Gemini 看得到密碼、工作階段或 MFA 驗證碼嗎?
依 Google 的警告,請視任何已允許且已登入的 App 為可能暴露的範圍。採取保守做法時,絕不要對密碼管理工具、郵件或金融 App 設為持續允許。