谷歌正在把 AI 從「聊天框」推向「操作檯」。其 Mac 版 Gemini 應用新增「電腦操作」(Computer Use)功能,允許 AI 在後台代替使用者完成跨應用的多步驟任務,而使用者仍可繼續使用電腦做自己的事。
按照谷歌的說法,使用者只需用自然語言描述目標,Gemini 就會模擬點選、輸入文字、瀏覽選單和填寫表單,覆蓋本地檔案、桌面應用與網站三類場景。所有操作都在一個隔離的後台視窗中執行,並配有即時預覽,因此螢幕和游標不會被佔用,使用者的前台工作不會被打斷。
在控制權方面,谷歌設計了幾道「安全閥」:使用者可自行選擇 Gemini 能訪問哪些應用,全程觀看每一步操作,隨時暫停,並可在執行前預先批准關鍵動作。官方給出的示例包括批次編輯照片和 3D 場景、從本地 PDF 中提取資訊填寫發貨表單,以及製作簡報。
該功能今日起在美國以英文上線,Mac 版 Gemini 應用已開放下載。
從行業背景看,讓 AI 直接操作圖形介面而非僅呼叫 API,是過去一年大模型廠商競逐的新方向。這類「電腦操作」能力被視為智慧體落地的關鍵一步——它讓 AI 能處理那些沒有開放介面的舊軟體和網頁流程,但也帶來許可權、誤操作與資料安全方面的現實考驗。谷歌此次強調隔離視窗、即時預覽和事前授權,正是對這類顧慮的回應。
競爭層面,OpenAI 近期同樣在「電腦操作」上發力,The Decoder 的報道稱其憑藉 Astra 模型取得明顯領先。對關注大模型戰局的讀者而言,谷歌此輪更新意味著桌面端智慧體的競爭正在從演示走向可用產品,而誰能把可靠性、許可權控制和使用者體驗做得更紮實,將決定這一功能是「嚐鮮玩具」還是真正的生產力工具。
值得注意的是,該功能目前僅限美國英文使用者,且依賴使用者主動授權應用訪問許可權,實際可用範圍仍受地區與語言限制。後續其向更多市場擴充套件的節奏,以及使用者對後台自動操作的接受度,將是觀察這一賽道走向的重要指標。