打開一條關(guān)于 Pixel 11 的討論下面高頻出現(xiàn)的詞往往不是跑分不是影像而是 AI。大家真正想問的往往是那句聽起來(lái)有點(diǎn)遙遠(yuǎn)的話AI 真的能接管我的手機(jī)嗎這個(gè)問題非常自然因?yàn)樗砹艘环N期待手機(jī)不再只是被動(dòng)地聽口令、查資料、修圖而是能像一個(gè)真正的助理把“幫我安排明天行程”“把這幾張照片整理進(jìn)同一個(gè)相冊(cè)”“根據(jù)這條短信生成一條待辦并把提醒設(shè)好”之類的跨應(yīng)用任務(wù)直接跑完。但我一直覺得“接管”這個(gè)詞需要拆開來(lái)理解。如果接管是指模型自己決定要做什么、自己執(zhí)行、自己承擔(dān)后果那離成熟還很遠(yuǎn)如果接管是指 AI 按照人的目標(biāo)把一條多步驟操作拆得清楚、可驗(yàn)證、可中斷那它其實(shí)已經(jīng)進(jìn)入工程可實(shí)現(xiàn)的邊界。我比較認(rèn)同的判斷是AI 接管手機(jī)的真實(shí)價(jià)值不是把“人”從決策席上請(qǐng)走而是把“人”從大量重復(fù)、瑣碎、跨應(yīng)用的中間操作里解放出來(lái)。真正的難點(diǎn)從來(lái)不是模型會(huì)不會(huì)聊天而是手機(jī)能不能安全地替人按下那些按鈕。1. 先拆掉“接管”這個(gè)詞的神秘感1.1 手機(jī)助手不是第一天存在如果只說(shuō)“手機(jī)助手”這個(gè)概念并不新。從最早能打電話、設(shè)鬧鐘的語(yǔ)音助手開始用戶就已經(jīng)在嘗試用自然語(yǔ)言驅(qū)動(dòng)手機(jī)完成簡(jiǎn)單動(dòng)作。后來(lái)短信場(chǎng)景、日歷場(chǎng)景、生活服務(wù)場(chǎng)景里出現(xiàn)了大量規(guī)則化的工作流甚至普通用戶也能用自動(dòng)化應(yīng)用把“連接 Wi-Fi”“打開某個(gè) App”“記錄位置”串在一起。這類功能過(guò)去之所以沒有讓人產(chǎn)生“AI 接管手機(jī)”的體感是因?yàn)樗鼈儽举|(zhì)上是“硬規(guī)則”用戶需要自己選擇觸發(fā)條件、自己設(shè)計(jì)動(dòng)作序列。你告訴手機(jī)“到晚上十點(diǎn)打開勿擾模式”手機(jī)執(zhí)行的是確定的邏輯。這個(gè)邏輯一旦設(shè)定基本不會(huì)出錯(cuò)但這種體驗(yàn)完全不是智能只是把控制面板做得更順手。生成式 AI 出現(xiàn)后最直觀的變化是“意圖到動(dòng)作”的翻譯方式變了。用戶不再需要從一堆條件里挑選觸發(fā)詞而是可以直接說(shuō)“把這條航班信息中的起飛時(shí)間做成一個(gè)日歷事件”。模型負(fù)責(zé)理解文本、提取字段、判斷哪個(gè)應(yīng)用合適、生成一個(gè)執(zhí)行方案。這個(gè)體驗(yàn)上的跨越才是“接管”感的主要來(lái)源。1.2 我習(xí)慣把“AI 接管手機(jī)”分成三個(gè)階段第一個(gè)階段是 AI 能看見。手機(jī)通過(guò)攝像頭、語(yǔ)音、文字、通知、屏幕內(nèi)容能夠理解用戶當(dāng)前正在做什么。比如識(shí)別畫面里的路牌、讀取屏幕上的驗(yàn)證碼、總結(jié)正在閱讀的文章。這個(gè)階段里模型更像一個(gè)“眼睛”它能感知但它不主動(dòng)替你操作。第二個(gè)階段是 AI 能建議。模型根據(jù)上下文生成回答、改寫文本、修圖、生成會(huì)議紀(jì)要。這一步依然是在單個(gè)工具內(nèi)部做增強(qiáng)模型不跨應(yīng)用執(zhí)行。很多用戶每天在用的修圖、輸入法、筆記總結(jié)都屬于這一類。第三個(gè)階段才是 AI 能操作。它不只輸出一段文字或一張圖而是真正去打開日歷、填寫字段、調(diào)用地圖、發(fā)送提醒甚至在同一串任務(wù)里完成多個(gè)應(yīng)用之間的跳轉(zhuǎn)。只有到這一層我們才值得嚴(yán)肅討論“接管”的問題。前面兩個(gè)階段再?gòu)?qiáng)本質(zhì)上還是在“輔助人操作”沒有越過(guò)那道執(zhí)行邊界。也只有在第三個(gè)階段里AI 才真正改變了人機(jī)關(guān)系人不再逐步點(diǎn)擊每一個(gè)應(yīng)用而是把目標(biāo)交給系統(tǒng)由一套由模型和系統(tǒng)共同驅(qū)動(dòng)的流程去完成具體操作。2. AI 從“會(huì)說(shuō)話”到“能操作”至少要跨過(guò)四道門檻2.1 第一道門檻看見屏幕不等于理解屏幕想讓 AI 在手機(jī)上執(zhí)行操作第一步是讓它知道“當(dāng)前屏幕上有什么”。這一關(guān)遠(yuǎn)比想象中復(fù)雜。系統(tǒng)層面的可訪問性信息通常能提供比較干凈的控件結(jié)構(gòu)但真實(shí)場(chǎng)景并不總是理想。很多應(yīng)用內(nèi)的頁(yè)面是自定義渲染的有些信息只在圖片里有些按鈕看似是按鈕其實(shí)是偽裝成按鈕的文本。如果模型只能拿到截圖像素而不是結(jié)構(gòu)化控件樹它就需要靠視覺模型去推斷哪里可以點(diǎn)、哪里可以滑動(dòng)、哪里是確認(rèn)鍵。一旦應(yīng)用改版、分辨率變化、屏幕滾動(dòng)坐標(biāo)系和布局都會(huì)發(fā)生偏移。這里還牽扯到一個(gè)容易被忽略的問題模型拿到的是“某一時(shí)刻”的截圖但真實(shí)界面是動(dòng)態(tài)的。視頻播放到哪一幀、下拉刷新是否完成、彈窗是否已經(jīng)消失這些狀態(tài)都會(huì)影響判斷。如果系統(tǒng)沒有給模型一個(gè)足夠透明、實(shí)時(shí)、可解釋的界面狀態(tài)它就會(huì)像一個(gè)蒙著眼在房間里找開關(guān)的人偶爾能摸到燈但根本不知道自己處在房間的哪個(gè)角落。2.2 第二道門檻有目標(biāo)不等于能制定靠譜的執(zhí)行計(jì)劃用戶對(duì) AI 說(shuō)“幫我把這周的會(huì)議安排成一個(gè)行程清單”時(shí)看似一句話其實(shí)背后藏著大量判斷哪些算會(huì)議、是全部要列入還是只列重要的、要不要包含線上會(huì)議鏈接、是否允許創(chuàng)建新日程、日程沖突時(shí)怎么辦。模型如果面對(duì)一個(gè)高度開放的目標(biāo)最理想的做法不是一次性猜到底而是把模糊項(xiàng)拆出來(lái)在合適的節(jié)點(diǎn)向用戶提問。這里最難的不是“多輪對(duì)話”而是模型需要知道什么時(shí)候該問、什么時(shí)候不該問。每個(gè)問題都意味著一次等待如果所有信息都想問體驗(yàn)會(huì)非?，嵥槿绻裁炊疾粏栔苯訄?zhí)行又大概率做錯(cuò)。從工程經(jīng)驗(yàn)看這類系統(tǒng)應(yīng)該有“計(jì)劃-確認(rèn)-執(zhí)行”的分層意識(shí)。模型先在后臺(tái)生成一個(gè)簡(jiǎn)潔的候選方案告訴用戶“我準(zhǔn)備打開日歷新建 5 個(gè)日程遇到?jīng)_突時(shí)選擇跳過(guò)并匯總”等用戶確認(rèn)后再逐項(xiàng)執(zhí)行。這個(gè)分層動(dòng)作看起來(lái)只是在中間加了一個(gè)確認(rèn)框?qū)嶋H卻把不確定性壓縮到了用戶能控制的范圍。2.3 第三道門檻跨應(yīng)用執(zhí)行需要的是權(quán)限治理而不只是權(quán)限開關(guān)手機(jī)操作系統(tǒng)里的權(quán)限設(shè)計(jì)傳統(tǒng)上是圍繞“某個(gè) App 能否使用某項(xiàng)能力”來(lái)展開的相機(jī)、麥克風(fēng)、定位都屬于這一類。但當(dāng) AI 要跨應(yīng)用操作時(shí)權(quán)限模型需要變得更細(xì)膩它不再只是某個(gè) App 有沒有權(quán)限而是“當(dāng)前這次自動(dòng)操作是否有權(quán)使用這個(gè)數(shù)據(jù)是否能觸發(fā)這個(gè)動(dòng)作動(dòng)作范圍是否限制在當(dāng)前任務(wù)內(nèi)”。比如讓 AI 從短信中提取驗(yàn)證碼當(dāng)然在技術(shù)上可行但如果系統(tǒng)不區(qū)分是“用戶主動(dòng)要求讀取某條短信”還是“默認(rèn)允許全部短信進(jìn)入模型上下文”風(fēng)險(xiǎn)就會(huì)成倍增加。再比如 AI 要把會(huì)議鏈接發(fā)給某人這已經(jīng)屬于“對(duì)外發(fā)布”級(jí)別的操作是否需要有獨(dú)立的二次授權(quán)是否要在操作日志里留痕是否可以在用戶撤回授權(quán)后讓整個(gè)流程立即中斷所以跨應(yīng)用 AI 的能力邊界不取決于模型有多聰明而取決于系統(tǒng)有沒有把每一次操作對(duì)應(yīng)的“數(shù)據(jù)范圍”和“行為范圍”講清楚。權(quán)限系統(tǒng)不該是用戶打開一個(gè)開關(guān)后就再也看不見的暗箱它更像一個(gè)需要不斷被確認(rèn)和復(fù)核的工程實(shí)體。好的設(shè)計(jì)應(yīng)該是默認(rèn)最小權(quán)限按任務(wù)臨時(shí)提升權(quán)限任務(wù)結(jié)束后自動(dòng)退回。2.4 第四道門檻最重要的能力不是開始而是停下來(lái)很多演示場(chǎng)景讓人興奮是因?yàn)?AI 順順利利地把任務(wù)做完了。但真實(shí)系統(tǒng)里判斷一個(gè) AI 操作是否安全看的往往是任務(wù)異常時(shí)能不能中斷。設(shè)想一個(gè)流程AI 打開了多個(gè)應(yīng)用已經(jīng)完成了兩次跳轉(zhuǎn)結(jié)果第三個(gè)應(yīng)用彈出了異常提示。如果流程里沒有覆蓋這一步模型可能繼續(xù)點(diǎn)擊錯(cuò)誤的位置甚至進(jìn)入死循環(huán)更麻煩的是模型并不知道自己執(zhí)行到了哪一步用戶也不知道該從哪里取消。我在評(píng)估這類系統(tǒng)時(shí)會(huì)先關(guān)注幾個(gè)關(guān)鍵點(diǎn)每次執(zhí)行是否可以隨時(shí)被用戶中止每一步操作是否有獨(dú)立的記錄如果上一步操作已經(jīng)產(chǎn)生副作用比如一條消息已經(jīng)發(fā)送一條日程已經(jīng)創(chuàng)建AI 是否能明確告訴用戶“什么已完成、什么待確認(rèn)、什么被跳過(guò)”而不是只回復(fù)一句“任務(wù)完成”。能優(yōu)雅停下來(lái)的 AI比一個(gè)每次都猛沖到底的 AI 可靠得多。3. 從演示到日常使用真正難的從來(lái)不是“做出第一步”3.1 演示一次成功說(shuō)明不了可靠性很多 AI 手機(jī)功能的展示畫面都非常驚艷用戶一句話手機(jī)自動(dòng)完成一串操作全程絲滑幾乎沒有停頓。但演示環(huán)境有幾個(gè)共同點(diǎn)所有條件都被提前設(shè)置好應(yīng)用版本是固定的網(wǎng)絡(luò)是通暢的屏幕位置是穩(wěn)定的后臺(tái)沒有一堆無(wú)關(guān)通知在亂跳。真實(shí)使用環(huán)境完全不同。聊天軟件的對(duì)話可能剛刷新完日歷頁(yè)面可能有舊彈窗沒有關(guān)某個(gè)應(yīng)用剛好更新了新版本按鈕位置整體移動(dòng)流程里要用到的字段在這臺(tái)手機(jī)上恰好沒有授權(quán)。任何一個(gè)因素發(fā)生變化都可能讓原本可以跑通的鏈路失效。真正可靠的 AI 操作能力不是演示時(shí)能否成功而是同樣的任務(wù)重復(fù)執(zhí)行 50 次后成功率是否穩(wěn)定。3.2 最容易被低估的是狀態(tài)過(guò)期與上下文丟失模型在多次操作之間需要持續(xù)記憶“當(dāng)前目標(biāo)是什么、已經(jīng)完成哪一步、當(dāng)前處于哪個(gè)頁(yè)面、接下來(lái)要做什么”。但手機(jī)的界面狀態(tài)會(huì)一直變化通知會(huì)彈出來(lái)后臺(tái)會(huì)刷新應(yīng)用會(huì)自己跳轉(zhuǎn)。如果模型只憑記憶中的舊截圖做決策很容易按錯(cuò)按鈕。這也是為什么真正能用于生產(chǎn)環(huán)境的智能體不能只依賴大模型的上下文還需要像傳統(tǒng)程序一樣處理狀態(tài)。系統(tǒng)應(yīng)該在每一步執(zhí)行后重新確認(rèn)屏幕狀態(tài)把新截圖、新頁(yè)面元素、上一步執(zhí)行結(jié)果帶回決策模塊并在上下文出現(xiàn)矛盾時(shí)主動(dòng)停下來(lái)詢問用戶。把這套鏈路做穩(wěn)比單純調(diào)大模型參數(shù)更貼近真實(shí)工程。3.3 可解釋性不是附加體驗(yàn)而是排障基礎(chǔ)設(shè)施傳統(tǒng)自動(dòng)化腳本一旦出錯(cuò)開發(fā)者至少能去看日志、堆棧和執(zhí)行時(shí)機(jī)。AI 操作手機(jī)不同它的每一步輸入都是模型生成的可能帶上隨機(jī)性甚至同樣的說(shuō)法第二次執(zhí)行時(shí)選擇了完全不同的路徑。這時(shí)如果沒有操作鏈路審計(jì)問題會(huì)變得非常難排查。我更愿意把這種 AI 能力當(dāng)成一套需要黑盒測(cè)試和灰盒追蹤的系統(tǒng)來(lái)對(duì)待。每一步執(zhí)行至少應(yīng)該記錄模型看到了什么輸入產(chǎn)生了什么意圖選擇了什么動(dòng)作最終的屏幕反饋是什么。用戶不需要看到這些細(xì)節(jié)但開發(fā)者需要在出問題時(shí)能回放整條鏈路。沒有這個(gè)基礎(chǔ)AI“接管手機(jī)”將永遠(yuǎn)停留在玩具階段。4. 如果我想驗(yàn)證一臺(tái) AI 手機(jī)值不值得信任我會(huì)按這套最小流程來(lái)4.1 先不碰那些不可逆的操作面對(duì)任何聲稱具備“AI 操作手機(jī)”能力的產(chǎn)品第一步不該去找一個(gè)高難度任務(wù)來(lái)挑戰(zhàn)它而應(yīng)該從可回滾的任務(wù)開始。比如我會(huì)先讓它“打開備忘錄新建一條標(biāo)題為‘測(cè)試’的筆記并把當(dāng)前時(shí)間寫進(jìn)去”。這類任務(wù)即使出錯(cuò)也只是產(chǎn)生一條沒有價(jià)值的筆記不會(huì)造成損失。跑通后再逐步增加復(fù)雜度讓 AI 把某個(gè)網(wǎng)頁(yè)里的活動(dòng)時(shí)間提取出來(lái)新建到日歷里。到了這一步已經(jīng)涉及跨應(yīng)用跳轉(zhuǎn)但仍然不會(huì)對(duì)聯(lián)系人、社交賬號(hào)、支付數(shù)據(jù)產(chǎn)生不可逆影響。真正需要謹(jǐn)慎的是消息發(fā)送、批量刪除、交易確認(rèn)以及所有對(duì)外發(fā)布類的操作。在系統(tǒng)沒有把這類操作的二次確認(rèn)、授權(quán)邊界和審計(jì)日志做清楚前我會(huì)默認(rèn)不給 AI 完全自主權(quán)。這個(gè)判斷不是不相信模型而是任何復(fù)雜系統(tǒng)都一定會(huì)遇到誤判關(guān)鍵是誤判發(fā)生后有沒有人能夠及時(shí)止損。4.2 手動(dòng)制造干擾比反復(fù)運(yùn)行成功更有價(jià)值驗(yàn)證 AI 操作能力時(shí)我最不推薦的做法是讓同一個(gè)任務(wù)連續(xù)跑十遍然后憑成功率下結(jié)論。更有效的辦法是主動(dòng)制造中斷場(chǎng)景。你可以嘗試這樣一組操作先讓 AI 完成一個(gè)跨應(yīng)用任務(wù)當(dāng)它運(yùn)行到一半時(shí)手動(dòng)打開飛行模式然后觀察它能不能識(shí)別網(wǎng)絡(luò)異常是停下來(lái)詢問還是繼續(xù)點(diǎn)一些等不到結(jié)果的按鈕接著再把飛行模式關(guān)掉給 AI 一個(gè)目標(biāo)應(yīng)用未安裝、權(quán)限被拒絕、彈窗存在兩個(gè)選項(xiàng)的干擾環(huán)境看它能不能從異常中恢復(fù)或者至少知道該向用戶求助。這些測(cè)試的目的不是證明 AI 不夠聰明而是確認(rèn)它在“自己不再確定”時(shí)能否把控制權(quán)交還給用戶。一個(gè)知道何時(shí)說(shuō)“我不能確定”的系統(tǒng)比一個(gè)假裝什么都懂的系統(tǒng)更適合進(jìn)入日常。4.3 失敗定位按“輸入—感知—決策—執(zhí)行—環(huán)境”來(lái)查遇到 AI 操作任務(wù)失敗時(shí)不要急著歸咎于模型不聰明建議按順序排查。先看輸入。用戶的描述是否缺少關(guān)鍵條件比如只說(shuō)了“設(shè)置一個(gè)提醒”沒有說(shuō)時(shí)間本身就存在歧義。再看感知。AI 看到的屏幕信息是完整的嗎它有沒有被某個(gè)彈窗誤導(dǎo)或者拿到的還是舊截圖。接著看決策。模型生成的執(zhí)行計(jì)劃是否可行有沒有把無(wú)害操作和不可逆操作放在同一個(gè)批次里。然后看執(zhí)行。環(huán)節(jié)之間有沒有做狀態(tài)確認(rèn)如果前一個(gè)動(dòng)作沒有成功后續(xù)動(dòng)作是不是仍然盲目繼續(xù)。最后還要看環(huán)境。是不是網(wǎng)絡(luò)斷了、權(quán)限被收回、應(yīng)用版本變了。這個(gè)排查鏈路比單純換一個(gè)提示詞更能定位問題。5. 普通用戶和開發(fā)者應(yīng)該用兩種姿態(tài)迎接這場(chǎng)變化5.1 對(duì)普通用戶別把 AI 手機(jī)當(dāng)成“全知助理”AI 手機(jī)功能越來(lái)越強(qiáng)是事實(shí)但“強(qiáng)”不等于“全知”。成熟的使用姿態(tài)是把手機(jī) AI 當(dāng)成一個(gè)正在學(xué)習(xí)你工作習(xí)慣的新同事它可以處理目標(biāo)明確、操作可回滾、邊界清晰的重復(fù)任務(wù)但當(dāng)你把重要事項(xiàng)交給它時(shí)還是要留出復(fù)核空間。使用這類功能時(shí)我會(huì)特別關(guān)注三件事第一任務(wù)完成后我是否能看到它執(zhí)行了什么第二過(guò)程中我是否可以隨時(shí)打斷第三對(duì)于涉及發(fā)送、刪除、支付的動(dòng)作是否有獨(dú)立的確認(rèn)步驟。如果這三件事都做得清楚就算任務(wù)偶爾失敗我也愿意繼續(xù)使用。怕的不是出錯(cuò)而是出錯(cuò)之后用戶完全不知道發(fā)生了什么。5.2 對(duì)開發(fā)者先把狀態(tài)機(jī)、日志、權(quán)限最小化想清楚很多開發(fā)者在嘗試構(gòu)建手機(jī)端智能體時(shí)會(huì)把大量精力放在提示詞上希望靠模型現(xiàn)場(chǎng)的推理能力解決所有問題。提示詞當(dāng)然重要但如果系統(tǒng)的整體結(jié)構(gòu)不具備工程韌性換再好的模型也容易出事。開發(fā)這類能力時(shí)我更建議關(guān)注三塊基礎(chǔ)建設(shè)。一是任務(wù)狀態(tài)建模。把“待確認(rèn)、執(zhí)行中、已完成、被中斷、執(zhí)行失敗”這些狀態(tài)顯式定義出來(lái)而不是讓模型用自然語(yǔ)言自由發(fā)揮。二是決策和行為審計(jì)。每一次動(dòng)作都要可以追溯將來(lái)無(wú)論做產(chǎn)品復(fù)盤還是用戶投訴都能找到依據(jù)。三是權(quán)限最小化。AI 被調(diào)用時(shí)不應(yīng)該擁有比用戶手動(dòng)操作時(shí)更多的能力臨時(shí)提權(quán)、用完釋放應(yīng)該成為默認(rèn)機(jī)制。5.3 真正值得長(zhǎng)期關(guān)注的是“誰(shuí)在何時(shí)擁有最終決定權(quán)”回到最開始的問題AI 真的能接管手機(jī)嗎如果“接管”是指模型可以替人做每一個(gè)決定那我認(rèn)為這不是技術(shù)路線而是一種風(fēng)險(xiǎn)很大的想象。如果“接管”是指系統(tǒng)能在明確授權(quán)范圍內(nèi)完成跨應(yīng)用操作并在不確定時(shí)把決定權(quán)還給用戶那它正在成為現(xiàn)實(shí)。Pixel 11 將來(lái)會(huì)怎么定義這張答卷也許要等真機(jī)和大規(guī)模軟件生態(tài)逐漸到位后才能看出全貌。但 Pixel 一直承擔(dān)的角色某種程度是把 Android 生態(tài)里那些“早該但還沒做”的體驗(yàn)往前推。對(duì)關(guān)心這個(gè)領(lǐng)域的人來(lái)說(shuō)與其急著判斷某臺(tái)設(shè)備能否“接管手機(jī)”不如先建立自己的驗(yàn)證清單看它是否能讓人知道 AI 做了什么是否能讓人在任務(wù)失控前及時(shí)叫停是否能保護(hù)那些不該被默認(rèn)放行的操作。最后的建議很簡(jiǎn)單。想嘗鮮可以從小任務(wù)開始想投入先把狀態(tài)機(jī)和日志做好想長(zhǎng)期使用永遠(yuǎn)保留人的確認(rèn)權(quán)和中斷權(quán)。手機(jī) AI 的真正進(jìn)步不是讓機(jī)器變得像人一樣做決定而是讓機(jī)器把人從重復(fù)勞動(dòng)里接走同時(shí)不把決定權(quán)悄悄吞掉。