想讓 AI 幫你看手機 App 裡的公開資料、整理商品資訊,或協助完成一小段重複操作?可以嘗試這條路線:Mac 上的 Codex 電腦操作功能 → iPhone Mirroring(iPhone 鏡像輸出)→ iPhone App。
社區編輯教學|資料核對:2026 年 11 月 3 日。 本文根據官方文件與公開問題回報整理;未在本篇製作過程中完成真機端到端實測。下面的提示詞為本站編寫的練習範例,不代表每個帳號、App 或版本都能成功。請先做「看得到、點得到」的小測試。
先理解:Codex 是怎樣操作手機的?
Apple 的 iPhone Mirroring 把真實 iPhone 的畫面和互動帶到 Mac。Computer Use 則讓 Codex 看見並操作獲准的桌面 App。將兩者組合,是透過 Mac 上的鏡像視窗間接操作手機,不是把 Codex 安裝成 iPhone 的系統控制器。這是兩種能力的應用組合,並非官方承諾每個 iPhone App 都相容的專用整合。Apple 功能說明 · OpenAI Computer Use 文件
它也與「在手機上遠端查看 Codex 任務」不同:本篇的操作執行端仍是 Mac,iPhone 在附近提供鏡像畫面。
一、準備哪些設備與權限?
| 項目 | 要檢查什麼 |
|---|---|
| Mac | Apple silicon 或配備 T2 晶片的機型,macOS Sequoia 15 或更新版本 |
| iPhone | iOS 18 或更新版本,已設定裝置密碼 |
| Apple 帳號 | 兩台裝置使用同一 Apple Account,開啟雙重認證 |
| 連線狀態 | Wi-Fi、藍牙開啟,手機在 Mac 附近並保持鎖定;Mac 不同時使用 AirPlay、Sidecar 或網際網路共享 |
| 地區 | Apple 文件目前列明歐盟不可使用 iPhone Mirroring;其他地區也應以裝置實際可用性為準 |
| Codex | 使用能提供 Computer Use 的桌面環境與帳號;在插件介面安裝/啟用 Computer Use,依提示授予螢幕錄製與輔助使用權限,並允許使用 iPhone Mirroring App |
Apple 與 Codex 的最低條件要各自滿足;Mac 能鏡像,不代表你的 Codex 帳號必定有電腦操作入口。找不到入口時,先核對版本、帳號與工作區政策,不要只在對話裡反覆輸入指令。Apple 系統需求 · OpenAI 設定與權限
二、先由你本人完成鏡像連線
- 在 Mac 打開 iPhone Mirroring/iPhone 鏡像輸出。
- 按視窗提示完成首次配對;若要求手機密碼,由你在 iPhone 上輸入。
- 看見手機畫面後,先自己試著點開一個 App、返回主畫面,確認鏡像本身可用。
- 將手機鎖定並放在旁邊,讓鏡像保持連線;解鎖手機會停止鏡像。
- 本教學建議先把 Codex 與鏡像放在同一個一般桌面,暫時避免全螢幕切換,方便觀察與排錯。
首次練習可以只用主畫面或準備好的測試資料。不要一開始就讓 AI 掃描聊天記錄、銀行 App 或整個相簿。
三、啟用 Codex 的 Computer Use
在桌面 App 的 Plugins → Computer Use 安裝/啟用插件,確認相關工具開關已打開;依系統提示設定螢幕錄製與輔助使用。之後可在 Settings → Computer use 檢查 App 存取權。介面名稱會隨版本調整,請以你看到的入口為準。
「允許 Codex 看畫面」與「允許操作某個 App」是不同層次的權限。完成 macOS 權限設定後,仍可能需要批准本次 App 操作。OpenAI 官方操作說明
先貼這段,不要立刻交付長任務:
請使用 Computer Use 查看我 Mac 上已連線的 iPhone Mirroring 視窗。
先只觀察,不點擊、不輸入、不讀取其他 App。
請說明目前可見的畫面、是否能辨識主要按鈕,以及有哪些無法確定的地方。
如果你沒有電腦操作工具、無法看到鏡像,或需要我授權,請明確說明,不要假裝已完成。
確認看得到後,再做一次小範圍互動:
只操作 iPhone Mirroring:返回 iPhone 主畫面,再開啟「計算機」,輸入 12 × 8。
完成後讀出畫面上的結果,停在計算機。
不要開啟其他 App,也不要更改設定。若按鈕不確定或操作失敗,先停下來告訴我。
這個練習用來分開驗證「能讀畫面」和「能點擊」。即使截圖正常,點擊或捲動仍可能失敗。
四、三個值得嘗試的實際用途
以下是待實測的任務設計,請替換方括號,先做少量,再決定是否擴大。
例子 1:比較手機購物 App 裡的三件商品
適合想整理頁面資訊、不想反覆切換截圖的人。先手動打開指定搜尋結果,避免無限制瀏覽。
請只在 iPhone Mirroring 裡查看我已打開的 [購物 App] 搜尋結果。
最多查看 3 件 [商品名稱/型號],整理:商品名稱、規格、畫面價格、可見運費和店家。
每個數字都要來自實際可見畫面;沒有顯示就寫「未顯示」,不要推算總價。
先列出比較表,再告訴我哪些資料需要本人確認。
不加入購物車、不下單、不付款、不聯絡賣家、不更改收件資料。
人工檢查: 確認同款規格、幣別、優惠條件與配送地區;畫面價格不是已保證的成交價。
例子 2:把自己的測試備忘錄整理成待辦草稿
我已打開名為 [測試備忘錄名稱] 的備忘錄,內容是我授權你處理的測試資料。
只讀這一篇,整理成「任務、截止日期、尚缺資料」三欄,在 Codex 對話輸出草稿。
沒有日期就寫「未指定」;不要猜聯絡人或期限。
不修改原備忘錄,不建立行事曆或提醒事項,不打開其他筆記。
人工檢查: 對照原文的日期與否定句,先確認內容,再另行決定是否建立真正待辦。
例子 3:為自己開發的 App 整理 Bug 復現步驟
請只操作我已開啟的 [測試 App],使用測試帳號和測試資料。
目標是檢查 [指定流程,例如搜尋後返回列表],最多執行一次完整流程。
記錄實際操作順序、可見結果、與我預期結果的差異,以及無法確認的項目。
遇到登入、驗證、刪除、購買、正式發布或對外送出就停下來。
不要聲稱已查看程式內部狀態;只根據畫面回報。
人工檢查: 記錄 App、iOS、macOS、Codex 版本和日期;若要測正式提交,先設計獨立測試環境。
五、遇到問題,按這個順序排查
| 現象 | 先做什麼 |
|---|---|
| 人工操作也連不上手機 | 先解決 Apple 鏡像連線,核對帳號、距離、鎖定狀態及 Wi-Fi/藍牙;按視窗提示處理 |
| Codex 完全看不到視窗 | 檢查 Computer Use 工具、螢幕錄製權限與該 App 的授權 |
| 看得到但點不到、捲不動 | 先把鏡像留在目前桌面,退出其他 App 的全螢幕;必要時暫停幕前調度再試一次。仍失敗就停止,不要連續盲點 |
| 操作到一半中斷 | 檢查是否解鎖了手機或鏡像已斷線,重新連線後先觀察目前畫面,不直接重放全部步驟 |
| 找不到按鈕或內容讀錯 | 縮小任務、指定單一頁面,請 Codex 說明不確定之處,由你確認後再繼續 |
關於「看得到但不能點」:OpenAI 公開倉庫的 issue #57020 有使用者回報視窗不在目前 Space 時的 noWindowsAvailable 問題,也有後續捲動失敗回報。這是特定環境的社區回報,不是官方保證的修復方法;不要把「關掉幕前調度」當成所有版本通用的答案。
六、哪些事仍需要人來做?
- Face ID、相機與麥克風有鏡像限制。 需要本人驗證時,由你接手;不要要求 AI 繞過驗證。Apple 互動限制
- 有權限不等於不限範圍。 指定 App、頁面、資料與最多處理數量,避免無意讀到其他人的私訊。
- 發送、發布、刪除與付款要分開授權。 可以先做草稿或整理比較,最後一步再由人確認。
- 不要把密碼或驗證碼貼進任務提示詞。 建議保留有人監看、可隨時停止的操作方式。
- 不要當作無人值守的手機機器人。 介面、網路、彈窗與 App 規則都可能改變;正式依賴前要在自己的環境驗證。
一段通用的任務框架
請使用 Computer Use 操作 Mac 上的 iPhone Mirroring。
指定 App:[名稱]
目標:[一件具體任務]
資料範圍:[指定頁面/我提供的測試內容]
數量上限:[例如 3 筆]
輸出格式:[表格/草稿/復現步驟]
先觀察目前畫面,再逐步操作,每一步都核對結果。
不確定就停下來問我,不猜測點擊位置,也不重複提交。
登入、驗證、發送、發布、付款、刪除和更改帳戶設定都先由我確認。
完成後列出已完成、未完成及需要我核對的項目。
來源與實測狀態
- Apple:iPhone Mirroring 系統需求、設定與限制
- OpenAI Docs:Computer Use 設定、工具與 App 權限
- OpenAI Codex 公開問題回報 #57020(使用者觀察,不代表官方相容性承諾)
本文沒有實際操作讀者的手機,也沒有將範例冒充成功案例。歡迎回覆你的裝置版本、任務、成功或卡住的步驟;分享畫面前請遮住個人資料。