iphone-use
开源的iOS自动化框架,允许AI智能体通过WebDriverAgent直接操控真实iPhone设备,无需应用API,支持MCP Server集成,采用MIT协议开源
时间轴 (近 90 天)
iphone-use 是一个开源项目,让AI智能体直接操控真实iPhone,无需API
iphone-use 的核心思路是把iPhone屏幕转化为文本信息交给模型理解,再通过 WebDriverAgent 执行点击、输入和滚动等真实操作
iphone-use 对每个动作给出三态反馈:已应用(applied)、仅发送但未生效(not sent)、状态未知(unknown)
针对支付类App屏蔽截图的问题,iphone-use 以线框图(wireframe)形式返回界面结构信息
iphone-use 支持任务录制与回放,一个任务成功执行一次后可固化成可重复流程(flow),回放时不再需要调用模型
iphone-use 提供HTTP API、21工具的MCP Server(专为Claude Code设计)和远程控制(通过浏览器或iOS App)三种接入方式
iphone-use 采用 MIT 协议开源
iphone-use 在 Product Hunt 上获得70票并进入当日榜单第13位
屏幕转文本的理解精度和线框图模式下的信息损失可能影响复杂界面任务的成功率
全部知识事实 (9)
iphone-use 是一个开源项目,让AI智能体直接操控真实iPhone,无需API
50%待验证iphone-use 的核心思路是把iPhone屏幕转化为文本信息交给模型理解,再通过 WebDriverAgent 执行点击、输入和滚动等真实操作
50%待验证iphone-use 对每个动作给出三态反馈:已应用(applied)、仅发送但未生效(not sent)、状态未知(unknown)
50%待验证针对支付类App屏蔽截图的问题,iphone-use 以线框图(wireframe)形式返回界面结构信息
50%待验证iphone-use 支持任务录制与回放,一个任务成功执行一次后可固化成可重复流程(flow),回放时不再需要调用模型
50%待验证iphone-use 提供HTTP API、21工具的MCP Server(专为Claude Code设计)和远程控制(通过浏览器或iOS App)三种接入方式
50%待验证iphone-use 采用 MIT 协议开源
50%待验证iphone-use 在 Product Hunt 上获得70票并进入当日榜单第13位
50%待验证屏幕转文本的理解精度和线框图模式下的信息损失可能影响复杂界面任务的成功率
50%