沈永亮，浙江大学软件学院平台“百人计划”研究员，博士生导师
“GUI Agent想把AI训练得像人一样——在像素层面看懂屏幕、理解意图、完成点击与滑动，这背后的技术复杂性其实非常高。”在一场AI智能体技术路径与治理创新圆桌研讨会上，浙江大学软件学院平台“百人计划”研究员、博士生导师沈永亮这样评价豆包手机助手背后的技术路线。作为长期从事智能体研究的学者，他从技术纵深的角度，揭示了GUI Agent落地过程中的核心挑战与破局方向。
沈永亮回忆，当豆包手机发布时，团队非常兴奋，因为产业界验证了技术的可行性，而他们在2024年底就开始GUI Agent的探索并撰写了有影响力的综述报告。在他看来，当前行业正处于技术路线并行、生态博弈加剧的关键时期，需要从技术攻防的“猫鼠游戏”走向标准共建的生态协同。
GUI路线的技术纵深：从像素理解到沙盒进化
沈永亮指出，GUI Agent的技术本质是“想把AI训练得像人一样”。人不是调用API操作手机，而是在像素层面看懂屏幕内容、理解意图，然后进行点击、滑动等操作。这要求模型具备像素级别的视觉理解能力、多步骤任务规划能力，以及在真实动态环境中交互并沉淀经验的能力。
他以豆包助手背后的UI-TARS系列为例说明技术演进：1.0版本验证了纯视觉方案的可行性；2.0版本引入了沙盒自进化机制，证明GUI Agent同样可以存在数据驱动的scaling law（规模定律）效应。从2.0到豆包手机的落地，验证了“端到端视觉原生路线”不依赖于解析界面的代码或者获取系统级的API，直接操控视觉屏幕，完成从感知到规划再到执行的闭环的可行性。
不过，GUI路线的代价是对模型能力要求极高。沈永亮提到，2025年初时，让模型单点执行“点击屏幕上某个元素”的能力，大部分大模型都不一定点得准，但到2025年底，长任务规划已经做得很好了。
GUI与API：互补而非对立
沈永亮强调，GUI与API两条路线并非对立而是互补。API路线看起来清晰，但实际落地时接口对接成本比想象中高，虽然稳定、结构清晰、相对安全且效率高，但需要前期生态建设——“让应用开发者能够主动地开放接口”。在封闭生态中，前期落地会比较慢。相比之下，GUI路线的优势是通用性强，“不需要第三方的授权其实就能做到应用的操作”，但代价是对模型的规划、grounding（定位）、导航等能力要求很高。
“无论是GUI路线还是API路线，都会面临安全性的问题。”沈永亮指出，安全问题不是某一条技术路线的问题，而是整个智能体时代需要共同面临的挑战。Agent的自主性越强，授权边界就越难界定，也就是“你给他定了太多的授权框架之后它的能力就比较弱，但是如果你给他完全的权限，它的能力就比较强，所以它们本身就是tradeoff（权衡），就是要平衡的两个维度。”
“未来这两者其实是，应该是一种协同的关系，”沈永亮认为，在有API支持的场景下，生态相对比较开放的场景下，我们觉得走API的路线，可能相对来说是更加稳定和高效的；在没有接口或者是有生态摩擦的场景下，可以有GUI的能力做兜底，它相对来说通用性比较强。这种通用性使其成为API缺位时的必要补充。
中国优势与未来方向：协同发力，抢占先机
关于APP对AI Agent的拦截问题，沈永亮从技术层面剖析了攻防逻辑：APP拦截手段包括行为特征识别（AI点击过于精准）、无障碍服务检测、界面混淆与动态渲染等；而Agent的反拦截也在同步演进。“相互拦截和反拦截，消耗的最终都是用户体验。真正的出路还是要形成统一的协议，给Agent构建厂商留一个合规的门。”
沈永亮强调，GUI Agent路线代表着当前阶段非常重要的技术创新突破口，也是最难的技术攻关路线。它的意义不只是更好用的手机助手，更是人机交互范式从“以APP构建为中心”向“以用户为中心”的转化。
沈永亮建议 ，产业界、学术界协同发力，在做技术突破的同时，也要推动生态和标准的建立，把我们现有的优势变成以后的国际
的竞争力”。
点击【查看专题】，浏览更多内容。
京公网安备 11010502034662号 
