跳到正文
硅脉动SiliconMai

智谱开源AutoGLM,让AI直接操作手机应用

AutoGLM可以识别手机界面并完成点击、输入和滑动,已覆盖超过50个中文应用的主要场景。开源降低了设备厂商的接入门槛,也把安全和稳定性问题摆到台前。

硅脉动
AI资料图

智谱开源了手机操作智能体AutoGLM。模型能够识别屏幕内容,执行点击、输入和滑动,并把多个动作串联起来,完成外卖下单、机票预订等流程。

公司称,AutoGLM已经支持微信、淘宝、抖音和美团等超过50个常用中文应用的核心场景。硬件厂商、手机厂商和开发者可以把模型接入设备或操作系统,不必从头训练一套界面理解与操作能力。

项目同时支持本地和云端部署。云端通常能够调用更强算力,便于更新模型;本地运行则有机会减少敏感数据离开设备,并降低长期调用成本。两种路径的选择会影响速度、能力、隐私和硬件要求。

手机智能体的难点不只是完成一次演示。应用页面会更新,广告和弹窗会改变按钮位置,支付与登录还涉及更高权限。连续几十步操作中,任何一步识别错误都可能导致任务失败,甚至产生实际损失。

开源让AutoGLM更容易被测试和改造,也会更快暴露边界。开发者还需要为不同屏幕尺寸和系统版本处理兼容问题。

真正值得观察的是第三方设备采用数量、复杂任务成功率、用户确认机制和本地运行资源消耗。只有这些指标稳定,手机智能体才可能从开发者项目变成日常入口。