讲师中心 微信公众号
AI工具推荐 视频效率加速

Step-GUI— 阶跃星辰推出的AI Agent系列模型

夜强君_7391

夜强君_7391

发布时间:2025-12-24 09:23:09

|

936人浏览过

|

来源于php中文网

原创

Step-GUI是什么

step-gui 是阶跃星辰推出的ai agent系列模型,包含云侧模型 step-gui 和端侧模型 step-gui edge(原名:gelab-zero)。云侧模型擅长复杂任务处理,端侧模型轻量化,能在手机等本地设备运行,保护用户隐私。step-gui 通过自进化训练流程和校准步进奖励系统(csrs),将模型生成的交互轨迹转化为高质量训练数据,显著降低标注成本,提升性能。step-gui 在多个基准测试中表现出色,如 androidworld 和 screenshot-pro 等。step-gui 推出了 gui-mcp 协议,实现标准化的模型与设备交互,保护用户隐私,通过 androiddaily 基准测试评估模型在真实世界移动应用中的表现,推动 gui 自动化工具的实用化和标准化发展。

从 Git 仓库历史中彻底删除文件
从 Git 仓库历史中彻底删除文件

|Git删除了文件,但还会在Git 仓库历史中遗留。 - 想要从 Git 历史移除敏感信息(密码、密钥、token、私钥) - 想要删除意外提交的大文件 - 想要重写 Git 历史、移除特定文件的所有痕迹 - 提到 "force push"、"重写 commit 历史" - 需要从所有分支、所有 tag 中删除某个文件

下载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Step-GUI— 阶跃星辰推出的AI Agent系列模型

Step-GUI的主要功能

  • 自动化任务执行:像人类用户一样操作各种应用程序,例如点击按钮、滑动屏幕、输入文本等,完成从简单到复杂的任务。
  • 跨平台适配:通过 GUI-MCP 协议,Step-GUI 能在多种设备(如手机、电脑、车机)上运行,支持不同操作系统(如 Android、iOS、Windows、macOS)。
  • 隐私保护:采用端云协同架构,将敏感数据保留在本地设备端,将必要的语义信息传输到云端,确保用户隐私。
  • 高效任务处理:通过云侧大模型和端侧小模型的分工协作,实现复杂任务的高效处理。云侧模型负责高级推理和任务拆解,端侧模型负责具体操作执行。
  • 真实场景模拟:模拟真实用户的行为模式,完成如社交聊天、购物支付、视频观看等日常高频任务,适用于多种实际应用场景。

Step-GUI的技术原理

  • 多模态大语言模型:Step-GUI 基于强大的多模态大语言模型(如 Qwen3-VL),能理解和生成自然语言指令,将其转化为具体的 GUI 操作。模型通过视觉输入(如屏幕截图)和语言指令的结合,实现对界面元素的精准定位和操作。
  • 自进化训练框架:通过校准步进奖励系统(Calibrated Step Reward System, CSRS),将模型生成的操作轨迹转化为高质量的训练数据。CSRS 通过轨迹级别的验证信号,确保数据的准确性和可靠性,同时用 LLM 生成的详细推理链,提升模型的泛化能力。
  • 端云协同架构:Step-GUI 采用端云协同的工作模式。端侧模型(如 Step-GUI Edge)负责在本地设备上执行具体的操作任务,确保隐私保护和低延迟响应;云侧模型负责处理复杂的逻辑推理和任务拆解,提供更强的语义理解和泛化能力。
  • GUI-MCP 协议:为实现跨平台的标准化交互,Step-GUI 提出 GUI-MCP(Model Context Protocol)协议。协议通过分层架构,将设备操作抽象为原子操作和复合任务,支持低级操作(如点击、滑动)和高级任务委托(如“购买咖啡”),同时确保数据在本地处理,保护用户隐私。
  • 强化学习与数据迭代:Step-GUI 使用强化学习(如 Group Relative Policy Optimization, GRPO)进行训练,通过与环境的交互不断优化模型的决策能力。同时,通过自进化训练流程,模型能不断从自身生成的数据中学习,提升性能。

Step-GUI的项目地址

  • GitHub仓库:http://github.com/stepfun-ai/gelab-zero
  • 技术论文:http://github.com/stepfun-ai/gelab-zero/blob/d1cd0c7be83e234b66dbec4c5554f5fde44dce08/report/Step-GUI_Technical_Report.pdf

Step-GUI的应用场景

  • 个人日常任务自动化:Step-GUI 能自动回复社交消息、管理群聊,在生活服务应用中下单、支付,帮助用户高效处理日常事务。
  • 企业级自动化任务:工具能在办公软件中自动完成数据录入、文档编辑和邮件发送,提升企业办公效率,优化工作流程。
  • 智能家居与物联网:Step-GUI 能控制智能家居设备,设置场景模式,实现灯光、空调等设备的自动化控制,提升家居生活的便利性。
  • 游戏与娱乐:Step-GUI 能在游戏里自动完成重复性任务,或在视频平台自动播放、收藏、评论视频,增强娱乐体验。
  • 教育与学习:Step-GUI 能在在线学习平台自动播放课程、提交作业,在学习管理工具中创建任务、记录进度,助力学习管理。

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

相关专题

更多
Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

0

2026.11.03

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

0

2026.11.03

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

0

2026.11.03

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

0

2026.11.03

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

0

2026.11.03

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

0

2026.11.03

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

20

2026.11.02

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

40

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 45.2万人学习

Java 教程
Java 教程

共578课时 | 196.1万人学习

Uniapp从零开始实现新闻资讯应用
Uniapp从零开始实现新闻资讯应用

共64课时 | 9.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn