人类计算机使用：AI助手接管您的计算机

Anthropic的Claude AI具有控制计算机的能力：革命性更新使Claude可以通过“查看”屏幕来浏览桌面，单击，输入和滚动。此Beta功能正在改变AI与软件的互动，有望提高生产率。安全仍然是至关重要的，因为人类探索了这一技术的潜力。

目录

• 为什么人类专注于计算机使用？
• 教AI屏幕互动
• 平衡创新与安全
• 人类的计算机使用如何工作
• 人类计算机使用的功能
• 局限性和挑战
• 与Claude一起探索计算机使用：方法和示例
• 使用消息API
• 参考实现：Docker容器
• 与Docker设置计算机
• 测试计算机使用
• 人类QuickStarts应用程序
• 补充快速部署
• 用例
• 结论
• 常见问题

为什么关注计算机使用？

大多数日常任务都发生在计算机上。使AI能够使用像人类这样的软件可以解锁巨大的可能性。这消除了对自定义工具的需求，从而允许任何程序的无缝导航。它建立在AI逻辑和图像识别方面的进步基础上，开为以前不可能的壮举的开门。

教AI屏幕互动

克劳德（Claude）的计算机使用技能是由创新和技术专长的融合而产生的。利用多模式功能，研究人员培训了克劳德（Claude）来解释计算机屏幕，将视觉数据转化为动作。一个关键的挑战是光标控制的精确像素测量。从简单的软件开始，Claude将这些技能推广，表现出令人惊讶的解决问题的能力和自我纠正。尽管训练很复杂，但结果令人印象深刻，在OSWorld等基准测试中取得了最新的性能，尽管仍然远非人类的准确性。

平衡创新与安全

每个AI的进步都引起了安全问题。尽管这种能力并非固有地提高认知能力，但它降低了现实应用程序的障碍。安全评估将克劳德（Claude）置于AI安全2级，表明不需要额外的保障措施。但是，未来的进步可能会扩大风险，需要积极的减轻脆弱性，例如解决“及时注射”攻击。 Anthropic的信任与安全团队积极监控潜在的滥用，实施滥用检测和任务指导。鼓励开发人员遵循最佳实践，并优先考虑数据隐私； Claude默认情况下未对用户数据或屏幕截图进行培训。

人类的计算机使用：如何工作

1。工具和提示：在您的API请求中包括拟人定义的工具，并提供明确的提示（例如，“将猫图片保存到我的桌面上”）。

2.工具选择： Claude评估提示并选择适当的工具，创建工具使用请求（格式的API调用）。 stop_reason字段指示使用工具。

3。工具执行和结果：该工具在容器或VM上执行，将结果通过tool_result块返回Claude。

4。迭代问题解决： Claude迭代分析结果，确定进一步的工具需求并重复直到完成任务完成，类似于GPT的经过想法的推理。

功能

克劳德可以处理：

1. 文件操作：访问和编辑Excel文件，保存屏幕截图。
2. 表单自动化：填充表格，自动数据输入。
3. 网络刮擦：使用自然语言提取网站信息。

局限性和挑战

• 意外行动：克劳德可能会执行无关紧要的任务，从而导致延迟。
• 无限循环：无需解决的重复操作，消耗资源。
• 风险情景：敏感操作期间的错误可能会带来严重的后果。

与Claude一起探索计算机使用

文档详细信息通过消息API启用计算机使用。

使用消息API

消息API允许编程指令发送，使Claude能够安全地利用计算资源。您指定权限，输入和环境。

代码示例（说明性）：

导入拟人化

＃...（API密钥设置）...

响应= client.beta.messages.create（
    型号=“ Claude-3-5-Sonnet-20241022”，
    ＃...（工具定义和消息）...
）

打印（响应）

Docker容器实现

Docker容器简化了设置，提供了一个一致的环境。这是拟人化的推荐方法。

与Docker设置计算机

1. 安装Docker：遵循Docker的安装指南。确保启用虚拟化支持。
2. 获取API键：从人类控制台获取API键。
3. 设置Docker容器：使用提供的Docker命令，用您的API键代替占位符并根据需要调整路径。
4. 访问应用程序：通过浏览器中的映射端口访问应用程序。
5. 监视使用：跟踪API信用消耗。

测试计算机使用（例如，视频嵌入将在此处）

（嵌入视频会去这里）

人类QuickStarts应用程序并进行补充

替代方法包括使用拟人化QuickStarts应用程序（轻巧，可扩展）或REPLIT（基于云的即时设置）。

用例（视频嵌入将在此处使用）

结论

Anthropic的计算机使用代表了AI自动化的重大飞跃。尽管仍然存在挑战，但它可以改变日常计算的潜力是不可否认的。

常见问题（这些问题将包括在这里）

以上是人类计算机使用：AI助手接管您的计算机的详细内容。更多信息请关注PHP中文网其他相关文章！