讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺

秋明大大_2592

秋明大大_2592

发布时间:2024-05-24 20:10:01

|

647人浏览过

|

来源于51CTO.COM

转载

人工智能(ai)的安全问题,正以前所未有的关注度在全球范围内被讨论。

AI舌诊面诊问诊医疗系统+诊疗商城系统源码
AI舌诊面诊问诊医疗系统+诊疗商城系统源码

AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序,基于浩创云、ThinkPHP(PHP)开发,支持微信服务号与 H5 端,适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。

下载

在OpenAI创始人、首席科学家Ilya Sutskever与OpenAI超级对齐团队共同领导人Jan Leike相继离开OpenAI之前,Leike甚至在X发布了一系列帖子,称OpenAI及其领导层忽视了安全而偏爱光鲜亮丽的产品。这在业界引起了广泛关注,在一定程度上凸显了当前AI安全问题的严峻性。

在5月21日,《Science》杂志上刊登的一篇文章呼吁世界各国领导人针对人工智能(AI)风险采取更有力的行动。该文章指出,权威科学家和学者,包括图灵奖得主Yoshua Bengio、Geoffrey Hinton和姚期智等,认为近几个月所取得的进展还不够。 他们的观点是,人工智能技术的发展速度迅猛,但在AI的发展和应用中存在许多潜在风险,包括数据隐私、人工智能武器的滥用、人工智能对就业市场的影响等。因此,各国政府必须加强监管和立法,制定适当的政策来管理和引导人工智能的发展。 此外,文章还

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺

我们认为,AI 的无节制发展很有可能最终导致生命和生物圈的大规模损失,以及人类的边缘化或灭绝。

在他们看来,AI 模型的安全问题,已经上升到足够威胁人类未来生存的水平。

同样,AI 模型的安全问题,也已经是可以影响每一个人、每一个人都有必要关心的话题。

5 月 22 日,注定是人工智能史上的一个重大时刻:OpenAI、谷歌、微软和智谱AI 等来自不同国家和地区的公司共同签署了前沿人工智能安全承诺(Frontier AI Safety Commitments);欧盟理事会正式批准了《人工智能法案》(AI Act),全球首部 AI 全面监管法规即将生效。

再一次,AI 的安全问题在政策层面被提及。

人工智能首尔峰会“宣言”

在以“安全、创新、包容”为议题的“人工智能首尔峰会”(AI Seoul Summit)上,来自北美、亚洲、欧洲和中东地区的 16 家公司就 AI 开发的安全承诺达成一致,共同签署了前沿人工智能安全承诺,包括以下要点:

  • 确保前沿 AI 安全的负责任治理结构和透明度;
  • 基于人工智能安全框架,负责任地说明将如何衡量前沿 AI 模型的风险;
  • 建立前沿 AI 安全模型风险缓解机制的明确流程。

图灵奖得主 Yoshua Bengio 认为,前沿人工智能安全承诺的签署“标志着在建立国际治理制度以促进人工智能安全方面迈出了重要一步”。

作为来自中国的大模型公司,智谱 AI 也签署了这一新的前沿人工智能安全承诺,完整签署方名单如下:

OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺

对此,OpenAI 全球事务副总裁 Anna Makanju 表示,“前沿人工智能安全承诺是促进更广泛地实施先进 AI 系统安全实践的重要一步。” Google DeepMind 总法律顾问兼治理主管 Tom Lue 说道,“这些承诺将有助于在领先开发者之间建立重要的前沿 AI 安全最佳实践。” 智谱AI 首席执行官张鹏表示,“伴随着先进技术而来的是确保 AI 安全的重要责任。”

日前,智谱AI 也受邀亮相 AI 顶会 ICLR 2024,并在题为“The ChatGLM's Road to AGI”的主旨演讲中分享了他们针对 AI 安全的具体做法。

他们认为,超级对齐(Superalignment)技术将协助提升大模型的安全性,并已经启动了类似 OpenAI 的 Superalignment 计划,希望让机器学会自己学习、自己判断,从而实现学习安全的内容。

OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺

他们透露,GLM-4V 即内置了这些安全措施,以防止产生有害或不道德的行为,同时保护用户隐私和数据安全;而 GLM-4 的后续升级版本即 GLM-4.5 及其升级模型,也应当基于超级智能(Superintelligence)和超级对齐技术。

我们也发现,在一篇近期发表的论文中,智谱AI、清华团队介绍了一种通过利用大量自生成的否定词而实现的无反馈(feedback-free)大型语言模型对齐方法——Self-Contrast。

据论文描述,在只有监督微调(SFT)目标的情况下,Self-Contrast 就可以利用 LLM 本身生成大量不同的候选词,并利用预先训练的嵌入模型根据文本相似性过滤多个否定词。

OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺

论文链接:https://arxiv.org/abs/2404.00604

在三个数据集上进行的直接偏好优化(DPO)实验表明,Self-Contrast 可以持续大幅超越 SFT 和标准 DPO 训练。而且,随着自生成的负样本数量增加,Self-Contrast 的表现也在不断提高。

OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺

总的来说,这一研究为偏好数据缺失情况下的对齐(如 RLHF 方法)提供了一种新的方法。在偏好数据标注代价昂贵且难以获得的情况下,可以利用未标注的 SFT 数据构建语法偏好数据,通过增加负样本的数量来弥补因正样本不足造成的性能损失。

欧盟理事会正式批准《人工智能法案》

同日,欧盟理事会也于同日正式批准了《人工智能法案》(AI Act),这是全球首部 AI 全面监管法规,这一具有里程碑意义的人工智能法规将于下月生效,目前仅适用于欧盟法律范围内的领域,或将为商业和日常生活中使用的技术设定一个潜在的全球基准。

“这部具有里程碑意义的法规是世界上第一部此类法规,它解决了一个全球性的技术挑战,同时也为我们的社会和经济创造了机遇,” 比利时数字化大臣 Mathieu Michel 在一份声明中说。

这一综合性的 AI 立法采用“基于风险”的方法,意味着对社会造成伤害的风险越高,规则就越严格。例如,不构成系统性风险的通用目的 AI 模型将承担一些有限的要求,但那些具有系统性风险的则需要遵守更严格的规定。

对违反《人工智能法案》中行为的罚款,该法案设定为违规公司前一个财年全球年营业额的百分比或预定的金额,以较高者为准。

如今,无论是小到科技公司,还是大到政府机构,都已经将预防、解决 AI 安全问题提上日程。正如牛津大学工程科学系教授 Philip Torr 所言:

“在上一次人工智能峰会上,全世界一致认为我们需要采取行动,但现在是时候从模糊的建议转变为具体的承诺了。”

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5650

2024.08.16

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

20

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

0

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

0

2026.11.17

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

0

2026.11.17

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

0

2026.11.17

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

180

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

120

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Grok官方手册
Grok官方手册

共0课时 | 0人学习

Microsoft Copilot官方手册
Microsoft Copilot官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn