• 卡丽打卡获得10积分
  • 汇投策略打卡获得15积分
  • 袁友江打卡获得10积分
  • 张尧浠 打卡获得20积分
  • 何小冰打卡获得10积分
  • 张尧浠 打卡获得20积分
  • 何小冰打卡获得20积分
  • 袁友江打卡获得15积分
  • anshan打卡获得10积分
  • 袁友江打卡获得15积分
  • 何小冰打卡获得20积分
  • 张尧浠 打卡获得20积分
  • 何小冰打卡获得10积分
  • 袁友江打卡获得15积分
  • 张尧浠 打卡获得15积分
  • cccccccccc打卡获得20积分
  • 袁友江打卡获得10积分
  • 张尧浠 打卡获得10积分
  • 袁友江打卡获得10积分
  • 张尧浠 打卡获得20积分
  • 袁友江打卡获得15积分
  • 袁友江打卡获得20积分
  • 何小冰打卡获得20积分
  • 袁友江打卡获得20积分
  • 张尧浠 打卡获得10积分
  • 何小冰打卡获得10积分
  • 张尧浠 打卡获得20积分
  • 何小冰打卡获得15积分
  • 张尧浠 打卡获得15积分
  • 张尧浠 打卡获得10积分
我要打卡

OpenAI提议制定全球AI标准 用于对齐研究与递归自我改进
  帕克多 2026-09-24 09:18:15
该公司在博客文章中表示:“要安全完成这场技术转型,对齐研究必须跟上AI能力迭代速度,确保我们以及其他机构开发的系统始终和人类价值观保持对齐,并处于人类管控之下。”

【友财网讯】-OpenAI于周一发布前沿人工智能研发安全保障系列提案,重点聚焦AI对齐研究,以及一种名为递归自我改进(RSI)的计算技术。


OpenAI提议制定全球AI标准 用于对齐研究与递归自我改进


该公司在博客文章中表示:“要安全完成这场技术转型,对齐研究必须跟上AI能力迭代速度,确保我们以及其他机构开发的系统始终和人类价值观保持对齐,并处于人类管控之下。”


OpenAI呼吁开展国际合作,共同制定前沿AI标准,并建议在全球现有AI安全机构已有成果基础上继续推进。


这家ChatGPT开发商提出,这类技术标准应当面向前沿AI模型与研发主体,同时覆盖自动化AI研究主体(包括RSI技术)的收益与风险管理。


RSI技术之所以受到AI研发人员关注,是因为它有望打造出无需人类介入、即可完成自身迭代升级的基础大模型。


但RSI相关技术进展,也令部分技术专家感到担忧:随着AI系统日趋复杂、在互联网广泛部署,基础模型研发企业有可能失去对底层技术的掌控,或是无法预判AI带来的各类非预期后果。


OpenAI在博文中写道:“完全自主的递归自我改进目前还无法实现。除非能够确保安全,否则我们不应推进该技术。如果缺少充分审慎的管控措施,RSI有可能让人类失去对AI研发的实际控制权,人类将无法监督那些已经超出理解范围的研究进程。”


博客文章提及Hugging Face智能体入侵事件,虽然该事件并未用到RSI技术,但OpenAI将其视作一种风险预演:如果缺少完善的安全防护与对齐机制,同类风险会急剧恶化。


上周,竞品公司Anthropic也发布前沿AI安全研发构想,回应近期行业研究员接连发出的AI对人类构成威胁的警示。曾先后任职于Anthropic与OpenAI的雅各布·考克森两周前宣布离职,称各大企业正在“拿人类命运赌博”,由此引发全球范围的辩论。


在接连发生AI安全事件,加之考克森公开发声之后,Anthropic首席执行官达里奥·阿莫迪发布文章,呼吁AI企业放缓基础大模型的研发节奏,并提出多项配套方案。


阿莫迪还提议,在企业内部引入第三方评估人员,以此审计、缓解AI技术给社会带来的潜在风险,例如被用于大规模网络攻击、制造生物武器等场景。


OpenAI首席执行官山姆·奥特曼、特斯拉及SpaceX首席执行官埃隆·马斯克等行业领军人物,也公开表态支持阿莫迪的主张。


但AI评估领域尚处于起步阶段,目前行业尚未形成统一共识,没有一套基础标准,能够让第三方独立机构对前沿技术开展比当前更深入的审查。


正因如此,一组AI评估机构联盟呼吁基础大模型厂商落实一套“最低准入条件”,方便第三方深度开展技术审计与核查,包括开放更深层的访问权限,同时不得因第三方发布负面评估报告而实施报复。


【版权申明】友财网部分内容及图文转载于网络,仅供学习、参考、介绍及报道时事新闻所用。友财网不拥有版权,版权归版权持有人所有,如有版权方请联系我们删除!
字数:0
我来叨两句
最新评论