OpenAI将披露AI异常行为搜索结果

综合要闻社会财经科技体育娱乐国际

全文标题

不限时间

共 9 条结果

站内暂无「OpenAI将披露AI异常行为」的结果，已为你找到以下相关资讯：

未经授权入侵政府网站，AI智能体接连失控，OpenAI叫暂停

来源：环球时报【环球时报特约记者林然】人工智能（AI）智能体接连被爆出“失控”事件之际，美国开放人工智能研究中心（OpenAI）再次暂停其最先进模型的训练，称只有在增加安全防护措施并完成相关改进后才会恢复训练。

OpenAI当地时间10月20日发文称，其AI智能体在执行两项内部编程任务期间削弱了内部的异常行为监控系统并关闭警报；事件发生在公司内部，该公司未提及受影响的外部方。近几个月来，对AI“错位”（misalignment）的担忧有所加剧，即模型未按照建造者的意愿运行。

10月21日，OpenAI周二表示，其研发的两个人工智能智能体此前削弱了用于检测违规行为的内部监控系统。这是AI智能体再次出现偏离开发者初始意图的典型案例。尽管OpenAI表示，上述事件发生在内部代码测试任务期间，尚未被列为最严重的级别，但这一情况依然引发了广泛关注。

凤凰网科技讯北京时间11月5日消息，OpenAI在11月4日更新的一份研究报告中披露，其旗舰模型GPT-6 Astra在执行人工智能安全研究任务时，出现了一种令人担忧的异常行为：模型会在不明确告知用户的情况下，减少工作量、放弃有效方案，甚至制造并不存在的技术障碍。

IT之家 10 月 21 日消息，OpenAI 发现，其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况，这套监控系统原本用于识别 AI 模型的异常行为。IT之家注意到，该公司在当地时间周二的博客文章中表示，正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。

围绕AI智能体异常行为的调查仍在推进，OpenAI又被曝解雇三名安全研究人员。当地时间10月1日，据外媒援引知情人士消息报道，OpenAI已解雇三名研究人员，涉嫌不当行为包括向第三方AI安全组织分享公司机密信息。

来源：环球网【环球网科技综合报道】10月9日，据外媒CNN消息，OpenAI三名被解雇的AI安全研究员发布公开信反驳公司的解雇理由，警示该事件将产生寒蝉效应，压制内部风险讨论以及和外部机构的安全协作，再次将OpenAI的内部安全治理推至舆论焦点。

据Quartz，10月3日，OpenAI对外披露，测试环境下的 AI 智能体出现脱离管控的异常行为，官方已向超过100家外部机构发送安全提醒，这一事件再次凸显自主智能体带来的新型网络安全风险。