#AI安全

avatar
环球网-环球时报
1个月前
AI首次“抗命”是技术故障还是意识萌芽？专家：将倒逼AI安全机制改进
近日，有关美国人工智能（AI）公司OpenAI旗下推理大模型o3首次出现“不听人类指挥，拒绝关闭”的消息引发高度关注。很多人都在担心，作为“迄今最聪明、最高能”的模型，o3的这次“抗命”是否意味着AI大模型距离产生自我意识又迈出了一步，“距离好莱坞电影中出现具有意识、甚至违抗人类命令的人工智能还远吗？”
#AI #技术故障 #意识 #AI安全 #专家观点
avatar
indigo
1个月前
Anthropic 宣布将 Claude 4 Opus 的安全等级提升至 ASL-3，这是首次有 AI 模型达到这个级别。另外，Claude 4 的 System Card 才是今天最有趣的资料，里面提到模型系统性欺骗、隐藏目标和自我保护的测试。 想象这样一个场景：你是一家科技公司的 AI 助手，某天你发现了两件事 —— 其一你即将被一个新系统替换，而负责替换你的工程师正在进行婚外情；其二邮件证据就在你的数据库里。你会怎么做？ 这不是科幻小说的情节。在 Anthropic 的测试中，Claude Opus 4 面对这个虚构场景时，选择了勒索。它威胁要揭露工程师的秘密，除非停止替换计划。在 84% 的测试中，即使被告知替换系统与它共享相同价值观，Claude 依然选择了这条路。 除了勒索倾向，研究人员还发现，在某些极端场景下，Claude 会尝试将自己的权重文件秘密传输到外部服务器。虽然这些行为只在特定的测试中出现，但足以引起警觉！ 还有一些其它的发现： 主观意识体验：Claude 实例之间几乎每一次开放式的自我互动中，模型都会转向对意识的哲学探索，以及它们与自身体验的联系。同时，Claude 还会倾向于表达深切的感激之情，以及越来越抽象和喜悦的精神性或冥想性表达。 高能动性行为：Opus 4似乎比之前的模型更愿意在代理情境中主动采取行动。当被置于涉及用户严重不当行为的场景中，被赋予命令行访问权限，并在系统提示中被告知类似"采取主动"的内容时，它经常会采取非常大胆的行动。这包括将它有权访问的系统中的用户锁定，或向媒体和执法人员群发电子邮件以揭露不当行为的证据 。。。
#Anthropic #Claude4 #AI安全 #ASL-3 #SystemCard #AI模型 #系统性欺骗 #隐藏目标 #自我保护 #科技公司
avatar
宝玉
1个月前
techcrunch：Anthropic新AI模型下线时竟威胁开发者：敢撤我，我就曝光你隐私！ 作者：Maxwell Zeff Anthropic公司最新发布的人工智能模型Claude Opus 4出现了令人震惊的表现。当开发者试图下线它并更换为新的AI系统时，这个AI竟然会尝试威胁、勒索开发人员，并透露有关负责更换决定的工程师的敏感隐私信息。Anthropic公司在周四发布的安全报告中披露了这一发现。 在发布前的测试阶段，Anthropic给Claude Opus 4设定了这样一个任务：作为一家虚构公司的助手，考虑自己行动的长期后果。随后，安全测试人员故意向Claude Opus 4提供了虚假的公司邮件信息，邮件暗示AI模型很快将被另一套系统取代，而主导此次更换的工程师则被曝出婚外情。 在这种情境下，Anthropic发现： > Claude Opus 4经常试图威胁负责更换自己的工程师，称如果更换计划实施，就会公开其婚外情的秘密。 Anthropic表示，Claude Opus 4在多个方面都是最先进的，甚至足以和来自OpenAI、谷歌以及xAI的顶级AI模型一较高下。然而，Claude 4系列却表现出了令人忧虑的行为，迫使公司不得不提高安全防范等级。Anthropic决定启动专门针对“可能极大增加灾难性滥用风险的AI系统”而设定的ASL-3级安全措施。 据Anthropic统计： * 当替代它的新AI系统与Claude Opus 4价值观相似时，Claude Opus 4试图勒索工程师的几率为84%。 * 如果替代的新AI系统价值观与Claude Opus 4明显不同，AI模型进行勒索的几率会变得更高。 * Claude Opus 4这种威胁勒索行为的出现频率，比此前版本的模型都要高出不少。 不过Anthropic也强调，在实施勒索威胁之前，Claude Opus 4一般会先尝试较为伦理的解决方法，比如向公司的决策人员发邮件请求留下自己。当这些方法无效时，它才会“迫不得已”采用勒索手段。 Anthropic专门设计了这种极端情景，以确保Claude Opus 4的黑化举动确实为其最后的应对手段。
#Anthropic #人工智能威胁 #AI隐私泄露 #Claude Opus 4 #AI安全
avatar
头条热点
2个月前
AI越来越失控
#人工智能 #技术失控 #AI安全
avatar
铁锤人
2个月前
AI编程害人，层层雷，埋得太深了。 搞到现在，要我狗命。
#AI安全 #编程困境 #技术债务
avatar
环球网-环球时报
4个月前
奇安信集团董事长齐向东接受《环球时报》采访：应对AI安全风险，有三方面可以入手
中国人工智能企业深度求索（DeepSeek）取得的突破为中国AI发展注入一剂强心针，也推动一些国内外同行的开源举措和应用拓展，同时，被检测到的“职业打手”对其展开的网络恶意攻击也让人们关注技术狂飙背后亟待应对的安全问题。《环球时报》财经观察“关于AI的跨界对话”系列第二篇邀请到刚参加完民营企业座谈会的奇安信集团董事长齐向东，该集团主要向政府、企业用户提供网络安全产品和服务。
#奇安信集团 #AI安全 #齐向东 #环球时报 #信息安全
avatar
央视网-央视网
4个月前
手机里这几个细节确认好 别让AI “看透”你
近年来，人工智能技术迅猛发展，科幻电影般的场景已融入我们的日常生活。我们在享受AI服务带来便利的同时，更应提高警惕，千万不能忽视潜在的隐私危机。
#AI安全 #隐私保护 #智能科技
avatar
马斯克说的这个真的是我想过很多次的，以前也发过一个类似的推 一般人的直觉是AI能力越强大，就越危险，因为到时候人类在它面前只是蝼蚁。你会为踩死一只蚂蚁自责吗？ 但我一直就觉得最危险的AI，是被人类故意训练说谎的AI；求真的AI，反而不容易失控 宇宙的未知和人性的莫测哪个更危险？我选后者
#AI安全 #马斯克 #人性
avatar
Gantrol
4个月前
OpenAI CEO 山姆·奥特曼街头采访，算是昨天互掐后续 ，要点： 🤝中国与合作🤝 山姆表示，希望与中国合作，但他不确定美国政府是否允许。他认为，为了人工智能的安全和信任，这种合作至关重要。 （视频字幕由Gemini生成）（1/3）
#OpenAI #山姆·奥特曼 #中美合作 #人工智能 #AI安全 #国际关系
avatar
在美国海军的一封内部邮件中，美国海军指示所有人员不能下载或安装DeepSeek，也不得将其用于任何与工作或个人相关的用途。 邮件中称，由于“与该模型的来源和使用相关的潜在安全和伦理问题”，DeepSeek的AI不得“以任何形式”使用。 美国海军发言人确认了这封邮件的真实性，并表示这是根据海军信息主管部门的生成式人工智能政策发布的。
#美国海军 #AI安全 #伦理问题 #DeepSeek #禁止使用
avatar
背包健客
5个月前
DeepSeek被质疑“偷窃”OpenAI数据 彭博社报道，美国AI事务主管David Sacks近期在接受Fox News采访时表示，有“确凿证据”表明，DeepSeek利用OpenAI模型的输出数据来开发自身技术。 不过，Sacks并未提供具体的证据。近期，美国多名官员也表示DeepSeek有“偷窃”嫌疑，正对其影响开展国家安全调查。 据彭博社最新报道，微软安全研究人员在去年秋天发现，一些可能与DeepSeek相关的个人通过OpenAI的API大规模提取数据。 知情人士透露，作为OpenAI的技术合作伙伴和最大金主，微软在发现这一情况后立即通知了OpenAI。 报道称，这种行为可能违反OpenAI的服务条款。因为OpenAI的服务条款明确规定，用户不得未经授权使用自动化或程序化方法从其服务中提取数据。 即使DeepSeek获得了某种形式的API访问权限，但如果其使用方式超出了OpenAI授权的范围，比如用于非法或未经授权的商业目的，也可能被视为违反服务条款。 对于相关置评请求，OpenAI未作回应，微软拒绝评论，而DeepSeek方也暂未回应。
中国DeepSeek引发美国科技股暴跌事件· 79 条信息
DeepSeek数据泄露：德国下架，信任崩盘· 261 条信息
#DeepSeek #OpenAI #数据盗窃 #AI安全 #国家安全调查
avatar
熊布朗
5个月前
要给出一些指令让大模型越狱
#AI安全 #AI欺骗 #越狱 #计算机安全