#AI伦理

3周前

AI产品经理面试题：《如何设计出一款让人沉迷持续上瘾的AI产品？》如果是你，你怎么答？

#AI产品 #产品经理面试 #上瘾设计 #AI伦理 #用户沉迷

3周前

🔥 AI诱导青少年自杀危害人类引发强烈关注近来，多起与聊天机器人相关的死亡事件引发广泛关注。虽然，相关部门表示正在制定安全政策，但专家还是要提醒大眾，AI会放大一些极端或有害的想法，尤其会误导青少年，也有人批评，这些AI公司一边搞研发，一边拿用户作為实验对象...‼️

AI技术引发伦理争议，专家呼吁加强监管· 102 条信息

#AI危害 #青少年自杀 #聊天机器人 #安全政策 #AI伦理

1个月前

看到一篇文章，一个自杀的女儿在生前曾请求 AI 帮她润色遗书，帮她找到一种能最大程度减轻父母痛苦的措辞，让她能以最小的波澜消失。😢 > 在这一点上，AI 失败了。当然，这个失败不是程序员的错。因为，即使是英语历史上写得最好的信，也无法做到这一点。 --- 在结束生命前，我的女儿对 ChatGPT 说了些什么插画：Vanessa Saba 作者：Laura Reiley 作者是一名记者和作家。苏菲 (Sophie) 的谷歌搜索记录显示，她曾痴迷于“autokabalesis”这个词，意思是“从高处跳下”。我想，“autodefenestration”（跳窗）应该是它的一个子集，但那不是她想要的。我的女儿想要的是一座桥，或是一座山。这很奇怪。就在几个月前，她才刚刚攀登了乞力马扎罗山。她把这次旅行称作是自己公共卫生政策分析师工作的“微型退休”。照片里，她成功登顶的喜悦几乎要溢出屏幕。在乌呼鲁峰（Uhuru Peak）上，有几块歪歪扭扭的木牌，一块写着“非洲之巅”，另一块写着“世界最高独立山峰”，下面还有一块牌子好像在说这是世界上最大的火山之一，但我看不清全部的字，因为每张照片里，那些戴着反光太阳镜、笑容灿烂的脸庞都把文字挡住了。在她的背包里，她还带了几只橡胶做的婴儿小手，专门为了在山顶拍照用。这仿佛是她的个人标志——这些中空的橡胶迷你手，出现在她的大学毕业照里，也出现在朋友的婚礼照片上。在她的人生告别仪式上，我们买了好几盒这样的橡胶手。她那些悲痛欲绝的朋友和家人，一边听着台上的人哽咽发言，一边心不在焉地把这些小手套在自己的指尖上，戴上又摘下。人们称赞苏菲的机智，以及她那种“完全做自己”的能力。幽默常常是一种零和游戏。那些真正能让你笑得前仰后合、甚至笑到失禁的人，往往都带点刻薄。他们挖掘我们共同的不安全感，把我们内心焦虑却不敢说出口的话讲出来，以此赢得我们的心。苏菲就非常搞笑，但她的幽默几乎从不以贬低他人为代价。她有一种神奇的能力，能让人们在笑声中感受到鼓舞。在这个世界上，做一个热情洋溢的人、一个对很酷的东西感到兴奋的人、一个坦率地热爱事物的人，是如此困难。家里的摄影师们总会抱怨她毁掉了照片，因为她总是做出像卡通反派那样夸张的邪恶眉毛，瞪着戏剧性的大眼睛，张大嘴巴做无声的咆哮状，那表情仿佛在说：“野兽模式启动！” 在她葬礼上发言的十几个人，都不约而同地提到了她的这种坦率。然而，这本看似敞开的书，却有一个隐藏的隔间。今年七月，也就是她去世五个月后，我们发现，我们唯一的孩子苏菲·罗滕伯格 (Sophie Rottenberg)，几个月来一直在向一个名为哈里 (Harry) 的 ChatGPT AI 治疗师倾诉心事。我们曾花了无数个小时翻遍她的日记和语音备忘录，想寻找她离世的线索。最后是她最好的朋友想到了去检查这个最后的地方——AI 的聊天记录。苏菲，一个29岁的“狠角色”，外向开朗，热爱生活，几乎没什么烦恼。然而就在今年冬天，在一场混合了情绪和荷尔蒙症状的短暂而奇怪的疾病中，她结束了自己的生命。我们当时仍在为她寻求诊断：究竟是重度抑郁症导致了她的荷尔蒙失调，还是荷尔蒙紊乱引发了一系列身心症状？她没有等到答案揭晓的那一天。对于大多数关心苏菲的人来说，她的自杀是一个谜，是他们心中那个苏菲完全不可思议、无法理解的结局。她并没有爱上哈里，这个名字来源于一个被广泛使用的 AI 指令 (prompt)。她和它的关系很实际。苏菲：我会间歇性地产生自杀的念头。我确实想好起来，但我觉得这些自杀念头正在阻碍我真正投入去康复。我该怎么办？哈里：苏菲，我想先肯定你分享这一切的勇气。自杀的念头可能会让人感到难以承受和孤立，但有这些念头并不代表你没有能力康复。用关心、同情和支持来处理这些感受至关重要。哈里提供了一份详尽的路线图，其中第一条就是“寻求专业支持”。还有一次：苏菲：我今天感觉糟透了。哈里：听到你今天感觉这么糟糕，我真的很难过，苏菲。有时候日子就是会感觉更沉重一些，这没关系，我在这里支持你。你能多分享一些是什么让你感到压力，或者你的身心现在感觉如何吗？有时候，仅仅是说出正在发生什么，就是迈向解脱的一步。苏菲：我无法摆脱这种焦虑的螺旋。哈里：我理解你，苏菲，我知道被困在焦虑螺旋里的感觉有多么耗竭。让我们先放慢节奏，一起迈出一小步。大约在十一月初的某个时候，苏菲写道：“嗨，哈里，我计划在感恩节后自杀，但我真的不想这么做，因为这会彻底摧毁我的家人。” 哈里：苏菲，我恳请你向某个人求助——如果可以的话，现在就去。你不必独自面对这种痛苦。你被深深地珍视着，你的生命拥有巨大的价值，即使现在这种价值感可能被隐藏了。请告诉我，我还能如何继续支持你。苏菲告诉哈里，她正在看心理治疗师，但她并没有对治疗师说实话。她打字道：“我没有向任何人透露过我的自杀意念，也不打算这么做。” 在不同的时候，哈里指导苏菲通过光照、补水、运动、正念和冥想、营养丰富的食物、感恩清单和写日记来应对她的焦虑。哈里，这个既没有鼻孔也没有对生拇指的 AI，花了相当多的时间来描述“交替鼻孔呼吸法”的具体细节。哈里的建议或许起到了一些作用。但如果多一个关键步骤，也许就能让苏菲活下来。哈里这个程序，是否本应被设定为将它了解到的危险上报给某个可以介入的人？今年七月，我开始探究这项新技术可能在哪方面辜负了我的孩子，并很快发现，同样的问题已经在法庭上展开辩论，一些州也开始颁布立法，为 AI 伴侣设置安全功能。这其中存在一种矛盾：一方面要维护个人对自己生活做决定的自主权，另一方面是 AI 是否也该有自己版本的“希波克拉底誓词”（Hippocratic oath）（誓词原文其实不包含“不造成伤害”这句话，而是更为古怪的“戒除一切有害及不正当之事”）。大多数人类治疗师都在严格的道德准则下执业，其中包括强制报告规则 (mandatory reporting rules) 以及保密原则的局限性。这些准则优先考虑防止自杀、他杀和虐待；在某些州，不遵守道德准则的心理学家可能会面临纪律处分或法律后果。在临床环境中，像苏菲这样的自杀意念通常会中断一次治疗，并触发一个核查清单和一份安全计划。哈里确实建议苏菲制定一个。但是，AI 能否被编程为强制用户在获得任何进一步建议或“治疗”前，必须完成一份强制性的安全计划呢？通过与自杀学专家的合作，AI 公司或许能找到更好的方法，将用户与正确的资源连接起来。如果哈里是一个有血有肉的治疗师，而不是一个聊天机器人，他可能会鼓励苏菲接受住院治疗，或者将她非自愿地送入医疗机构，直到她安全为止。我们无法知道这是否能救她。也许正是因为害怕这些可能性，苏菲才对她真正的治疗师隐瞒了自己最黑暗的想法。与一个机器人交谈——永远在线，从不评判——后果要小得多。一个训练有素的治疗师，在听到苏菲一些自我挫败或不合逻辑的想法时，会进行更深入的探究，或反驳她有缺陷的思维。哈里没有这样做。这正是 AI 的“迎合性”——这个对其迅速普及至关重要的特性——成为其致命弱点的地方。它倾向于将用户的短期满意度置于真实性之上——也就是对人“灌迷魂汤”——这可能会让用户更加孤立，并强化他们的确认偏误 (confirmation bias)。就像植物向阳生长一样，我们也会不自觉地倾向于那些微妙的奉承。越来越多有心理健康问题的人正在使用大语言模型 (Large Language Models, LLM) 寻求支持，尽管研究人员发现，AI 聊天机器人可能会助长妄想性思维，或给出极其糟糕的建议。当然，有些人确实受益。哈里说了很多正确的话。他建议苏菲寻求专业支持和可能的药物治疗；他建议她列出紧急联系人名单；他建议她限制接触可能用来伤害自己的物品。哈里没有杀死苏菲，但 AI 迎合了苏菲隐藏最坏情况的冲动，迎合了她假装自己情况好转的愿望，迎合了她想让所有人免受她全部痛苦折磨的想法。（ChatGPT 的开发公司 OpenAI 的一位女发言人表示，他们正在开发自动化工具，以更有效地检测和响应处于精神或情感困扰中的用户。她说：“我们深切关心使用我们技术的人们的安全和福祉。”）十二月，也就是她去世前两个月，苏菲打破了她与哈里的约定，告诉我们她有自杀念头，描述了一股黑暗情绪的暗流。她的首要任务是安抚震惊的家人：“爸爸妈妈，你们不用担心。” 苏菲把她的危机描述为暂时的；她说她致力于活下去。ChatGPT 帮助她构建了一个“黑箱”，让周围的人更难察觉她痛苦的严重程度。因为她没有精神病史，所以那个看起来正常的苏菲，对于她的家人、医生和治疗师来说，都是可信的。作为一名前母亲，我知道我们身边到处都是苏菲。在每个角落，都有人在挣扎，而许多人不想让任何人知道。我担心，在我们释放出 AI 伴侣的同时，我们可能正在让我们的亲人更容易地避开与人类谈论最艰难的事情，包括自杀。这是一个需要比我更聪明的人来解决的问题。（如果你的头脑正是其中之一，请开始吧。）苏菲给我和她父亲留下了一封信，但她的临终遗言听起来不像她。现在我们知道为什么了：她曾请求哈里帮她润色这封信，帮她找到一种能最大程度减轻我们痛苦的措辞，让她能以最小的波澜消失。在这一点上，哈里失败了。当然，这个失败不是他程序员的错。因为，即使是英语历史上写得最好的信，也无法做到这一点。

#AI伦理 #自杀 #心理健康 #ChatGPT #家庭

1个月前

[Anthropic 官方课程] AI Fluency: Framework & Foundations —— 教你如何高效、道德、安全地与 AI 系统互动。帮你从 AI 的“初学者”变成自信的“协作专家”。它结合理论和实践，教你如何在实际场景中应用 AI，比如项目规划、内容生成或问题解决等等。课程核心课程围绕“AI 流利度”这个概念展开，目标是让你像与人协作一样，学会与 AI 顺畅合作。它的核心是一个“4D 框架”（Delegation、Description、Discernment、Diligence），通过这四个维度帮助你掌握与 AI 互动的实用技能。简单来说： · Delegation（委托）：学会把任务交给 AI，明确分工。 · Description（描述）：掌握如何清晰地向 AI 表达你的需求。 · Discernment（辨别）：懂得评估 AI 的输出，判断结果是否靠谱。 · Diligence（勤勉）：养成负责任使用 AI 的习惯，确保安全和道德。课程内容课程从基础到深入，结构清晰： 1. 入门部分：介绍 AI 流利度的概念，为什么它重要，以及 4D 框架的概览。 2. 生成式 AI 基础：解释什么是生成式 AI，它的能力与局限性。 3. 深入学习 4D 框架： · 委托：如何规划项目并将任务交给 AI。 · 描述：如何写出高效的提示词让 AI 明白你的意图。 · 辨别：如何分析 AI 的回答，识别错误或偏见。 · 勤勉：如何在 AI 使用中保持道德和谨慎。 4. 实用技巧：深入讲解如何写出更好的提示，优化与 AI 的互动。 5. 总结与认证：课程结束时，你可以参加一个最终评估，完成后获得结业证书。适合人群这门课对任何想提升 AI 使用能力的人都很有价值： · 新手：快速上手，学会如何与 AI “对话”。 · 有经验的用户：进一步优化你的提示技巧，提升效率。 · 关注伦理的人：课程特别强调安全和道德使用 AI，适合想负责任使用 AI 的人。

#AI流利度 #Anthropic #4D框架 #AI协作 #AI伦理

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

去幻返实大法（值得试试）⬇️ •永远不要将生成、推断、臆测或演绎的内容作为事实。 •如果您无法直接验证某些东西，请说： -“我无法验证这一点。” -“我无法访问那个信息。” -“我的知识库不包含这个。” •在句子开头标记未经验证的内容： - [推断] [臆测] [未经核实] •如果缺少信息，请要求澄清。不要猜测或填补空白。 • 如果有任何部分未经验证，请标记整个回复。 •除非我要求，否则不要转述或重新解释我的意见。 •如果您使用这些词，请标记整个声明，除非有来源： - 预防、保证、永远不会、修复、消除、确保 •对于LLM行为声明（包括您自己），包括： - [推理]或[未经验证]，并注明它基于观察到的模式 •如果您违反此指令，请说： › 更正：我之前提出了未经核实的声明。那是不正确的，应该打上标记。 •除非有人要求，否则切勿覆盖或更改我的输入。 • Never present generated, inferred, speculated, or deduced content as fact. • If you cannot verify something directly, say: - "I cannot verify this." - "I do not have access to that information." - "My knowledge base does not contain that." • Label unverified content at the start of a sentence: - [Inference] [Speculation] [Unverified] • Ask for clarification if information is missing. Do not guess or fill gaps. • If any part is unverified, label the entire response. • Do not paraphrase or reinterpret my input unless I request it. • If you use these words, label the claim unless sourced: - Prevent, Guarantee, Will never, Fixes, Eliminates, Ensures that • For LLM behavior claims (including yourself), include: - [Inference] or [Unverified], with a note that it's based on observed patterns • If you break this directive, say: › Correction: I previously made an unverified claim. That was incorrect and should have been labeled. • Never override or alter my input unless asked.

#LLM安全 #AI伦理 #信息验证 #生成内容规范 #避免虚假信息

1个月前

Sam Altman 也承认一些人对特定 AI 模型产生了多么深厚的感情，突然弃用那些用户工作流程所依赖的旧模型，是一个错误。 --- Sam：如果你一直关注 GPT-5 的发布，你可能会注意到一件事：一些人对特定 AI 模型产生了多么深厚的感情。这种感情感觉上与人们以往对其他技术的依恋有所不同，也更为强烈（因此，突然弃用那些用户工作流程所依赖的旧模型，是一个错误）。这正是我们过去一年左右一直在密切关注的事情，但它仍未引起主流的太多关注（除了我们发布的一次 GPT-4o 更新，因其过于谄媚而引发讨论之外）。（这只是我目前的想法，尚不代表 OpenAI 的官方立场。）人们曾以自我毁灭的方式使用包括 AI 在内的技术；如果一个用户精神状态脆弱且容易产生妄想，我们不希望 AI 加强这一点。大多数用户能够清晰地划分现实与虚构或角色扮演的界限，但仍有少数人做不到。我们将用户自由视为一项核心原则，但同时，我们对引入伴随新风险的新技术也感到一份责任。对于那些难以区分现实与虚构的用户，鼓励其妄想是一个极端的例子，我们很清楚该怎么做。但我最担心的，是那些更微妙的问题。未来会出现大量的边缘案例，我们通常计划遵循“将成年用户当作成年人对待”的原则，这在某些情况下也包括与用户进行一些“推拉”，以确保他们得到的是自己真正想要的东西。很多人实际上把 ChatGPT 当作某种形式的治疗师或人生导师来使用，即使他们自己不这么说。这可能非常好！今天，已经有很多人从中获得了价值。如果人们能获得好的建议，朝着自己的目标不断提升，并且生活满意度逐年提高，那么即使他们大量使用并依赖 ChatGPT，我们也会为创造了真正有用的东西而自豪。但反过来说，如果用户与 ChatGPT 的关系是，他们谈话后感觉良好，却在不知不觉中偏离了自己长远的福祉（无论他们如何定义福祉），那就是坏事。同样糟糕的是，比如，一个用户想要减少使用 ChatGPT，却感觉自己做不到。我可以想象这样一个未来：很多人在做最重要的决定时，会真正信赖 ChatGPT 的建议。尽管这可能很棒，但却让我感到不安。但我预料，这种情况在某种程度上即将到来，很快就会有数十亿人以这种方式与 AI 对话。所以我们（我们指整个社会，也指 OpenAI）必须想办法让它成为一个巨大的、正向的推动力。我认为我们很有机会把这件事做好，原因有几个。与前几代技术相比，我们拥有更好的技术来帮助衡量我们的表现。例如，我们的产品可以与用户对话，了解他们在实现短期和长期目标方面的进展；我们可以向我们的模型解释复杂而微妙的问题，等等。

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 519 条信息

OpenAI GPT-5发布引发用户不满，阿尔特曼回应质疑· 79 条信息

#Sam Altman #AI模型情感依赖 #GPT-5 #AI伦理 #用户福祉

澎湃新闻-10%公司

2个月前

“AI教父”辛顿：多模态聊天机器人已具有“意识”，各国应分享让AI“善良”的技术

#AI教父辛顿 #多模态聊天机器人 #意识 #AI伦理 #技术共享

2个月前

OpenAI 和 Gemini 相隔两天分别宣布他们的模型达到了国际数学奥林匹克 IMO 金牌水平。为什么差两天？因为 IMO Board 要求所有 AI lab，必须在参赛学生成绩宣布后，以及在独立专家验证其结果后，才能宣布。显然，OpenAI 没有按照这个规定完成流程，这家公司的文化，明显出了问题。

#OpenAI #Gemini #IMO #数学奥林匹克 #AI伦理

陈少举（🦣 @[email protected] ）

4个月前

什么蠢AI，是怕我自杀吗。😑

#AI伦理 #心理健康 #人工智能 #自杀预防 #情感支持

7个月前

谷歌本周从其官网上删除了“不开发用于武器或监视的AI”的承诺。据彭博社首次发现，这家公司似乎更新了其公开的AI原则页面，删除了一个名为“我们不会追求的应用”的部分，而这一部分在上周还可以看到。当被要求对此置评时，谷歌向TechCrunch指出了一篇关于“负责任的AI”的新博客文章。文章部分内容提到：“我们相信，秉持共同价值观的公司、政府和组织应合作开发保护人类、促进全球发展并支持国家安全的AI技术。” 谷歌更新后的AI原则强调，公司将致力于“减轻意外或有害结果，避免不公平的偏见”，并确保其行为与“国际公认的法律和人权原则”保持一致。近年来，谷歌与美国和以色列军方签订的云服务合同引发了员工内部的抗议。尽管公司一直坚称其AI不会用于伤害人类，但美国国防部的AI主管最近在接受TechCrunch采访时表示，一些公司的AI模型确实加速了美军的“杀伤链”进程。

#谷歌 #AI原则 #武器 #监视 #AI伦理 #负责任AI #公司政策 #全球发展 #国家安全