时政
财经
科技
登录
#学术论文
关注
夜谈
1个月前
ai的又一小步 全ai论文被顶级学术会议接受! 论文题为《Tempest:通过树搜索实现大型语言模型的多轮自动越狱》,已被 ACL 2025 主会录用 ACL 2025 即计算语言学协会 2025 年年会。它是自然语言处理(NLP)和计算语言学领域最具权威和影响力的国际学术会议之一。
#AI
#学术论文
#ACL 2025
#自然语言处理
#计算语言学
#多轮自动越狱
分享
评论 0
0
宝玉
3个月前
原文:《Paper: Ironies of Automation》 作者:Fred Hebert 竟然之前一直没有记录这篇经典又重要的论文:《自动化的反讽》。作者 Lisanne Bainbridge 在论文发表近 40 年后,还专门写了一篇自己对原文的修订,值得一读。这篇文章引用超过 1800 次,还有自己的维基百科页面,在自动化相关领域的文献中简直是绕不开的存在。 这篇论文的核心观点是: 任何自动化系统最终都会变成“人与机器共同协作的系统”。哪怕你不断提高自动化的水平,“人的因素”始终至关重要。 论文以工业控制和飞机驾驶自动化为例,指出了一系列具有讽刺意味的问题,并给出了应对的方法。尽管时代久远,但这些内容今天依然适用。 自动化系统本质上有两个基本需求: 1. 有人必须监控自动化系统是否正常运作。 2. 一旦自动化出错,必须有人迅速接管。 然而,这两个需求又与自动化的初衷相悖,引发一系列矛盾。 一、技能退化的反讽 人类的技能(包括认知能力和动手能力)如果长时间不用,就会逐渐退化。高水平的专业技能是通过频繁、持续的练习获得的。当自动化接管了大部分工作时,操作员往往只需监控,一旦真的出现紧急状况需要人工介入时,却发现自己因长期缺乏实践而退化严重。 换句话说,自动化水平越高,需要人工处理的突发状况就越少见、越复杂。这意味着,自动化越好,反而对人工操作员的要求越高,因为他们需要处理更难、更罕见的异常事件。 这不仅适用于动手能力,同样适用于认知能力。人类的认知技能需要快速、频繁的反馈来保持敏锐。当系统刚刚实现自动化时,操作员的技能很强(因为此前一直手动练习),但下一代操作员却没有这种优势。他们没有经历过频繁的手动操作,技能的提取会更慢、更费劲。 二、警觉性和警报设计的反讽 因为操作员只监控罕见的异常情况,他们很难长期保持警觉。人类只关注经常用到的信息,因此需要自动报警提醒异常状况。但是,这又产生新问题:系统越复杂,所需的警报就越多;警报越多,紧急状况发生时的混乱程度就越高。 三、“人类监督自动化”的反讽 人们之所以使用自动化,是因为相信机器比人类表现更好。然而,当机器出错时,又得由人类负责发现并修正: > 如果一个决策完全由机器负责,那说明机器能够比人类更快地做出决策,考虑更多因素,运用更精确的标准。因此,人类根本无法实时判断机器的决策是否正确,人类只能在更高的“元层次”上判断机器的决定是否“可以接受”。但如果机器本身就是因为人类判断力不足才被使用,那人类又凭什么判断机器决策的好坏呢?这根本就是不可能完成的任务。 同样,自动化系统在纠错和自我调整过程中,可能会掩盖潜在的问题。一旦自动化达到极限,被掩盖的问题突然暴露时,往往已经为时已晚,难以挽回。 因此,如果你希望用人类作为自动化系统的后备手段,就必须让自动化的节奏尽量与人类能处理的节奏相符: > 如果必须让人类操作员实时监控机器的决策过程,那么机器决策的方法、标准和速度,都必须在人类能够理解和跟踪的范围内,即使这种方式在技术上并非最有效率的。如果做不到这一点,当操作员怀疑机器决策时,就很难追溯到机器决策的具体步骤,难以判断问题出在哪一步。 四、故障处理与人工干预的反讽 Bainbridge 建议,当自动化系统出现问题时,最好的方式是: 停机→观察→理解→修正→重新启动 然而,并非所有系统都能随时停下来处理(比如核电厂或飞行中的飞机)。面对缓慢发生的故障,操作员可以用训练过的快速反应动作争取时间;但对发生速度极快、超出人类反应速度的故障,必须由自动化系统本身做出可靠响应。如果无法确保这一点,或者故障后果过于严重,她建议直接不要开发这种系统。 五、保持人类技能的训练反讽 为了防止操作员技能退化,作者建议: • 定期让操作员亲自操作一些步骤; • 或者用高仿真模拟器来训练。 但又产生了新的问题: 未知的故障无法在模拟器中复现;即使能够预测一些故障,但如果实际没遇到过,也无法确定系统的真实反应。人类无法学习未知事件的处理方法,只能练习在已知范围内解决问题的技能。纯粹依靠操作手册处理异常情况是行不通的,因为手册不可能涵盖所有情况。可笑的是,你一边训练操作员严格按照说明书执行操作,一边却希望他们具备处理未知问题的“智慧”。 所以,一个反讽出现了:自动化程度越高、覆盖场景越多的系统,反而越需要大量投资培训操作员。 六、自动化与人为责任的反讽 当系统需要考虑效率以外的因素(比如公众不接受完全自动化的高风险系统)时,人类的参与就成为了必然。因此,作者认为人类和机器最好以“团队合作”的方式运作。 但合作也存在隐患。例如,如果计算机能为操作员列出建议的行动步骤,而你又完全相信计算机给出的建议,那么实际上应该让计算机直接自动执行这些步骤,而非再让人类去机械地完成这些步骤。 七、纠正“人为错误”的反讽 作者认为,纠正人为错误时,最好关注行动的结果而非具体的行动本身,这样可以给操作员更多空间选择不同的策略,提升灵活性。作者还提到电子显示器与传统物理仪表盘的优缺点,以及如何根据不同的场景(技能型、规则型、知识型)选择不同的操作模式。 总结 作者强调,这些问题本质上关乎“团队合作”,而生产压力也会带来很大的风险: > 人类必须清楚机器具体负责哪些任务、如何完成任务,否则会出现职责不明的混乱局面。 > > [...] > > 没有时间压力时,人类擅长解决复杂问题。但讽刺的是,在有时间压力时,人类表现会明显下降。因此,自动化并不总是能解决问题;相反,想要妥善解决自动化带来的新问题,可能需要比传统自动化更多、更复杂的技术智慧。
#自动化
#反讽
#学术论文
#经典文献
#自动化领域
#Lisanne Bainbridge
分享
评论 0
0
滇黔客人🚩🏴🌏
4个月前
我实在没有办法去把邓小平《西南局组织部给西南局和中央组织部报告》、张闻天《闽赣党目前的中心任务》这样的官方原件给你们调出来。ChatGPT是我目前能贴出来的,除了刘仲敬以外信用度最高的资料来源了。当然但凡写过学术论文都知道AI是不能作为权威的,所以你们这群畜生仍然可以死不认账。毕竟姨学的
#邓小平
#张闻天
#官方原件
#AI
#信用度
#学术论文
#姨学
分享
评论 0
0
宝玉
5个月前
罗福莉(福莉),出生于四川农村的“95后AI天才少女”,现任DeepSeek公司深度学习研究员,是国产大模型DeepSeek-V2的核心开发者之一。她本科毕业于北京师范大学计算机专业,硕士保送至北京大学计算语言学专业,师从万小军教授,期间在国际顶级会议ACL上发表8篇论文(含2篇一作),奠定了其在自然语言处理(NLP)领域的学术声誉。职业生涯始于阿里巴巴达摩院,主导开发了多语言预训练模型VECO,推动AliceMind项目开源;2022年加入DeepSeek后,参与研发了MoE架构大模型DeepSeek-V2,该模型以“中文能力第一梯队”和超高性价比(1元/百万Tokens)成为行业焦点。 2024年底,网传小米创始人雷军以千万年薪邀请其领导AI大模型团队,但截至2025年2月,罗福莉仍通过高中班主任回应“暂未决定”,其知乎认证信息显示为DeepSeek员工。分析认为,她的选择或反映对技术深耕与产业使命的权衡:DeepSeek正处“与国运共振”的上升期,而小米的邀约则凸显行业对顶尖人才的争夺。 罗福莉的成长轨迹融合了个人奋斗与时代机遇。她以“农村女孩”身份突破性别与资源限制,成为AI领域标杆人物,既印证“知识改变命运”的普世价值,亦展现中国AI产业崛起中青年科学家的关键角色。其职业路径的选择,不仅是个人发展问题,更折射出国产AI技术生态中企业与人才协同创新的深层命题。 罗福莉在采访中回顾了自己从农村到顶尖AI开发者的逆袭之路。她出身贫寒,父母曾质疑“女生学计算机是否适合”,但她以“探索更多可能性”的决心打破桎梏。在北师大转专业至计算机后,她通过提前规划与贵人指引(如北大导师万小军),以“目标拆解+死磕精神”实现学术突破:大三自学Python并投出首篇顶会论文,硕士期间以“博士生标准”产出20余篇顶会论文,成为业内瞩目的“ACL8篇作者”。 她坦言职业选择中的试错与坚持:曾短暂尝试产品经理方向,但最终回归技术研究,并先后加入阿里达摩院、幻方量化及DeepSeek。在DeepSeek期间,她深度参与模型研发,强调团队“技术驱动”特质,并公开评价DeepSeek-V2为“性价比之王”。
#爱上川妹子
#国产人工智能
#深度学习
#语言模型
#自然语言处理
#学术论文
#ACL会议
#北京师范大学
#北京大学
#阿里巴巴
分享
评论 0
0
个人主页
通知
我的投稿
我的关注
我的拉黑
我的评论
我的点赞