宝玉

原文：《Paper: Ironies of Automation》 作者：Fred Hebert 竟然之前一直没有记录这篇经典又重要的论文：《自动化的反讽》。作者 Lisanne Bainbridge 在论文发表近 40 年后，还专门写了一篇自己对原文的修订，值得一读。这篇文章引用超过 1800 次，还有自己的维基百科页面，在自动化相关领域的文献中简直是绕不开的存在。 这篇论文的核心观点是： 任何自动化系统最终都会变成“人与机器共同协作的系统”。哪怕你不断提高自动化的水平，“人的因素”始终至关重要。 论文以工业控制和飞机驾驶自动化为例，指出了一系列具有讽刺意味的问题，并给出了应对的方法。尽管时代久远，但这些内容今天依然适用。 自动化系统本质上有两个基本需求： 1. 有人必须监控自动化系统是否正常运作。 2. 一旦自动化出错，必须有人迅速接管。 然而，这两个需求又与自动化的初衷相悖，引发一系列矛盾。 一、技能退化的反讽 人类的技能（包括认知能力和动手能力）如果长时间不用，就会逐渐退化。高水平的专业技能是通过频繁、持续的练习获得的。当自动化接管了大部分工作时，操作员往往只需监控，一旦真的出现紧急状况需要人工介入时，却发现自己因长期缺乏实践而退化严重。 换句话说，自动化水平越高，需要人工处理的突发状况就越少见、越复杂。这意味着，自动化越好，反而对人工操作员的要求越高，因为他们需要处理更难、更罕见的异常事件。 这不仅适用于动手能力，同样适用于认知能力。人类的认知技能需要快速、频繁的反馈来保持敏锐。当系统刚刚实现自动化时，操作员的技能很强（因为此前一直手动练习），但下一代操作员却没有这种优势。他们没有经历过频繁的手动操作，技能的提取会更慢、更费劲。 二、警觉性和警报设计的反讽 因为操作员只监控罕见的异常情况，他们很难长期保持警觉。人类只关注经常用到的信息，因此需要自动报警提醒异常状况。但是，这又产生新问题：系统越复杂，所需的警报就越多；警报越多，紧急状况发生时的混乱程度就越高。 三、“人类监督自动化”的反讽 人们之所以使用自动化，是因为相信机器比人类表现更好。然而，当机器出错时，又得由人类负责发现并修正： > 如果一个决策完全由机器负责，那说明机器能够比人类更快地做出决策，考虑更多因素，运用更精确的标准。因此，人类根本无法实时判断机器的决策是否正确，人类只能在更高的“元层次”上判断机器的决定是否“可以接受”。但如果机器本身就是因为人类判断力不足才被使用，那人类又凭什么判断机器决策的好坏呢？这根本就是不可能完成的任务。 同样，自动化系统在纠错和自我调整过程中，可能会掩盖潜在的问题。一旦自动化达到极限，被掩盖的问题突然暴露时，往往已经为时已晚，难以挽回。 因此，如果你希望用人类作为自动化系统的后备手段，就必须让自动化的节奏尽量与人类能处理的节奏相符： > 如果必须让人类操作员实时监控机器的决策过程，那么机器决策的方法、标准和速度，都必须在人类能够理解和跟踪的范围内，即使这种方式在技术上并非最有效率的。如果做不到这一点，当操作员怀疑机器决策时，就很难追溯到机器决策的具体步骤，难以判断问题出在哪一步。 四、故障处理与人工干预的反讽 Bainbridge 建议，当自动化系统出现问题时，最好的方式是： 停机→观察→理解→修正→重新启动 然而，并非所有系统都能随时停下来处理（比如核电厂或飞行中的飞机）。面对缓慢发生的故障，操作员可以用训练过的快速反应动作争取时间；但对发生速度极快、超出人类反应速度的故障，必须由自动化系统本身做出可靠响应。如果无法确保这一点，或者故障后果过于严重，她建议直接不要开发这种系统。 五、保持人类技能的训练反讽 为了防止操作员技能退化，作者建议： • 定期让操作员亲自操作一些步骤； • 或者用高仿真模拟器来训练。 但又产生了新的问题： 未知的故障无法在模拟器中复现；即使能够预测一些故障，但如果实际没遇到过，也无法确定系统的真实反应。人类无法学习未知事件的处理方法，只能练习在已知范围内解决问题的技能。纯粹依靠操作手册处理异常情况是行不通的，因为手册不可能涵盖所有情况。可笑的是，你一边训练操作员严格按照说明书执行操作，一边却希望他们具备处理未知问题的“智慧”。 所以，一个反讽出现了：自动化程度越高、覆盖场景越多的系统，反而越需要大量投资培训操作员。 六、自动化与人为责任的反讽 当系统需要考虑效率以外的因素（比如公众不接受完全自动化的高风险系统）时，人类的参与就成为了必然。因此，作者认为人类和机器最好以“团队合作”的方式运作。 但合作也存在隐患。例如，如果计算机能为操作员列出建议的行动步骤，而你又完全相信计算机给出的建议，那么实际上应该让计算机直接自动执行这些步骤，而非再让人类去机械地完成这些步骤。 七、纠正“人为错误”的反讽 作者认为，纠正人为错误时，最好关注行动的结果而非具体的行动本身，这样可以给操作员更多空间选择不同的策略，提升灵活性。作者还提到电子显示器与传统物理仪表盘的优缺点，以及如何根据不同的场景（技能型、规则型、知识型）选择不同的操作模式。 总结 作者强调，这些问题本质上关乎“团队合作”，而生产压力也会带来很大的风险： > 人类必须清楚机器具体负责哪些任务、如何完成任务，否则会出现职责不明的混乱局面。 > > [...] > > 没有时间压力时，人类擅长解决复杂问题。但讽刺的是，在有时间压力时，人类表现会明显下降。因此，自动化并不总是能解决问题；相反，想要妥善解决自动化带来的新问题，可能需要比传统自动化更多、更复杂的技术智慧。