#事故报告

karminski-牙医

2周前

昨天的 GCP 全球宕机事故报告出了，给大家解读下。从 Google 的报告来看，是给全球的API管理系统下发了一个非法的配额策略（比如1小时只能请求1次这种离谱的策略），于是所有外部请求都403了（因为按照策略超请求配额了，于是403拒绝），工程师发现问题后立刻将所有接收到非法配额的API的配额系统全都绕过了，让这些API不检查配额策略直接给用户服务。但是，但是来了，us-central1 地区的配额数据库过载了（这里猜测工程师发现手抖应用错了策略，于是打算先恢复 us-central1 (在美国爱荷华州 Council Bluffs), 紧急情况下想都没想直接清除掉数据库中的旧策略，然后写入新策略，然后一看怎么还没生效，反而旧策略还在应用，检查后发现旧策略在缓存中，于是直接清空缓存！缓存失效，请求全部打在了数据库上，数据库就炸了......）. 最终 us-central1 花费了更多时间才恢复。而其它区域则吃了us-central1的堑，使用逐步逐出缓存的方法，这也可能是为什么2小时才恢复的原因。以上纯基于报告的猜测哈。感兴趣的同学还是请看原本的事故报告，写得是事无巨细：

#GCP #全球宕机 #事故报告 #Google #API管理系统 #配额策略 #403错误