#全球宕机

avatar
昨天的 GCP 全球宕机事故报告出了，给大家解读下。 从 Google 的报告来看，是给全球的API管理系统下发了一个非法的配额策略（比如1小时只能请求1次这种离谱的策略），于是所有外部请求都403了（因为按照策略超请求配额了，于是403拒绝），工程师发现问题后立刻将所有接收到非法配额的API的配额系统全都绕过了，让这些API不检查配额策略直接给用户服务。 但是，但是来了，us-central1 地区的配额数据库过载了 （这里猜测工程师发现手抖应用错了策略，于是打算先恢复 us-central1 (在美国爱荷华州 Council Bluffs), 紧急情况下想都没想直接清除掉数据库中的旧策略，然后写入新策略，然后一看怎么还没生效，反而旧策略还在应用，检查后发现旧策略在缓存中，于是直接清空缓存！缓存失效，请求全部打在了数据库上，数据库就炸了......）. 最终 us-central1 花费了更多时间才恢复。而其它区域则吃了us-central1的堑，使用逐步逐出缓存的方法，这也可能是为什么2小时才恢复的原因。 以上纯基于报告的猜测哈。感兴趣的同学还是请看原本的事故报告，写得是事无巨细：
#GCP #全球宕机 #事故报告 #Google #API管理系统 #配额策略 #403错误
avatar
Austin
2周前
全球大范围宕机，我还以为没我的事，吃瓜吃到自己身上。 一觉醒来，收到好几个客户反馈。 查了一个小时日志，没找到最开始的原因。刷推特 1 分钟，看到一张图我恍然大悟。一查依赖的源头，果然是。
推特封号潮席卷加密圈，KOL频遭封禁引发恐慌· 54 条信息
#全球宕机 #客户反馈 #查找原因