谷歌將上周的故障歸咎于其全球身份驗(yàn)證系統(tǒng)中的一個(gè)錯(cuò)誤,該錯(cuò)誤影響了Gmail,日歷,YouTube,Meet和其他多項(xiàng)Google服務(wù)。
上周一中斷了47分鐘,這嚴(yán)重影響了全球工作場(chǎng)所和學(xué)校的運(yùn)營(yíng),這是由支持Google User ID Service的自動(dòng)配額管理系統(tǒng)中的一個(gè)錯(cuò)誤引起的。
Google在根本原因事件報(bào)告中解釋說(shuō),Google用戶ID服務(wù)為每個(gè)帳戶維護(hù)一個(gè)唯一的標(biāo)識(shí)符,并處理OAuth令牌和cookie的身份驗(yàn)證憑據(jù)。此帳戶數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)庫(kù)中,該數(shù)據(jù)庫(kù)使用Paxos協(xié)議協(xié)調(diào)更新。
出于安全原因,該服務(wù)被編程為在檢測(cè)到過(guò)時(shí)的數(shù)據(jù)時(shí)拒絕請(qǐng)求。
谷歌表示,其用于管理分配給服務(wù)的各種資源配額的自動(dòng)化工具之一包含一個(gè)錯(cuò)誤,該錯(cuò)誤導(dǎo)致身份驗(yàn)證結(jié)果出錯(cuò),從而導(dǎo)致服務(wù)中斷。
“作為將用戶ID服務(wù)持續(xù)遷移到新配額系統(tǒng)的一部分,10月份進(jìn)行了更改,以在新配額系統(tǒng)中注冊(cè)用戶ID服務(wù),但先前配額系統(tǒng)的某些部分保留了下來(lái),但報(bào)告有誤用戶ID服務(wù)的使用情況為0。執(zhí)行配額限制的現(xiàn)有寬限期延遲了影響,該影響最終終止,觸發(fā)了自動(dòng)配額系統(tǒng)減少了用戶ID服務(wù)允許的配額并觸發(fā)了此事件!
谷歌補(bǔ)充說(shuō): “現(xiàn)有的安全檢查可以防止許多意外的配額更改,但當(dāng)時(shí)它們并未涵蓋單個(gè)服務(wù)的零報(bào)告負(fù)載情況!
問(wèn)題“隨著新的配額生效,立即得到了解決! 在事件最嚴(yán)重的時(shí)候,Google無(wú)法驗(yàn)證用戶請(qǐng)求是否已通過(guò)身份驗(yàn)證,該公司確認(rèn)幾乎所有經(jīng)過(guò)身份驗(yàn)證的流量都出現(xiàn)了5xx錯(cuò)誤。
該公司表示:“大多數(shù)經(jīng)過(guò)身份驗(yàn)證的服務(wù)都受到了類似的控制平面影響:所有Google Cloud Platform以及Google Workspace API和控制臺(tái)的錯(cuò)誤率提高了。