日本運(yùn)營(yíng)商DoCoMo的一次割接替換，給該國(guó)整個(gè)網(wǎng)絡(luò)造成了大面積的故障。引起了大量用戶的強(qiáng)烈不滿，甚至于日本總務(wù)大臣不得不出來(lái)進(jìn)行處理和解釋。
據(jù)悉，這次本來(lái)是一次簡(jiǎn)單的升級(jí)替換，替換的設(shè)備是：存儲(chǔ)物聯(lián)網(wǎng)終端設(shè)備的用戶/位置信息的服務(wù)器，大約有20萬(wàn)臺(tái)物聯(lián)網(wǎng)終端的位置信息從舊設(shè)備遷移到新設(shè)備的過程中，出現(xiàn)了問題。
于是操作人員啟動(dòng)了回退操作，重新倒回到舊設(shè)備。這一回退，恰好就是問題的關(guān)鍵：回退引發(fā)了大量物聯(lián)網(wǎng)終端向舊服務(wù)器重新發(fā)起位置注冊(cè)信息，一股洶涌而來(lái)的“信令風(fēng)暴”快速引發(fā)了網(wǎng)絡(luò)擁塞，直接把3/4/5G的核心網(wǎng)給擠“癱瘓”了。
讓人難以理解的是，這一頓“升級(jí)-割接-回退”的操作，發(fā)生在工作日下午即將下班的晚高峰。（漲姿勢(shì)了，島國(guó)割接居然不要求在夜間？）
2021年10月14日下午5點(diǎn)左右開始，發(fā)生了導(dǎo)致DoCoMo語(yǔ)音通話和數(shù)據(jù)通信服務(wù)難以使用的網(wǎng)絡(luò)事故。
2021年10月14日下午7點(diǎn)57分，該運(yùn)營(yíng)商采取了緊急網(wǎng)絡(luò)操作，故障開始逐漸恢復(fù)，但由于網(wǎng)絡(luò)擁塞，仍然有一些客戶無(wú)法連接網(wǎng)絡(luò)。
2021年10月15日凌晨5點(diǎn)05分，5G和4G網(wǎng)絡(luò)恢復(fù)正常，但部分區(qū)域的3G網(wǎng)絡(luò)仍然難以使用，正在努力恢復(fù)中，并告知廣大用戶，已訂閱4G套餐并顯示3G信號(hào)的用戶，可以通過重啟手機(jī)的方式來(lái)連接4G網(wǎng)絡(luò)，以獲得正常通信。
2021年10月15日下午，NTT DoCoMo副社長(zhǎng)在新聞發(fā)布會(huì)上表示，3G網(wǎng)絡(luò)恢復(fù)“無(wú)法給出明確的時(shí)間”，并解釋說(shuō)前景不明朗。
NTT DoCoMo管理層公開道歉，對(duì)于此次事故給客戶和很多人帶來(lái)了不便，深表歉意，并表示將努力防止事故再次發(fā)生。
嗯，在島國(guó)，沒有什么問題是鞠一躬解決不了的，如果有，就3個(gè)人一起鞠！
事故發(fā)生后，日本總務(wù)大臣在內(nèi)閣會(huì)議后的記者招待會(huì)上表示：
作為關(guān)系人們?nèi)粘Ｉ畹闹匾A(chǔ)設(shè)施，移動(dòng)網(wǎng)絡(luò)發(fā)生了大規(guī)模故障，令人遺憾。總務(wù)省對(duì)此事非常重視，已要求NTT DoCoMo及時(shí)調(diào)查和報(bào)告事故原因和影響程度，以向廣大用戶做出充分的解釋。希望NTT DoCoMo能履行好社會(huì)責(zé)任，并采取一切可能的措施防止類似事故再次發(fā)生。
罰酒三杯，處理完畢！
啟示錄：
雖然此事發(fā)生在對(duì)面島國(guó)，但我們?nèi)匀恍枰獜闹形〗逃?xùn)。如今的移動(dòng)網(wǎng)絡(luò)如同水電氣一樣的基礎(chǔ)設(shè)施，特別是5G時(shí)代，應(yīng)用到工業(yè)互聯(lián)網(wǎng)、煤礦、醫(yī)院等，網(wǎng)絡(luò)絕無(wú)小事。
1、升級(jí)割接絕不可能在忙時(shí)進(jìn)行。
這在我國(guó)幾乎不可能，都是在深夜完成，這已經(jīng)成了通信這20年來(lái)的鐵律。感謝我們的“通信夜行者”辛勤的付出。
2、網(wǎng)絡(luò)充分的冗余和備份機(jī)制。
網(wǎng)絡(luò)的狀況永遠(yuǎn)不可預(yù)料，要保障網(wǎng)絡(luò)不出問題，最可靠的方式就是冗余和備份機(jī)制，從AB面，到集群Pool，全面保障在核心網(wǎng)、傳輸網(wǎng)和接入網(wǎng)的冗余機(jī)制。這勢(shì)必會(huì)增加投資，但是一個(gè)品質(zhì)網(wǎng)絡(luò)的必需。
3、核心網(wǎng)是重中之重。
其它故障一般影響到局部，而核心網(wǎng)則影響全局。除了做好冗余和備份，更應(yīng)該盡快升級(jí)網(wǎng)絡(luò)架構(gòu)。5G SA的核心網(wǎng)SBA架構(gòu)，能在盡可能節(jié)省投資的情況下保障網(wǎng)絡(luò)的安全運(yùn)行。
