微盟癱瘓:一個程序員引發(fā)的20億血案
原創(chuàng) 東半球第二正經(jīng)の 牛頓頓頓 昨天
2月23日,大批商家發(fā)現(xiàn)微盟服務(wù)器崩掉了,一時間,相關(guān)商城、小程序都無法登陸。
問題突發(fā)之后微盟官方一開始還甩鍋,遲遲沒有修復(fù),這讓300W+使用微盟的商家停擺兩天,損失慘重。
01
一直到了25號,微盟才露面,暗戳戳的發(fā)了一個“自愿公告”:
仔細(xì)研究一下這些公告,我們能發(fā)現(xiàn)很多“反常”的地方:
首先這個程序員的行為就很反常。
根據(jù)公告的信息,這個DBA是用自己的賬號,在晚上七點,通過個人VPN進(jìn)跳板機(jī)刪的庫,事發(fā)之后很快被定位,第二天就被抓起來了。
用自己的賬號,沒用多重跳板偽裝,而且你看這個作案時間,對于整天加班熬夜的程序員們來說,下午七點等于剛上班啊,大家都在干活,你去刪庫砸鍋,這跟把身份證貼臉上去搶銀行有啥區(qū)別?
同歸于盡啊,還是咋滴?
然后就是撲朔迷離的刪庫動機(jī),一開始微盟發(fā)公告說是:因個人精神、生活等原因。
后來27號,微盟的老板孫濤勇又解釋是因為這個程序員深陷網(wǎng)貸,在家里悶了30多天,然后就把數(shù)據(jù)庫刪了。
這個就有點欺負(fù)大家的邏輯了,程序員借網(wǎng)貸他刪你數(shù)據(jù)庫干什么呢?
給平淡的生活找點刺兒嗎?沒有因果關(guān)系啊。
如果是缺錢的話,老哥這么高的權(quán)限,在后臺隨便搞點什么數(shù)據(jù)拿下來賣一賣,投入產(chǎn)出不比刪庫高嗎?為什么去做這種損人不利己的事情呢?
難道刪庫只是為了找刺激?
再一個就是恢復(fù)的時間,23號出問題,預(yù)計到28號才“可能解決”,這意味著什么?
懂點行的都知道,該類問題只要備份機(jī)制還奏效,有完整備份,直接回滾就可以,最多一兩個小時就能完事兒,如果需要這么久,往往意味著破壞的非常嚴(yán)重。
整個事件梳理下來看一看:
這個老哥用自己的賬號,明目張膽刪庫,而且一出手就是下狠手,擊穿所有的應(yīng)急預(yù)案和備份,直接把系統(tǒng)刪崩,回滾都沒得滾,擺明了是想要玉石俱焚。
一時間行業(yè)里也是各種猜測,流傳著不少八卦,目前靴子還沒有落地,大家還是謹(jǐn)慎吃瓜比較好,靜觀事情發(fā)展:
一個員工,獨立操作,就能把一家上市公司的數(shù)據(jù)破壞到這種程度,甚至可以連備份一塊搞掉,權(quán)限隔離怎么做的?無論他是一個什么角色,都意味著微盟在后端管理的極度混亂。
這等于是把公司,還有幾百萬客戶的命都交到了這少數(shù)幾個人手上。
我堅持一個原則:人,永遠(yuǎn)是商業(yè)活動中最大的變數(shù)
不管什么時候,都不能把命讓別人攥在手里,我見過太多人吃過這方面的虧了。
02
我早些年調(diào)查過技術(shù)服務(wù)這個行業(yè),這里面有些技術(shù)外包公司,路子非常野,“騷操作”特別多。
很多人根本無法想象,一個不穩(wěn)定的程序員會給一個公司帶來這么大的沖擊。少數(shù)幾個人,只要掌握了關(guān)鍵環(huán)節(jié)和關(guān)鍵技術(shù),就能擁有巨大的破壞力和談判籌碼。
當(dāng)時我調(diào)查的是一些中小規(guī)模的外包服務(wù)公司,當(dāng)時他們賴以生存的整個商業(yè)生態(tài)是非常惡劣的。
一般來說項目合作初期,甲方會先付一部分定金,然后乙方就開始根據(jù)甲方需求,投入人力物力推項目。
到了項目中后期,往往需要自己掏腰包墊資,才能完成項目。
如果順利的話,最后成功拿到尾款,還能賺點辛苦費,但是很多時候,事情不會這么簡單,東西是做出來了,服務(wù)也到位了,爸爸們往往拿了東西,把嘴一抹,立馬就變臉拖賬期,乙方還得繼續(xù)當(dāng)舔狗,想盡一切辦法要尾款。
尤其是廣告公司,他們一般體量比較小,話語權(quán)又低。
財大氣粗的甲方爸爸們也不是直接說不給,就是賬期特別長,這兩年我見過的被賬期拖死的廣告公司,已經(jīng)有幾十家了。
技術(shù)外包類公司也一樣。
但是,技術(shù)外包和廣告公司扮演的角色還不一樣,對于很多互聯(lián)網(wǎng)公司來說,數(shù)據(jù)是核心資產(chǎn),系統(tǒng)是運行的命脈,技術(shù)扮演的角色非常關(guān)鍵。
根據(jù)牛頓第十二定律,我們可以得知:破壞永遠(yuǎn)比建設(shè)更容易。
基于此,一些路子比較野的技術(shù)外包公司就玩起了“黑吃黑”。
這些公司會在開發(fā)初期的時候,直接就埋好后門,哪怕是項目交付了,正式投入使用了,要確保自己手里仍舊掌握著主動權(quán)。
爸爸們要是不按照合同,按時打款,拖延賬期什么的,那就等著系統(tǒng)三天兩頭出問題吧。
很多地方底層的商業(yè)生態(tài)就是這樣,一手交錢一手交貨最好。
這種周期比較長的項目,先給錢的往往拿不到貨,先給貨的就拿不到錢,這話,很多做服務(wù)類乙方的一定感同身受,他們總是扮演一個被“拿捏”的角色。
如果說為了要尾款,留后門是出于無奈,那么路子更野的那些人,留定時BUG,邏輯炸彈,偷偷下載倒賣數(shù)據(jù)給競爭對手,那就是赤裸裸的壞了。
一魚八吃,在他們那里,從來就不是夢。
03
一般來說,外包公司把項目做好之后,進(jìn)入交付使用階段,還會簽一個長期維護(hù)的合同,費用通常在幾十萬。
常規(guī)的維護(hù)一年也能有個幾萬塊,主要是服務(wù)器運維、域名、常見的bug修復(fù),應(yīng)急事件處理等等。
一般來說,甲方開發(fā)系統(tǒng),后期的維護(hù)會直接給負(fù)責(zé)開發(fā)的公司。
因為這個錢是easy money,能拴住客戶,榨到更多剩余價值,于是為了拿到這個長期維護(hù)的合同,很多外包公司就會故意把程序?qū)懙梅浅;逎,或者是隱藏一部分關(guān)鍵內(nèi)容,放一些只有自己內(nèi)部知道的BUG。
這樣,來確保只有自己能吃到這塊肥肉。
因此自己人去做維護(hù)沒有一點問題,但只要甲方敢換人,一定三天兩頭出問題。
程序?qū)懙睦@過來,繞過去,對方刪也不敢刪,改也不敢改,很難定位到真正的問題所在。
這個時候,甲方就被吃定了。
主要是因為“沉沒成本”,開發(fā)系統(tǒng)的大頭都花了,客戶基本就已經(jīng)被牢牢綁定了,根本沒法再找別人插手這個東西。
常規(guī)被吃點運維費用還能接受,但是,騷中自有騷上人。
04
有些外包公司,簡直是天天在違法的邊緣瘋狂試探,他們不光想要吃維護(hù)費,還會搞“釣魚修復(fù)”。
頭幾年一般比較老實,過個三四年,甲方就會發(fā)現(xiàn),系統(tǒng)開始頻繁出問題了,外包公司就會借著電腦系統(tǒng)老化,兼容性問題,數(shù)據(jù)庫需要優(yōu)化,數(shù)據(jù)規(guī)模大了需要擴(kuò)容等理由。
然后假模假樣搞優(yōu)化和修復(fù),趁機(jī)再大賺一筆?瓷先ッ畲蟀雮月,其實可能只是注釋掉自己當(dāng)年留下的一個定時Bug而已。
有自己技術(shù)團(tuán)隊的大公司,可能還好點,但是完全技術(shù)外包的中小公司,錢該花的都花了,這個時候真是一點辦法沒有.自己沒有懂行的人,根本察覺不到,察覺到了也沒法驗證,就算驗證了,打官司也很難贏。
而外包公司這樣一通操作下來,一年又能多掙個幾萬塊。
行業(yè)里面有很多這樣的外包公司,干個3年5年,手里攢著幾十個客戶,后面光吃維護(hù),一年純掙個幾十萬不成問題,抱著聚寶盆美滋滋的吃紅利,這是一些外包公司的生財之道。
05
這個操作其實是相當(dāng)普遍的,也不僅僅存在小公司,關(guān)注行業(yè)消息的可能知道,前幾年西門子也遇到過類似的事情。
不要以為西門子就是做冰箱的,家電業(yè)務(wù)只是西門子很小的一個板塊,真正牛逼的地方是軟件、信息系統(tǒng)和行業(yè)解決方案。
西門子之前有一個管理訂單用的電子表格需求,其實也不復(fù)雜,就是用自定義腳本更新庫存和訂單的信息,之前是外包給一個合同工設(shè)計的。
完成之后五六年的時間一直運行挺正常的,后來表格開始頻繁崩潰,然后西門子只能重新找他做維護(hù),陸陸續(xù)續(xù)一共花了4萬多刀,直到后面事發(fā)突然,緊急修復(fù),有其他工程師要到了管理密碼,才發(fā)現(xiàn)程序里面藏了一個邏輯炸彈,會在特定的時間或者是特殊情況下誘導(dǎo)系統(tǒng)崩潰,然后事情才敗露。
類似這樣的還有很多,02年的時候UBS PaineWebber 的一個員工,在公司1500臺聯(lián)網(wǎng)的電腦里面,偷偷摸摸把其中1000臺植入了邏輯炸彈。
然后想搞個大事故,整成負(fù)面新聞,配合起來做空公司的股價。
2002年3月4號,他植入進(jìn)去的程序開始大規(guī)模刪文件,結(jié)果到最后公司也沒出什么大問題,股價穩(wěn)如老狗,最后事情敗露,自己賠進(jìn)去了2萬多刀,還判了8年多。
結(jié)合著這個騷操作,我們再翻過來看一下微盟這段時間的股價變化:
歷史,還真是有趣呢。
這些技術(shù)起家,有資深技術(shù)團(tuán)隊,監(jiān)察系統(tǒng)比較完善的大公司相對而言會好很多,如果是非技術(shù)公司找外包的話,對方大概能有1萬種辦法,讓你跪下來叫爸爸。
所以說很多時候千萬不能小看程序員。
禿禿的腦袋下,往往藏著大大的力量。
06
雖然大家都在強調(diào)規(guī)范管理,權(quán)限隔離,多人驗證,但在實際操作當(dāng)中,對于中小公司互聯(lián)網(wǎng)公司來說是很難做到的。
因為規(guī)范的流程意味著效率的降低,大多數(shù)公司,你真正參與進(jìn)去的時候就會發(fā)現(xiàn),很多制度表面上看起來嚴(yán)絲合縫,但是在關(guān)鍵位置的人,能找到1萬種方法把這個系統(tǒng)搞崩掉。
然而保證人不出問題是非常困難的,在我的經(jīng)驗里,人是所有的商業(yè)要素當(dāng)中變數(shù)最大的一環(huán)。
所以我一直有這樣一個原則:真正的靠譜需要把別人的不靠譜也cover掉。
所以,我在解決問題的時候,尤其是比較重要的環(huán)節(jié),一定會留預(yù)備方案,只要一個關(guān)鍵環(huán)節(jié)沒有雙保險,我就會重新考慮整件事的可行性。
只要一個環(huán)節(jié)出問題就全部完蛋,這種事情我是絕對不能接受的。從墨菲定律定律來理解,一件事,只要有可能往壞處發(fā)展,那么只要時間夠長,這件事就一定會發(fā)生。
不要拿命來賭概率。
這些年很多規(guī)模不小的企業(yè)都選擇直接購買SaaS的解決方案而不是自建系統(tǒng),但是微盟這個事情出現(xiàn)之后,我們是不是要重新考慮一下,SaaS要不要把數(shù)據(jù)管理的權(quán)限歸還給客戶?定期允許客戶自行備份相關(guān)的數(shù)據(jù)?或者提供更多災(zāi)備手段?
對于互聯(lián)網(wǎng)公司來說,數(shù)據(jù)是最核心的資產(chǎn),而且是不可再生的。
核心的商業(yè)資源一定要掌握主動權(quán),把數(shù)據(jù)交出去,就是把生命線交出去。
公告中講到是28號修復(fù),截止到發(fā)稿,很多商家的小程序仍舊還是維護(hù)狀態(tài),對于使用服務(wù)的企業(yè)來說,停擺這么久,無疑是巨大的損失。
一些公司干了3年5年的數(shù)據(jù)、訂單、用戶信息都存在你這里,萬一出了問題,如果一點補救措施都沒有的話,那些企業(yè)怎么辦呢?損失誰來賠付呢?
不管是黑天鵝也好,灰犀牛也罷,程序員刪了庫也好,老板跑路了也好,機(jī)房失火了也好,誰的責(zé)任先不說,總要有一些補救的辦法吧?
商業(yè)合作信任是必要的,但一定也是有限度的,無限度的信任就是把腦袋交出去。
這次危機(jī),應(yīng)該是整個SaaS行業(yè)需要認(rèn)真考慮反省的一個時機(jī)。
關(guān)鍵詞:
作者:轉(zhuǎn)載收藏(非官方微信免費提供積分入學(xué)問題咨詢。)
惠民大叔家長社群開放報名:
1、一整年的升學(xué)政策同步更新,
2、一整年的插班生信息更新,
3、一整年升學(xué)政策的獨家解讀,
4、一整年幾千條的家長咨詢回復(fù),
5、一整年無限次的升學(xué)咨詢,
6、以及不公開的信息分享等等。
繼續(xù)指導(dǎo)大家的做好升學(xué)規(guī)劃,帶領(lǐng)大家探索孩子上學(xué)的更多可能性,我們相信,這將是你最值得加入的一個社群!
了解更多關(guān)于上學(xué)報名的事,掃一掃二維碼:

- ·上一篇資訊:市民志愿者體驗口罩預(yù)約系統(tǒng)后,更愛廈門了…
- ·下一篇資訊:2020年廈門同安區(qū)教育局公開招聘








