文 | 史中 頂燈閃爍，笛聲響徹。 救護(hù)車(chē)載著病人，沖向茫茫車(chē)海，在時(shí)間的賽道上狂奔。 高德地圖、GPS 衛(wèi)星導(dǎo)航、路面磁感線圈、1300 個(gè)路口攝像頭同時(shí)開(kāi)動(dòng)，為這輛救護(hù)車(chē)勘探最快路線； GPS 傳回實(shí)時(shí)數(shù)據(jù)，后臺(tái)根據(jù)輔助數(shù)據(jù)糾偏，錨定救護(hù)車(chē)每一刻的精確位置； 救護(hù)車(chē)將要經(jīng)過(guò)的沿途，車(chē)輛情況被實(shí)時(shí)計(jì)算。確保路口綠燈提前亮起，在救護(hù)車(chē)通過(guò)之前，剛好所有社會(huì)車(chē)輛已經(jīng)行駛一空。 這不是演習(xí)，這是杭州城市大腦每天都在執(zhí)行的任務(wù)。依靠計(jì)算，一輛救護(hù)車(chē)到達(dá)醫(yī)院的速度，平均縮短了 50%。在這座城市，靠鳴笛和闖紅燈開(kāi)道的悲壯徹底成為歷史。 
說(shuō)人同螻蟻，其實(shí)并不為過(guò)。兩百多萬(wàn)輛車(chē)奔跑在城市里，他們的行蹤像風(fēng)里的落葉一樣叵測(cè)。但通過(guò)對(duì) 1300個(gè)路口的攝像頭的實(shí)時(shí)計(jì)算，城市大腦就可以精確地預(yù)測(cè)出未來(lái)十五分鐘、未來(lái)半小時(shí)哪個(gè)路段將會(huì)擁堵，從而第一時(shí)間指揮路口信號(hào)燈“變換姿勢(shì)”。 計(jì)算在幫人類追趕時(shí)間。 中哥今天要說(shuō)的，就是這個(gè)精致而堅(jiān)固的“大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎”。
你可能從未聽(tīng)說(shuō)過(guò)這個(gè)引擎，甚至在此刻之前都不知道它的存在，但你很可能早已成為這個(gè)引擎服務(wù)的一員： 一年一度的雙11，無(wú)數(shù)人涌進(jìn)天貓，每個(gè)人都能用 0.1 秒搜索到自己理想的商品，在智能推薦中發(fā)現(xiàn)適合的寶貝，背后正是依賴這個(gè)引擎； 雙11慶典現(xiàn)場(chǎng)，大屏上那個(gè)跳動(dòng)的總成交量數(shù)字，只是背后所有數(shù)據(jù)的冰山一角。幾十億種商品的實(shí)時(shí)庫(kù)存、價(jià)格、優(yōu)惠數(shù)據(jù)得以分秒不慢地同步給屏幕前的你，也同樣依賴這個(gè)引擎。 從某種意義上來(lái)說(shuō)，只要給這個(gè)計(jì)算引擎足夠的資源，無(wú)論面對(duì)多么龐大復(fù)雜的系統(tǒng)，我們都可以用幾乎忽略不計(jì)的時(shí)間看到真相——這大大快于人類最聰明的大腦。 這是我們親手創(chuàng)造的“先知”。 重器難成。為了這個(gè)先知一般的“大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎”，阿里巴巴最核心的技術(shù)人，已經(jīng)耗費(fèi)了將近五年時(shí)間。 讓人感慨的是，這個(gè)承載了一個(gè)個(gè)城市的交通，扛起了一條條生產(chǎn)線，擔(dān)負(fù)了一個(gè)國(guó)家十幾億人購(gòu)物的強(qiáng)大引擎之所以的誕生在阿里巴巴，最初并不是為了滿足什么需要，而僅僅是因?yàn)樗翱瓷先ズ苊馈薄?/p> 這是一個(gè)鮮為人知的故事。
（1） 1999年，阿里巴巴在杭州成立。 同樣在1999年，蔣曉偉正在美國(guó)攻讀理論物理博士。作為一個(gè)初三就立志要探索宇宙秘密的年輕人，到目前為止他的人生堪稱完美。 就在一個(gè)嶄新的物理學(xué)家即將出爐的時(shí)候，命運(yùn)開(kāi)始展現(xiàn)它的波云詭譎。蔣曉偉突然被自己的導(dǎo)師“忽悠”到了一家非常有希望的互聯(lián)網(wǎng)初創(chuàng)公司。理由是：“在30歲之前先財(cái)富自由，以后愛(ài)怎么學(xué)物理就怎么學(xué)物理?！?/p> 一年之后，互聯(lián)網(wǎng)泡沫破裂。然而，蔣曉偉卻留在了這片戰(zhàn)場(chǎng)。2002年，他加入微軟，2010年他加入 Facebook。彈指揮間，直到回國(guó)加入阿里巴巴之前，他已經(jīng)從物理學(xué)家成功轉(zhuǎn)型成為數(shù)據(jù)庫(kù)和計(jì)算資源調(diào)度系統(tǒng)專家。 他還記得，自己加入阿里的時(shí)間是 2014年12月29日。這是一年中可以辦理入職的最后一天。 “為什么選最后一天？” “因?yàn)榭瓷先ケ容^有美感?！?/p> “。。?！?/p> 目測(cè)，蔣曉偉是我見(jiàn)過(guò)的第一個(gè)用物理公式般的美感對(duì)待人生的人。甚至，他給自己的花名都想叫做“量子”，后來(lái)思考了一下，覺(jué)得量子不太像個(gè)人名，才改為諧音“量仔”。 
蔣曉偉 蔣曉偉入職的是阿里巴巴集團(tuán)搜索團(tuán)隊(duì)。你可能會(huì)問(wèn)：納尼？阿里巴巴還有搜索團(tuán)隊(duì)？當(dāng)然有，而且還極其重要。舉個(gè)搜索引擎的日常： 當(dāng)你在淘寶搜索框里輸入“杜蕾斯”的時(shí)候，搜索引擎就馬上行動(dòng)，從億萬(wàn)賣(mài)家出售中的寶貝里幫你找到合適的 TT（及其他產(chǎn)品），然后按照推薦順序排列在搜索結(jié)果里。
注意，有趣的硬核要來(lái)了： 如果，商家的 TT 價(jià)格永遠(yuǎn)不改，庫(kù)存永遠(yuǎn)無(wú)限，優(yōu)惠促銷(xiāo)方案永遠(yuǎn)不變，那么搜索團(tuán)隊(duì)只需要做一個(gè)最簡(jiǎn)單的查詢系統(tǒng)就行了。 但是，現(xiàn)實(shí)中商家會(huì)隨時(shí)調(diào)整價(jià)格和優(yōu)惠，某一款激情大顆粒也可能因?yàn)樘軞g迎，上架十秒就賣(mài)到缺貨。在淘寶網(wǎng)上，你會(huì)發(fā)現(xiàn)真實(shí)的狀態(tài)是：每時(shí)每刻都有無(wú)數(shù)賣(mài)家的產(chǎn)品參數(shù)在改動(dòng)。 所以，搜索引擎的挑戰(zhàn)就是，要根據(jù)每時(shí)每刻最新的數(shù)據(jù)庫(kù)來(lái)瞬間算出最適合呈現(xiàn)給你的搜索結(jié)果。 相信我，只有用最新鮮的數(shù)據(jù)算出的結(jié)果，才能讓屏幕對(duì)面的你露出心滿意足的表情：
面對(duì)這種現(xiàn)實(shí)，一個(gè)最穩(wěn)妥的方式就是，搜索引擎用把現(xiàn)在的數(shù)據(jù)庫(kù)全部算一遍，給出結(jié)果。 但是，這會(huì)耗費(fèi)大量的計(jì)算力。畢竟這一秒相對(duì)于上一秒來(lái)說(shuō)，可能發(fā)生參數(shù)變動(dòng)的寶貝只有十個(gè)，而沒(méi)有參數(shù)變動(dòng)的寶貝有十萬(wàn)個(gè)。 那么，你自然會(huì)想：“有沒(méi)有一種方法，讓我只計(jì)算改動(dòng)的部分，再通過(guò)特別的數(shù)學(xué)運(yùn)算和之前的結(jié)果融合，就能達(dá)到和計(jì)算全量數(shù)據(jù)一樣的效果呢？” 有的，這就叫“流式計(jì)算”。 打個(gè)最簡(jiǎn)單的比方： 你負(fù)責(zé)把椰汁平分給10個(gè)妹紙。剛開(kāi)始你有10瓶椰汁，于是你一人分了一個(gè)。后來(lái)，你又得到了10瓶椰汁，這時(shí)候椰汁的總數(shù)變成了 20 瓶，平均每個(gè)妹紙應(yīng)該得到兩個(gè)。 但你沒(méi)有必要把之前分給妹紙的椰汁收回來(lái)，重新每人給兩個(gè)；而是可以讓每個(gè)妹紙手上拿著之前的那瓶椰汁的基礎(chǔ)上，每人再補(bǔ)發(fā)一瓶。
通過(guò)這個(gè)例子，我猜你已經(jīng)感受到了“流式計(jì)算”的激蕩。當(dāng)然，實(shí)際的數(shù)據(jù)庫(kù)運(yùn)算比“分椰汁”復(fù)雜得多。 需要說(shuō)明的是，當(dāng)時(shí)在阿里巴巴內(nèi)部，并不是沒(méi)有流式計(jì)算引擎，各部門(mén)都根據(jù)自己的需求研發(fā)了特定的流式計(jì)算引擎，只不過(guò)，大多引擎只用來(lái)解決各自部門(mén)的問(wèn)題，沒(méi)有通用性。
很多業(yè)務(wù)都開(kāi)發(fā)了 各自的流式計(jì)算引擎 但蔣曉偉突然發(fā)現(xiàn)，流式計(jì)算背后隱藏著一個(gè)神奇的事實(shí)： 既然只計(jì)算增量，就能得知全量的結(jié)果；那么就可以永遠(yuǎn)用計(jì)算增量的方式來(lái)表達(dá)計(jì)算全量。 也就是說(shuō)：增量計(jì)算等效于全量計(jì)算；流式計(jì)算等效于批處理計(jì)算，實(shí)時(shí)計(jì)算等效于離線計(jì)算！ 也就是說(shuō)，如果按照這個(gè)構(gòu)想做出一套完整功能的“流式計(jì)算引擎”，就可以一統(tǒng)江湖，運(yùn)轉(zhuǎn)在阿里巴巴所有的技術(shù)底層。這可是一份不小的產(chǎn)業(yè)?。?/p> 蔣曉偉越想越雞凍。 然鵝，讓他激動(dòng)的最主要原因竟然是：“這個(gè)引擎太完美了！”他發(fā)現(xiàn)，其實(shí)自己身體里的那個(gè)“物理學(xué)家”一直都在。物理追求的終極就是“大一統(tǒng)理論”——用一套機(jī)制解決所有問(wèn)題。沒(méi)想到人生峰回路轉(zhuǎn)，在計(jì)算機(jī)領(lǐng)域也給發(fā)現(xiàn)了一個(gè)“大一統(tǒng)”的機(jī)會(huì)。 老實(shí)說(shuō)，蔣曉偉老濕傅這個(gè)想法有點(diǎn)危險(xiǎn)。危險(xiǎn)在哪呢？ 首先，如果把當(dāng)時(shí)搜索業(yè)務(wù)需要的流式計(jì)算比作汽車(chē)發(fā)動(dòng)機(jī)的話，蔣曉偉想要研制的發(fā)動(dòng)機(jī)，是豪華到可以用到下一代宇宙飛船上的“核能發(fā)動(dòng)機(jī)”。自己團(tuán)隊(duì)支持的這攤子業(yè)務(wù)目前根本不需要這么好的引擎。 其次，研究這個(gè)引擎的基本動(dòng)力居然是“美感”。出于美感開(kāi)發(fā)一個(gè)計(jì)算引擎，這種動(dòng)機(jī)天然就有一種理想主義氣質(zhì)。。。能不能研究成，那只有天知道。 再說(shuō)，面對(duì)這么宏大的任務(wù)，手下能用來(lái)做研發(fā)的團(tuán)隊(duì)，只有五個(gè)人。況且這五個(gè)兄弟還有日常的任務(wù)，人手極度短缺。 “但馬老師不是說(shuō)了么，夢(mèng)想還是要有的，萬(wàn)一實(shí)現(xiàn)了呢？” 剛剛加入阿里的蔣曉偉倒是決心已定。 
（2） 蔣曉偉“能用”的團(tuán)隊(duì)，全員都在北京。 這個(gè)小分隊(duì)的老大叫做王峰。王峰是個(gè)老阿里了，2006年加入阿里巴巴，在阿里北京的雅虎中國(guó)團(tuán)隊(duì)做搜索，后來(lái)又做過(guò)一淘和淘寶搜索。此時(shí)此刻，他和北京的幾個(gè)兄弟主要負(fù)責(zé)一個(gè)開(kāi)放搜索項(xiàng)目的離線系統(tǒng)。 聽(tīng)到蔣曉偉對(duì)于“流式計(jì)算引擎”的描述，王峰內(nèi)心驚呼“臥槽”。對(duì)于一個(gè)合格技術(shù)宅來(lái)說(shuō)，一個(gè)好的技術(shù)構(gòu)想比萌妹子更能讓他動(dòng)心。 蔣曉偉和王峰一合計(jì)，事情很簡(jiǎn)單：腳踩兩只船，那基本沒(méi)戲。要么就趁早死心，放棄新引擎研發(fā)；要么就大家就把舊工作完全交出去，破釜沉舟干票大的。 王峰的決定是，干！ 
現(xiàn)在的王峰， 笑起來(lái)一幅波瀾不驚， 當(dāng)年內(nèi)心也是慌得一批。 王峰回憶，領(lǐng)導(dǎo)們覺(jué)得很不可思議。因?yàn)榻怀鲈械臉I(yè)務(wù)，北京這個(gè)小團(tuán)隊(duì)相當(dāng)于“失業(yè)”了。而新的研究——流式計(jì)算引擎——當(dāng)時(shí)只是個(gè)構(gòu)想，連技術(shù)方向也沒(méi)有，代碼更是一行都還沒(méi)寫(xiě)。對(duì)于王峰來(lái)說(shuō)，這相當(dāng)于一次破釜沉舟的內(nèi)部創(chuàng)業(yè)，前途未卜，兇險(xiǎn)異常。 事實(shí)也證明，別人的擔(dān)心都是對(duì)的。一開(kāi)始團(tuán)隊(duì)努著勁兒寫(xiě)了三個(gè)月代碼，仍然沒(méi)辦法達(dá)到蔣曉偉理想中的通用性，連他本人都有點(diǎn)心虛。 “我剛來(lái)阿里巴巴，就忽悠兄弟們把之前的項(xiàng)目都放棄了，要是最后證明我的構(gòu)想是個(gè)坑，那不是害了別人么。。?！彼搿?/p> 焦急之中，已經(jīng)到了 2015 年夏天，蔣曉偉突然在業(yè)內(nèi)著名的大數(shù)據(jù)峰會(huì) Hadoop Sumit 的論壇上看到有人發(fā)表了一個(gè)驚悚的評(píng)論：感覺(jué) Flink 出來(lái)之后，Hadoop 就顯得不怎么需要了。。。 Hadoop 是當(dāng)年最火的大數(shù)據(jù)分布式架構(gòu)，這個(gè) Flink 是個(gè)神馬，根本沒(méi)聽(tīng)過(guò)啊。但是當(dāng)蔣曉偉、王峰和團(tuán)隊(duì)研究完技術(shù)資料之后突然發(fā)現(xiàn)，這種“用流式計(jì)算來(lái)等效一切計(jì)算”的理念不就和我們想開(kāi)發(fā)的那套引擎一模一樣嗎？ 蔣曉偉仰天長(zhǎng)嘯： 真是天助我也！既然已經(jīng)有開(kāi)源的技術(shù)，那么我們只要在此之上繼續(xù)開(kāi)發(fā)流計(jì)算引擎就好了??！ 這里多介紹一句。Flink 是一個(gè)流式計(jì)算的開(kāi)源框架，2010 年誕生于德國(guó)研究中心和柏林工業(yè)大學(xué)，2014年被捐贈(zèng)給 Apache 基金會(huì)，并由創(chuàng)始公司 DataArtisans 繼續(xù)運(yùn)營(yíng)。 Flink 的 Logo 是一只眼神里有故事的松鼠。 簡(jiǎn)單來(lái)說(shuō)，2015年的時(shí)候，F(xiàn)link 剛剛“出道”一年，幾乎沒(méi)有人知道，更沒(méi)有人大規(guī)模使用。就像一個(gè)剛剛畢業(yè)的大學(xué)生，看上去很有潛力，但“穩(wěn)定性”和“實(shí)用性”都缺乏事實(shí)驗(yàn)證。 就這樣，這幫阿里巴巴的技術(shù)專家，成為了全球第一批使用 Flink 框架做大數(shù)據(jù)引擎研發(fā)的人，蔣曉偉一瞬間就給自己的引擎起好了名字——“Blink”。這是英文眨眼的意思?！币徽Ｑ郏袞|西都計(jì)算好了！“ 2015年底，搜索部門(mén)要向阿里巴巴 CTO 行癲匯報(bào)。每人20分鐘時(shí)間，結(jié)果蔣曉偉上去講 Blink，沉浸在對(duì)這個(gè)“完美引擎”的想象中，一下就說(shuō)了40分鐘。 作為阿里巴巴所有核心技術(shù)的掌門(mén)人，行癲素來(lái)對(duì)新技術(shù)很敏感。他聽(tīng)懂了蔣曉偉的技術(shù)路線，內(nèi)心也覺(jué)得相當(dāng)靠譜。但這畢竟是搜索團(tuán)隊(duì)自己“偷偷”搞的項(xiàng)目，這幫兄弟究竟可以堅(jiān)持走多遠(yuǎn)，行癲心里也沒(méi)底。于是鼓勵(lì)蔣曉偉說(shuō)：“那就等你們明年做出來(lái)，我們?cè)倏?！?/p> 
阿里巴巴 CTO 行癲 張建鋒 （3） 說(shuō)到底，Blink 是一個(gè)通用引擎。它就像一個(gè)萬(wàn)能發(fā)動(dòng)機(jī)，可以裝載到轎車(chē)、卡車(chē)、飛機(jī)、火箭任何地方。 蔣曉偉手握這臺(tái)“萬(wàn)能發(fā)動(dòng)機(jī)”的1.0版本，到處去找車(chē)實(shí)驗(yàn)。他盯上的“第一批車(chē)”，就是搜索業(yè)務(wù)中的使用場(chǎng)景。 簡(jiǎn)單科普一下： 搜索業(yè)務(wù)的機(jī)器學(xué)習(xí)平臺(tái)內(nèi)部代號(hào)叫“保時(shí)捷”（還真是一輛車(chē)。。。），可以根據(jù)你瀏覽商品的時(shí)間和動(dòng)作，實(shí)時(shí)判斷出你可能會(huì)對(duì)什么感興趣，從而在下一秒就能給你智能推薦可能喜歡的商品。這是阿里巴巴非常有技術(shù)含量的一個(gè)應(yīng)用。 實(shí)際上，機(jī)器學(xué)習(xí)平臺(tái)當(dāng)時(shí)已經(jīng)“心有所屬”，配有一臺(tái)流式計(jì)算引擎——之前王峰帶領(lǐng)搜索團(tuán)隊(duì)自研的 iStream。iStream 是專門(mén)為搜索設(shè)計(jì)的，雖然目前可以很好地完成任務(wù)，但結(jié)構(gòu)簡(jiǎn)單，不具有特別強(qiáng)的通用性。 機(jī)器學(xué)習(xí)算法團(tuán)隊(duì)的一位負(fù)責(zé)人仁基，技術(shù)思想非常超前，非常巧的是，他同樣是個(gè)執(zhí)著于“美感”的人。他相信，未來(lái) Flink 很可能會(huì)成為下一代機(jī)器學(xué)習(xí)算法重要的底層計(jì)算框架，于是在 Blink 系統(tǒng)研發(fā)的早期，就把團(tuán)隊(duì)里一百多位算法工程師的力量都用來(lái)配合蔣曉偉。 “一兩百人的團(tuán)隊(duì)，被我一個(gè)人折騰?！被貞浀竭@里，蔣曉偉露出了羞赧的表情。 說(shuō)得很美好，結(jié)果真拿來(lái) Blink 一用，動(dòng)不動(dòng)就躺尸。。。說(shuō)實(shí)話，算法工程師沒(méi)有義務(wù)為 Blink 的技術(shù)問(wèn)題買(mǎi)單。畢竟算法工程師是“生產(chǎn)汽車(chē)的”，而 Blink 這個(gè)“發(fā)動(dòng)機(jī)”質(zhì)量不穩(wěn)定，導(dǎo)致人家的汽車(chē)備受詬病，可以說(shuō)相當(dāng)冤枉了。 所以那幾個(gè)月一百多位算法工程師的日常就是各種吐槽“瘋子”蔣曉偉。 后來(lái)蔣曉偉才知道，這些吐槽，全都被仁基扛下來(lái)。仁基盡自己一切所能，在保護(hù)著這個(gè)弱小的 Blink。 終于，2016年5月，第一個(gè)基于 Blink 的機(jī)器學(xué)習(xí)小功能“A/B Testing”上線。雖然還存在一些青澀的小毛病，但所有的技術(shù)人都看到了，Blink 已經(jīng)像會(huì)呼吸的小獸一樣，泛出誘人的引擎光澤。 最激動(dòng)的，當(dāng)然是蔣曉偉本人。 他把自己在 Flink 上成功的應(yīng)用作為一個(gè)演講，投給了當(dāng)年的 Hadoop Sumit 大會(huì)。非常巧，F(xiàn)link 的創(chuàng)始人 Kostas 和 Stephan 也在同一個(gè)大會(huì)上有一個(gè)演講。他們兩撥人實(shí)際是那次 Hadoop 大會(huì)上唯二的 Flink 演講。 Kostas 提前看到了議程，頓感相見(jiàn)恨晚，于是主動(dòng)聯(lián)系了蔣曉偉，希望他能用團(tuán)隊(duì)研究的成果影響社區(qū)。 “本來(lái)之前是想自己玩玩的，我們連阿里都不敢影響，還敢影響社區(qū)？”蔣曉偉說(shuō)。但是 Kostas 和 Stephan 覺(jué)得這群阿里人的嘗試簡(jiǎn)直不要太酷，特別支持。 蔣曉偉深受感動(dòng)，“從那時(shí)候開(kāi)始就覺(jué)得，我們不僅得把阿里內(nèi)部的業(yè)務(wù)做好，還要為 Flink 社區(qū)做貢獻(xiàn)，把 Flink 社區(qū)做好。” 就這樣，蔣曉偉和團(tuán)隊(duì)就跟組織“接上了頭”，成為了 Flink 社區(qū)的核心成員。 
Flink 創(chuàng)始人 Kostas 這么帥還來(lái)搞技術(shù) 可以說(shuō)是相當(dāng)想不開(kāi)了 （4） 在搜索團(tuán)隊(duì)內(nèi)部證明了 Blink 能力，又得到了 Flink 社區(qū)的認(rèn)可，蔣曉偉終于有資格正視自己的“野心”了。 他提出要讓 Blink 支撐“雙11”上的實(shí)時(shí)機(jī)器學(xué)習(xí)任務(wù)，對(duì)方同意了。 也就是說(shuō)，雙11當(dāng)天，數(shù)億人在淘寶天貓搜索商品，他們的每次查看，點(diǎn)擊，都會(huì)影響個(gè)性化的智能推薦，在下一秒就能看到為自己量身定做的寶貝推薦。而這背后的實(shí)時(shí)計(jì)算，都要由 Blink 來(lái)支撐。 然而抬眼一看，夏天已經(jīng)到了，距離雙11只有不到半年了。 整個(gè)九、十月份，Blink 和機(jī)器學(xué)習(xí)系統(tǒng)的聯(lián)調(diào)都處在各種花式崩潰之中。Blink 還小，壓根就沒(méi)見(jiàn)過(guò)雙十一這種“人類狂歡”的陣仗。出現(xiàn)了一個(gè)死結(jié)：一旦超大規(guī)模數(shù)據(jù)進(jìn)來(lái)，Blink 的性能立刻大幅下降。 要知道，在 AI 領(lǐng)域，性能就是功能。性能大幅下降的 Blink 分分鐘就把人工智能坑成“人工智障”。 老程序猿都知道，數(shù)據(jù)規(guī)模是對(duì)一個(gè)系統(tǒng)最大的考驗(yàn)。一個(gè)系統(tǒng)承受不住大規(guī)模的數(shù)據(jù)浪潮，有可能證明這個(gè)架構(gòu)就是無(wú)解的。如果真是架構(gòu)缺陷，那么解決方案只有一個(gè)：放棄。 帶領(lǐng)團(tuán)隊(duì)攻堅(jiān)的王峰回憶，那幾天“自己已經(jīng)崩潰了”。 十一假期，所有團(tuán)隊(duì)的人都從北京沖到了杭州，別說(shuō)休假，連覺(jué)都不睡了。六七個(gè)人就在工位上吃住，尋找究竟是哪個(gè)節(jié)點(diǎn)出了問(wèn)題。即使是面對(duì)這樣的情況，蔣曉偉、王峰，還有其他同事都完全相信，F(xiàn)link 架構(gòu)是完美的，問(wèn)題一定是局部的可解的，只是我們還沒(méi)找到它。
終于，問(wèn)題找到了！是不同層級(jí)算子之間的調(diào)度模式需要優(yōu)化。解決這個(gè)問(wèn)題之后，系統(tǒng)能處理的數(shù)據(jù)量立刻躍升。十月中旬，Blink 正式切上線。本以為劫波渡盡，沒(méi)成想又是一大堆系統(tǒng)配合的問(wèn)題接踵而來(lái)。 蔣曉偉記得，將近11月，Blink 還有一些問(wèn)題沒(méi)搞定。這邊基礎(chǔ)引擎不搞定，算法團(tuán)隊(duì)就沒(méi)辦法在它的基礎(chǔ)上調(diào)優(yōu)雙11的算法。到最后，算法團(tuán)隊(duì)的老大都直接找到蔣曉偉，著急地質(zhì)問(wèn)：“你們究竟是怎么回事啊？” 現(xiàn)在想想，他的意思可能是想讓我別折騰，直接換回去年的舊系統(tǒng)。但我的情商低，當(dāng)時(shí)沒(méi)聽(tīng)明白。就是一門(mén)心思地組織大家調(diào)優(yōu) Blink。。。 蔣曉偉回憶。 終于趕在11月前，Blink 完成了聯(lián)調(diào)。原則上，從11月1日開(kāi)始，雙11的系統(tǒng)就要封閉代碼，誰(shuí)都不能動(dòng)了。但是，這是 Blink 第一次承擔(dān)這么重大的任務(wù)，為了萬(wàn)無(wú)一失，相關(guān)團(tuán)隊(duì)又提了很多冗余性的建議。 王峰記得很清楚，一直到11月10日，還有幾個(gè)小時(shí)雙11就開(kāi)始了，代碼還最后改了幾行，最終封閉。 人事已盡，唯聽(tīng)天命。 11月11日，巨大的數(shù)據(jù)像海嘯一樣涌向 Blink，蔣曉偉和王峰都捏了一把汗。然而，這個(gè)年輕的引擎應(yīng)對(duì)自如。 第二天，Blink 在阿里巴巴一炮而紅。
2016年“雙11” 交易額定格在1207億 （5） 你以為故事結(jié)束了么？圖樣圖森破。緊隨而來(lái)的 2017 年對(duì)于蔣曉偉來(lái)說(shuō)，簡(jiǎn)直不要更刺激。 意識(shí)到大數(shù)據(jù)引擎這么重要，阿里巴巴集團(tuán)決定調(diào)整組織架構(gòu)，集全公司之力發(fā)展大數(shù)據(jù)引擎，由原阿里云的首席科學(xué)家周靖人組建計(jì)算平臺(tái)事業(yè)部，在流式計(jì)算方面，把公司發(fā)展最好的三個(gè)引擎團(tuán)隊(duì)合三為一。 
周靖人 他也是阿里巴巴達(dá)摩院的“禪師”之一 這三個(gè)引擎分別是：阿里中間件團(tuán)隊(duì)的 JStorm、阿里云的 Galaxy、阿里巴巴搜索團(tuán)隊(duì)的 Blink。 得知大牛周靖人負(fù)責(zé)整合三個(gè)團(tuán)隊(duì)，正在美國(guó)參加 Flink 官方大會(huì) Flink Foward 的蔣曉偉和王峰內(nèi)心有點(diǎn)波瀾。他們知道，三個(gè)隊(duì)伍合并之后，很可能在三條技術(shù)路線之中選擇一條。 蔣曉偉當(dāng)然覺(jué)得自己的開(kāi)源技術(shù)路線技術(shù)前景最好。但平心而論，Galaxy 的框架同樣非常優(yōu)秀。更關(guān)鍵的問(wèn)題在于，Galaxy 一直是周靖人團(tuán)隊(duì)的成果。雖然在阿里巴巴不會(huì)出現(xiàn)因?yàn)橛H疏遠(yuǎn)近而偏袒某個(gè)技術(shù)路線，但不可否認(rèn)周靖人一定對(duì)于 Galaxy 更為熟悉。 那時(shí)的蔣曉偉，和這個(gè)即將成為新領(lǐng)導(dǎo)的周靖人完全不熟悉，他完全無(wú)法預(yù)測(cè)將會(huì)發(fā)生什么。 我擔(dān)心，不會(huì)一回到國(guó)內(nèi)，就沒(méi)工作了吧。。。。 蔣曉偉回憶。 回國(guó)之后，周靖人來(lái)找蔣曉偉，蔣曉偉的心已經(jīng)快跳到嗓子眼了。周靖人說(shuō)：“我想把整合之后的團(tuán)隊(duì)交給你來(lái)負(fù)責(zé)，你們?nèi)艘黄鹕塘课磥?lái)的技術(shù)路線，你覺(jué)得怎么樣？” 這意味著，蔣曉偉突然擁有了80人的豪華陣容。那一瞬間他在心里默念：“穩(wěn)了！”只要不是強(qiáng)制采用某個(gè)技術(shù)路線，他就有信心說(shuō)服 Galaxy 和 JStorm 的負(fù)責(zé)人。技術(shù)擺在這里，孰優(yōu)孰劣是能講得清道理的。 蔣曉偉回憶，三個(gè)技術(shù)負(fù)責(zé)人的“談判”整整維持了一周。 大家都知道，這次技術(shù)路線的抉擇，將會(huì)影響阿里巴巴未來(lái)十年甚至更遠(yuǎn)的技術(shù)發(fā)展，誰(shuí)都不敢掉以輕心。 談到最后，爭(zhēng)奪的焦點(diǎn)就集中在 Blink 和 Galaxy 之間。 Flink 的開(kāi)源生態(tài)，最終說(shuō)服了Galaxy 的支持者。此時(shí)的 Flink 已經(jīng)不像兩年那樣鮮有人問(wèn)津，而是已經(jīng)形成了巨大的社區(qū)，中國(guó)已經(jīng)有騰訊、滴滴、美團(tuán)等公司開(kāi)始用 Flink 建造自己的流式計(jì)算引擎。 在這個(gè)社區(qū)里，會(huì)有無(wú)數(shù)國(guó)內(nèi)外大牛對(duì) Flink 的代碼做貢獻(xiàn)。建立在這個(gè)開(kāi)源基座上的架構(gòu)，也會(huì)發(fā)展得更快速。 至此，Blink 正式成為了阿里巴巴計(jì)算引擎的王牌軍。 
Flink 社區(qū)逐漸聲勢(shì)浩蕩 （6） 王牌軍可不是白當(dāng)?shù)摹?/p> 2017年雙十一，Blink 領(lǐng)到了自己的艱巨任務(wù)——支持全集團(tuán)（阿里巴巴、阿里云、菜鳥(niǎo)）的流式計(jì)算任務(wù)。 王峰告訴我，其實(shí)2016年雙11 Blink 承擔(dān)的搜索任務(wù)，已經(jīng)是一個(gè)重頭戲，有過(guò)這個(gè)經(jīng)歷墊底，再適配很多系統(tǒng)的時(shí)候只不過(guò)是麻煩一點(diǎn)而已。唯獨(dú)有一樣：Blink 要接管后臺(tái)所有的交易數(shù)據(jù)的實(shí)時(shí)計(jì)算任務(wù)。 交易數(shù)據(jù)計(jì)算，是淘寶天貓業(yè)務(wù)的最核心。也是支撐背后支付、物流的核心依據(jù)。 很多其他的計(jì)算都要基于訂單數(shù)據(jù)的結(jié)果。這就像面包店的面粉一樣，無(wú)論你做什么蛋糕，都需要面粉。如果面粉的供應(yīng)出問(wèn)題，那整個(gè)面包店就要關(guān)門(mén)了。所以無(wú)論面臨多大的訂單量，交易數(shù)據(jù)計(jì)算必須穩(wěn)定、快速、實(shí)時(shí)。一旦出現(xiàn)錯(cuò)誤，損失無(wú)可估量。 每年雙十一狂歡晚會(huì)上的那塊大屏幕上顯示的實(shí)時(shí)成交數(shù)字，也是由訂單數(shù)據(jù)匯總而成的。也就是說(shuō)，如果 Blink 當(dāng)天掛掉，不僅對(duì)淘寶天貓的運(yùn)轉(zhuǎn)影響巨大，還會(huì)導(dǎo)致一個(gè)略為明顯的結(jié)果：成交量大屏一直維持“0”，一秒把人丟到全球無(wú)死角。 2014、2015、2016 這三年，這個(gè)核心任務(wù)都是由兄弟引擎 Galaxy 來(lái)承擔(dān)的。 所有人都想到一個(gè)穩(wěn)妥的方案：2017年“雙11”讓 Blink 和準(zhǔn)備退役的 Galaxy 來(lái)個(gè)雙備份，如果 Blink 臨時(shí)廢掉，還可以用 Galaxy 作為備份頂上，至少不會(huì)丟人。 然鵝，2016年雙11的成交量是1207億元，按照歷年經(jīng)驗(yàn)推測(cè)，2017年的成交量八成是會(huì)超過(guò)1500億的（事實(shí)證明確實(shí)如此，達(dá)到了1682億）。而根據(jù) Galaxy 的技術(shù)架構(gòu)，如果不做大量繁瑣的優(yōu)化，很可能頂不住。 初出茅廬的 Blink，就這樣成為 2017 年雙11媒體大屏“全球指定唯一必須頂上不干不行合作伙伴”。。。 雙11 當(dāng)天，兩條 Blink 鏈路互為備份?！半m然成功率基本是100%，但萬(wàn)里有一，假設(shè) Blink 本身設(shè)計(jì)存在未知的缺陷，或者兩條備份鏈路的機(jī)器硬件同時(shí)壞掉，都可能導(dǎo)致災(zāi)難?！笔Y曉偉回憶。 在雙11到來(lái)前一周，王峰帶領(lǐng)兄弟們已經(jīng)把 Blink 引擎調(diào)整到無(wú)以復(fù)加的好狀態(tài)。蔣曉偉想了想，又派同樣是 Facebook 回來(lái)的大牛工程師大沙去天竺法喜寺燒了一炷香。。。 2017年11月11日零點(diǎn)?？駳g現(xiàn)場(chǎng)。 時(shí)鐘敲響零點(diǎn)，然后出現(xiàn)五秒倒計(jì)時(shí)。按照流程，留給 Blink 的計(jì)算時(shí)間只有這五秒。也就是說(shuō)，00:00:05 的時(shí)候，無(wú)論如何大屏幕都會(huì)切到 Blink 給出的雙11前五秒交易總額。 這五秒，幾乎是蔣曉偉人生當(dāng)中最漫長(zhǎng)的五秒。 1、2、3。。。 第三秒的時(shí)候，蔣曉偉面前的監(jiān)視器跳出了實(shí)時(shí)成交數(shù)據(jù)！再兩秒之后，實(shí)時(shí)交易數(shù)據(jù)被投上大屏，穹頂之下，歡聲雷動(dòng)。 蔣曉偉知道，現(xiàn)場(chǎng)觀眾并不一定理解大屏運(yùn)行原理，內(nèi)心也并沒(méi)有特地把一份掌聲送給幕后的流式計(jì)算引擎團(tuán)隊(duì)。 但那一刻，他熱淚盈眶。這幾年兄弟們付出的努力值了。 
168,269,635,159。每一個(gè)數(shù)字，對(duì)蔣曉偉和兄弟們都意味著歲月和付出。 （7） 經(jīng)過(guò)兩年雙11的考驗(yàn)，已經(jīng)沒(méi)人懷疑 Blink 是阿里巴巴最強(qiáng)悍的計(jì)算引擎之一。 所以，不僅阿里巴巴集團(tuán)所有用到流式計(jì)算的場(chǎng)景都會(huì)選用 Blink，Blink 還開(kāi)始對(duì)外提供服務(wù)。雖然在蔣曉偉看來(lái)，各個(gè)場(chǎng)景的計(jì)算都可以用 Blink 來(lái)解決，但目前被應(yīng)用最多的場(chǎng)景有如下幾個(gè)： 1、實(shí)時(shí)統(tǒng)計(jì)分析。 在電商行業(yè)，尤其是促銷(xiāo)的場(chǎng)景中，巨大的網(wǎng)絡(luò)流量涌來(lái)，形勢(shì)變幻莫測(cè)。每一秒的庫(kù)存統(tǒng)計(jì)、訂單報(bào)表，都能揭示出用戶的行為規(guī)律。對(duì)這些數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，就能隨時(shí)調(diào)整促銷(xiāo)策略。 2、在線機(jī)器學(xué)習(xí)。 用戶的行為會(huì)展現(xiàn)出他的性格和偏好，用機(jī)器學(xué)習(xí)分析一個(gè)人瀏覽商品的姿勢(shì)，就能為他精準(zhǔn)推薦可能感興趣的商品。 但是，可能一個(gè)用戶只瀏覽一分鐘，如果在這個(gè)時(shí)間段內(nèi)沒(méi)有能夠吸引他的商品，它就會(huì)退出。所以必須在一秒鐘之內(nèi)，對(duì)他剛才的動(dòng)作進(jìn)行實(shí)時(shí)學(xué)習(xí)，才能保證他第一時(shí)間看到感興趣的寶貝。 3、實(shí)時(shí)金融風(fēng)控。 在金融領(lǐng)域，技術(shù)就是金錢(qián)。每成功阻斷一次欺詐交易，就等于挽回了真金白銀。通過(guò)對(duì)一個(gè)賬戶實(shí)時(shí)行為的分析，就可以知道現(xiàn)在它有沒(méi)有進(jìn)行危險(xiǎn)交易，從而在第一時(shí)間阻斷。 4、IoT 邊緣計(jì)算。 在工廠中，每臺(tái)生產(chǎn)線都會(huì)隨時(shí)產(chǎn)生數(shù)據(jù)，如果可以實(shí)時(shí)對(duì)這些數(shù)據(jù)進(jìn)行分析，就可以減少生產(chǎn)線的損壞幾率，提高產(chǎn)品的良品率。 
根據(jù)參數(shù)實(shí)時(shí)調(diào)整生產(chǎn)線 如此，才有了開(kāi)頭一幕所說(shuō)：阿里云承建的城市大腦，可以利用 Blink 來(lái)預(yù)測(cè)道路擁堵，為救護(hù)車(chē)開(kāi)拓生命道路。 根據(jù)阿里云首席科學(xué)家閔萬(wàn)里博士的介紹： 2018年，城市大腦第一次出國(guó)，被部署在馬來(lái)西亞吉隆坡，把救護(hù)車(chē)到達(dá)現(xiàn)場(chǎng)的時(shí)間縮短了 48.9%。 借助工業(yè)大腦，流式計(jì)算實(shí)時(shí)判斷生產(chǎn)線的健康狀況，幫助世界第一大光伏企業(yè)協(xié)鑫光伏提高了良品率1%，每年可以節(jié)省上億元的無(wú)謂浪費(fèi)。 2018年12月20日，阿里巴巴將 Flink 的旗艦會(huì)議 Flink Foward 第一次引入中國(guó)，現(xiàn)場(chǎng)座無(wú)虛席。蔣曉偉、王峰和流式計(jì)算團(tuán)隊(duì)的每一個(gè)人，在過(guò)去的三年都親眼見(jiàn)證了 Flink 從踽踽獨(dú)行到集結(jié)成軍。 
Flink Forward 2018 北京 為了感謝社區(qū)的幫助，在這次會(huì)議上周靖人宣布，在未來(lái)會(huì)把基于 Flink 修改的 Blink 流式計(jì)算引擎開(kāi)源。從2019年1月開(kāi)始，所有人都可以查閱這個(gè)支持了雙11、支持了城市大腦、支持了工業(yè)IoT等無(wú)數(shù)頂級(jí)計(jì)算的引擎代碼。 也就是在這一年，王峰正式接替蔣曉偉，成為流式計(jì)算的新掌門(mén)。而蔣曉偉則朝著他的“完美夢(mèng)想”更進(jìn)一步，帶著一幫兄弟在此基礎(chǔ)上研究“帶有流式計(jì)算引擎的數(shù)據(jù)存儲(chǔ)系統(tǒng)”——交互式查詢系統(tǒng)，讓這個(gè)引擎能夠解決更多通用的計(jì)算問(wèn)題。 帶有流式計(jì)算引擎的數(shù)據(jù)存儲(chǔ)系統(tǒng)，聽(tīng)起來(lái)有些不知所云。其實(shí)，這個(gè)世界上最經(jīng)典的這類系統(tǒng)，其實(shí)就是我們的大腦。 我們一生中會(huì)接受各種信息，這些信息共同構(gòu)成大腦的資料庫(kù)，幫助我們預(yù)測(cè)未來(lái)。每當(dāng)有新的信息進(jìn)來(lái)，我們都會(huì)根據(jù)這一點(diǎn)點(diǎn)信息增量微調(diào)我們對(duì)于未來(lái)的預(yù)測(cè)。 
這種調(diào)整，毫無(wú)疑問(wèn)是實(shí)時(shí)的。我們的祖先不小心觸摸野火，從那一刻開(kāi)始就會(huì)告訴自己和家人小心火焰。 我們依靠對(duì)世界的萬(wàn)億次反饋，發(fā)現(xiàn)了萬(wàn)有引力，發(fā)現(xiàn)了相對(duì)論，發(fā)現(xiàn)了量子力學(xué)。 正是千萬(wàn)人實(shí)時(shí)更新的預(yù)測(cè)能力，構(gòu)成了我們的文明，也書(shū)寫(xiě)了我們的歷史。 以前，所有關(guān)于未來(lái)的預(yù)測(cè)都在我們的腦海里，如今，我們終于有機(jī)會(huì)在軀體之外，利用人類的武器——計(jì)算力——建造起一個(gè)碩大的預(yù)測(cè)引擎。 角落里，這些技術(shù)英雄笑起來(lái)安靜而羞澀。但正因他們存在，人類面對(duì)未來(lái)，再也不是手無(wú)寸鐵。 
| 
