CubeFS 是國(guó)內(nèi)首個(gè)云原生開源分布式存儲(chǔ)產(chǎn)品,2019 年開源并捐贈(zèng)托管至云原生計(jì)算基金會(huì)(CNCF),2020 年 10 月 OPPO 開始主導(dǎo) CubeFS 社區(qū)運(yùn)營(yíng)與版本迭代,累計(jì)發(fā)布 7 個(gè) release 版本。在 OPPO 的全力推進(jìn)下,CubeFS 于 2022 年 6 月進(jìn)入 CNCF 孵化階段。

本文,我們與 CubeFS Maintainer OPPO 的何小春進(jìn)行了對(duì)話,共同探討 CubeFS 的技術(shù)演進(jìn)及云原生存儲(chǔ)技術(shù)的發(fā)展方向。

云原生存儲(chǔ)技術(shù)“越來越分布式”

隨著云計(jì)算時(shí)代的到來,5G 等場(chǎng)景下的大規(guī)模數(shù)據(jù)存儲(chǔ)成為常態(tài),超大容量、快速變化的 I/O 需求,對(duì)存儲(chǔ)的彈性、運(yùn)維及 TCO 都提出了更高要求。傳統(tǒng)存儲(chǔ)的緊耦合特點(diǎn)、煙囪式架構(gòu)以及高昂的價(jià)格愈來愈無法滿足企業(yè)的發(fā)展需要,于是基于分布式架構(gòu)的軟件定義存儲(chǔ)(SDS)登上舞臺(tái)。

我們從 SNIA 提出的 SDS 應(yīng)具備的特性可以看出,其最大優(yōu)勢(shì)是實(shí)現(xiàn)軟硬件的解耦,能夠打破對(duì)于存儲(chǔ)或傳統(tǒng)存儲(chǔ)的硬件依賴。而分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,既可提高系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展,能很好滿足 SDS 的需求。

據(jù) IDC 預(yù)測(cè),2017—2022 年全球 SDS 市場(chǎng)規(guī)模平均增速達(dá)到 14.7%,國(guó)內(nèi) SDS 市場(chǎng)規(guī)模平均增速為 32.5%。我們可以清楚看到,SDS 呈現(xiàn)了從集中式逐漸過渡到分布式的趨勢(shì)。

智研咨詢發(fā)布的《2021-2027 年中國(guó)分布式存儲(chǔ)行業(yè)市場(chǎng)研究分析及投資戰(zhàn)略規(guī)劃報(bào)告》顯示,2020 年我國(guó)分布式存儲(chǔ)行業(yè)市場(chǎng)規(guī)模 102.9 億元,同比增長(zhǎng)47%,其中分布式文件規(guī)模 48.36 億元,成為市場(chǎng)主導(dǎo)。

行業(yè)趨勢(shì)已然明了,但業(yè)內(nèi)鮮有已投入生產(chǎn)且歷經(jīng)大規(guī)模流量考驗(yàn)的分布式存儲(chǔ)系統(tǒng)可供選擇, CubeFS 是其中一個(gè)。

存儲(chǔ)技術(shù)革新:CubeFS 正式進(jìn)入孵化階段

CubeFS 作為國(guó)內(nèi)首個(gè)開源分布式存儲(chǔ)系統(tǒng),2019 年由京東捐贈(zèng)給云原生計(jì)算基金會(huì),同期 OPPO 在大規(guī)模機(jī)器學(xué)習(xí)、大數(shù)據(jù)存儲(chǔ)和其他傳統(tǒng)的IT應(yīng)用方面,對(duì)文件以及對(duì)象存儲(chǔ)有強(qiáng)烈的需求,在經(jīng)歷 Ceph、HDFS 等多次技術(shù)選型后,OPPO 引入 CubeFS 并于 2020 年 10 月起,開始大量投入并全面主導(dǎo) CubeFS 的社區(qū)運(yùn)營(yíng)與版本迭代。

何小春談起 OPPO 的存儲(chǔ)系統(tǒng)選型時(shí)說道,“我們需要一個(gè)在生產(chǎn)上真正好用的產(chǎn)品,一個(gè)在系統(tǒng)穩(wěn)定性、可擴(kuò)展性、IO 性能以及可維護(hù)性方面都表現(xiàn)優(yōu)秀的產(chǎn)品,我們當(dāng)時(shí)調(diào)研了許多行業(yè)里的產(chǎn)品,發(fā)現(xiàn) CubeFS 最符合我們的業(yè)務(wù)需求,于是把產(chǎn)品引進(jìn)來,并且投入了大量的研發(fā)人力,和社區(qū)伙伴一起共建 CubeFS?！?/p>

CubeFS 在進(jìn)入孵化階段之前,OPPO 在對(duì)產(chǎn)品的穩(wěn)定性夯實(shí)、代碼規(guī)范、社區(qū)治理、用戶及開發(fā)者支持等方面做了很多工作。2020 年 10 月至今,OPPO 持續(xù)組織了多場(chǎng)社區(qū)例會(huì),公布開發(fā)計(jì)劃、認(rèn)真聽取了社區(qū)用戶的建議。同時(shí),OPPO 在整個(gè)產(chǎn)品文檔建設(shè)方面也投入了許多精力,外部伙伴擁有更好的使用體驗(yàn)。

歷經(jīng) 2 年,CubeFS 正式進(jìn)入孵化階段。CubeFS 在產(chǎn)品成熟度、項(xiàng)目采用率以及社區(qū)持續(xù)性等方面取得一系列進(jìn)展,目前已在 OPPO、京東、網(wǎng)易、360 等企業(yè)內(nèi)被大量應(yīng)用。歷經(jīng)多家公司多類業(yè)務(wù)負(fù)載的長(zhǎng)期考驗(yàn),CubeFS 的穩(wěn)定性、擴(kuò)展性、易運(yùn)維性、性能、成本優(yōu)勢(shì)等各項(xiàng)數(shù)據(jù)都可以證明,其已是一款真正實(shí)現(xiàn)“生產(chǎn)可用”的產(chǎn)品:

穩(wěn)定性:CubeFS 目前支撐著 OPPO 大數(shù)據(jù)、AI、云相冊(cè)等各個(gè)業(yè)務(wù)累計(jì) EB 級(jí)數(shù)據(jù)的存儲(chǔ);在其他公司的業(yè)務(wù)實(shí)踐中,存儲(chǔ)量也已達(dá)到數(shù)十 PB～百 PB 級(jí);CubeFS 穩(wěn)定性得到有效的驗(yàn)證。

高性能:在大/小文件讀寫、超大目錄訪問等場(chǎng)景都有優(yōu)秀的解決方案,具體可參考 https://cubefs.readthedocs.io/zh_CN/latest/evaluation.html#io

可運(yùn)維性:CubeFS 提供了易用的節(jié)點(diǎn)上下架、完整的指標(biāo)監(jiān)控、詳細(xì)的Log以及配套的運(yùn)維工具,讓運(yùn)維工作變得更簡(jiǎn)單高效;

高性價(jià)比:V3.0.0 版本發(fā)布的“在線糾刪碼”功能,對(duì)比之前的三副本存儲(chǔ),可有效降低存儲(chǔ)成本。OPPO 在使用EC引擎后,業(yè)務(wù)整體 TCO 下降超60%;CubeFS 可以直接支持高精尖的芯片業(yè)務(wù),比如支撐馬里亞納芯片設(shè)計(jì)的存儲(chǔ)系統(tǒng)就是CubeFS,維護(hù)成本高、響應(yīng)不及時(shí)、個(gè)性化需求難以滿足的問題都得到了解決。

對(duì)在分布式存儲(chǔ)方面有需求的企業(yè)和開發(fā)者而言,無論是底層引擎能力、元數(shù)據(jù)系統(tǒng)設(shè)計(jì)還是業(yè)務(wù)場(chǎng)景支撐維度上看,CubeFS 都可以很好的滿足。

在整個(gè) CubeFS 項(xiàng)目的開發(fā)過程中,作為 Maintainer 的何小春有許多啟發(fā),他認(rèn)為,在做存儲(chǔ)系統(tǒng)的技術(shù)選型時(shí),企業(yè)除了需要考慮系統(tǒng)的穩(wěn)定性、性能外,還要考慮成本與業(yè)務(wù)改造難度?！按鎯?chǔ)遷移的成本和風(fēng)險(xiǎn)都比較高,所以(某個(gè)系統(tǒng))如果能夠做到業(yè)務(wù)改造盡量小的話,用戶就能很好地做出選型決策。”

何小春的這些考慮也都被納入了 CubeFS 的設(shè)計(jì)之中。CubeFS 架構(gòu)設(shè)計(jì)簡(jiǎn)潔,對(duì)代碼質(zhì)量有良好把控,二次開發(fā)成本更低;采用存算分離架構(gòu)設(shè)計(jì),支持可水平擴(kuò)展的強(qiáng)一致性的元數(shù)據(jù)服務(wù),數(shù)據(jù)存儲(chǔ)支持多副本和糾刪碼兩種引擎。此外,CubeFS 還支持多級(jí)智能加速能力,支持標(biāo)準(zhǔn) S3、POSIX、HDFS 三種訪問協(xié)議,與K8s、容器生態(tài)有良好的兼容性。

CubeFS 的開發(fā)者文檔十分豐富,大大降低了企業(yè)和開發(fā)者的使用門檻。四個(gè)模塊+三個(gè)節(jié)點(diǎn)便可以將整個(gè)存儲(chǔ)集群搭建起來。如果使用“糾刪碼引擎”,模塊會(huì)多一些,但 CubeFS 開發(fā)團(tuán)隊(duì)也正在對(duì)糾刪碼架構(gòu)做進(jìn)一步優(yōu)化;從文檔方面針對(duì)存儲(chǔ)集群部署為運(yùn)維者提供了豐富易用的操作文檔。對(duì)于內(nèi)部已經(jīng)在運(yùn)行 CEPH、HDFS 或其他主流開源分布式存儲(chǔ)系統(tǒng)的企業(yè), CubeFS 同樣可以做到幾乎零改動(dòng)接入。

OPPO 的技術(shù)探索:億級(jí)數(shù)據(jù)湖背后的存儲(chǔ)技術(shù)

很多人都認(rèn)為“數(shù)據(jù)湖”是下一代大數(shù)據(jù)平臺(tái),各大云廠商也都陸續(xù)提出了自己的數(shù)據(jù)湖解決方案,而從 OPPO 也從主導(dǎo) CubeFS 項(xiàng)目后,就基于 CubeFS 對(duì)數(shù)據(jù)湖存儲(chǔ)技術(shù)進(jìn)行了探索。

數(shù)據(jù)湖最早是在 2010 年 10 月紐約 Hadoop World 大會(huì)上提出來的,在這樣的大背景下,數(shù)據(jù)湖與 Hadoop 總是要一起被提起的。在 Hadoop 這個(gè)原生生態(tài)下,數(shù)據(jù)湖技術(shù)目前主要存在三個(gè)問題,第一是存儲(chǔ)成本;第二是性能;第三個(gè)是業(yè)務(wù)側(cè)的使用體驗(yàn),于是 CubeFS 基于此提出了解決方案。

從成本方面,CubeFS 采存算分離的架構(gòu)設(shè)計(jì),各子系統(tǒng)可獨(dú)立擴(kuò)容;同時(shí)“在線糾刪碼引擎”可有效降低數(shù)據(jù)冗余度,節(jié)約存儲(chǔ)成本,還能有效提升數(shù)據(jù)的耐久度。在未來,CubeFS 還將提供更智能的冷熱分層能力,實(shí)現(xiàn)業(yè)務(wù)對(duì)對(duì)性能和成本雙重需求。

從性能方面,CubeFS 針對(duì)小文件做了許多針對(duì)性優(yōu)化,能夠提供很好的小文件讀寫性能。CubeFS 支持多種訪問協(xié)議,不同類型業(yè)務(wù)可以共享同一個(gè)存儲(chǔ)集群,結(jié)合精細(xì)化租戶隔離策略及不同租戶間潮汐訪問的特點(diǎn),可有效提升存儲(chǔ)集群關(guān)鍵資源( IO 和帶寬)利用率,降低運(yùn)營(yíng)成本。

至于用戶體驗(yàn),用戶通常指兩類人員。一類是運(yùn)維人員,從之前的要維護(hù)多套存儲(chǔ)集群變成只維護(hù) CubeFS 這一套集群,工作量大大降低,擴(kuò)容、縮容過程也更加智能自動(dòng)化,保證系統(tǒng)穩(wěn)定性的同時(shí),運(yùn)維工作也變得更便捷。另一類是終端用戶,CubeFS 提供的是統(tǒng)一數(shù)據(jù)底座和元數(shù)據(jù)管理,支持多種協(xié)議,極大程度上避免了用戶對(duì)底層數(shù)據(jù)做多次拷貝,大幅提升數(shù)據(jù)復(fù)用效率。

整體而言,CubeFS 對(duì)于數(shù)據(jù)湖的探索,主要集中在元數(shù)據(jù)管理、糾刪碼存儲(chǔ)與數(shù)據(jù)湖訪問加速。從元數(shù)據(jù)管理方面,CubeFS 內(nèi)存元數(shù)據(jù)分片通過 snapshot 方式持久化到磁盤以作備份及恢復(fù)使用。目前CubeFS單個(gè)目錄支持百萬級(jí)別容量,元數(shù)據(jù)全內(nèi)存化,保證優(yōu)秀的讀寫性能。

糾刪碼存儲(chǔ)技術(shù)(EC)作為 CubeFS 的核心技術(shù),目前已在 3.0 版本支持了,可有效降低海量數(shù)據(jù)的存儲(chǔ)成本。CubeFS 單集群支持 EB 規(guī)模,相比傳統(tǒng)的多副本存儲(chǔ),EC 的數(shù)據(jù)冗余度更低。其實(shí)現(xiàn)方式有多種,大多數(shù)是基于異或運(yùn)算或 RS 編碼。EC 的底層原理是“將 K 份原始數(shù)據(jù),通過編碼計(jì)算得到新的 M 份數(shù)據(jù),當(dāng) K+M 份數(shù)據(jù)丟失任意的不多于 M 份時(shí),通過解碼可還原出原始數(shù)據(jù)”,有效地實(shí)現(xiàn)故障容災(zāi)。

CubeFS 在數(shù)據(jù)湖訪問加速問題上提出了跨區(qū)域跨云的“多級(jí)緩存能力”和“謂詞下推操作”兩個(gè)解決方案。目前多級(jí)加速功能已上線,一級(jí)本地緩存與計(jì)算節(jié)點(diǎn)同機(jī)部署,支持元數(shù)據(jù)和數(shù)據(jù)緩存,支持內(nèi)存、PMem、NVme、HDD 不同類型介質(zhì),訪問時(shí)延低但容量少;二級(jí)全部分布式緩存副本數(shù)目彈性可變,提供機(jī)房位置感知能力,支持用戶/桶/對(duì)象級(jí)的主動(dòng)預(yù)熱和被動(dòng)緩存,數(shù)據(jù)淘汰策略也可配置。謂語下推操作策略顯著減少了存儲(chǔ)與計(jì)算節(jié)點(diǎn)間大量的數(shù)據(jù)流動(dòng),降低了資源開銷并提升計(jì)算性能。

談至此,何小春說到,“目前我們正在考慮解決“異構(gòu)存儲(chǔ)編排管理”問題,如把存量的文件或?qū)ο蟠鎯?chǔ)集群統(tǒng)一納入管理,減少數(shù)據(jù)搬遷,該特點(diǎn)預(yù)計(jì)年底發(fā)布?！?/p>

其實(shí) CubeFS 對(duì)于數(shù)據(jù)湖存儲(chǔ)的探索不僅如此,除了以上三個(gè)核心技術(shù),CubeFS 還正在設(shè)計(jì)一個(gè)基于混合云業(yè)務(wù)場(chǎng)景的架構(gòu);在產(chǎn)品特性方面推出了許多重要功能,如多版本快照、智能生命周期管理、數(shù)據(jù)容災(zāi)方面的跨區(qū)復(fù)制功能等。

關(guān)于 CubeFS 的未來,OPPO 有自己的想法

OPPO CubeFS 項(xiàng)目的 Maintainer 何小春提到 CubeFS 的未來規(guī)劃,“全力推動(dòng)并爭(zhēng)取在2年內(nèi)在 CNCF 畢業(yè)?！?/p>

為了順利從 CNCF 畢業(yè),CubeFS 將在核心重要特性、業(yè)務(wù)支撐范圍、低成本運(yùn)維能力建設(shè)等方面持續(xù)迭代與夯實(shí)。技術(shù)層面上主要進(jìn)行三大技術(shù)演進(jìn),第一,在數(shù)據(jù)湖與 AI 領(lǐng)域,持續(xù)優(yōu)化 CubeFS 的性能,為大數(shù)據(jù)及 AI 場(chǎng)景提供整體的存儲(chǔ)及加速能力;第二,CubeFS 將逐步從數(shù)據(jù)中心向邊緣設(shè)備進(jìn)行擴(kuò)展;第三,在混合云管理方面,結(jié)合私有云和公共云優(yōu)勢(shì),提供具備高可擴(kuò)展性、靈活性及成本優(yōu)勢(shì),同時(shí)兼具數(shù)據(jù)安全性和隱私性的混合云存儲(chǔ)能力。

一個(gè)優(yōu)秀開源產(chǎn)品的發(fā)展需要更多社區(qū)力量的支持,OPPO 將在未來為社區(qū)共建做出更多努力,讓更多用戶和開發(fā)者參與到產(chǎn)品的建設(shè)中來,在一些關(guān)鍵場(chǎng)景上,共同開發(fā)出更多產(chǎn)品新特性。OPPO CubeFS 項(xiàng)目組目前也制定了一些比較明確的社區(qū)共建計(jì)劃,除了之前已有的社區(qū)例會(huì)、文檔更新外,還將組織系列技術(shù)沙龍,邀請(qǐng)社區(qū)伙伴共同分享 CubeFS 在公司業(yè)務(wù)場(chǎng)景中的詳細(xì)實(shí)踐。未來 CubeFS 將會(huì)和開源社區(qū)做進(jìn)一步的融合,比如打通其他技術(shù)生態(tài)等,之后社區(qū)伙伴們可以直接在 CubeFS 官方技術(shù)公眾號(hào)看到 CubeFS 項(xiàng)目的一些技術(shù)架構(gòu)解析及運(yùn)維心得。

“希望 CubeFS 能夠被更多用戶在生產(chǎn)中使用,能有更多的用戶參與到產(chǎn)品建設(shè)中來?！焙涡〈航o了想要快速參與進(jìn) CubeFS 項(xiàng)目共建者3條建議:

1、先閱讀官網(wǎng)文檔,了解 CubeFS 整體設(shè)計(jì),不要一開始就扎到代碼里面去;

2、根據(jù) CubeFS 的操作文檔嘗試搭建一個(gè)集群,看看它到底是有怎樣的表現(xiàn);

3、自己去提一些 Issue,或去承接一些 Issue 相關(guān)的任務(wù),通過簡(jiǎn)單特性開發(fā)或 Bug 修復(fù)逐步了解系統(tǒng)。

在未來,CubeFS 作為一個(gè)成熟的開源項(xiàng)目,何小春說出了 CubeFS 研發(fā)團(tuán)隊(duì)對(duì)項(xiàng)目的期待,“當(dāng)前,真正完整的開源分布式存儲(chǔ)產(chǎn)品其實(shí)是非常稀缺的,我希望 CubeFS 能夠填補(bǔ)分布式存儲(chǔ)產(chǎn)品市場(chǎng)的“空白”,CubeFS 的目標(biāo)就是成為具有全球影響力的分布式存儲(chǔ)?！?/p>

寫在最后

在存儲(chǔ)層面,我們看到整體都在朝著越來越分布式的方向發(fā)展,這一切都是因?yàn)閭鹘y(tǒng)存儲(chǔ)的擴(kuò)展性受限,當(dāng)下環(huán)境下日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)容量需求,對(duì)存儲(chǔ)系統(tǒng)穩(wěn)定性、性能及成本的要求越高,“云原生分布式存儲(chǔ)”的呼聲就會(huì)越熱。

隨著企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū),混合云的業(yè)務(wù)場(chǎng)景也越來越多,在未來,如何將本地存儲(chǔ)與公有云存儲(chǔ)打通、企業(yè)如何繼續(xù)使用原來存儲(chǔ)方式的同時(shí),還能享受到分布式存儲(chǔ)系統(tǒng)所具有的彈性及低成本能力,這將是一個(gè)非常值得探索的技術(shù)方向。