“人工智能應(yīng)用落地的‘高歌猛進(jìn)’,是有人在‘負(fù)重前行’。”
王博士(化名)作為清華大學(xué)智能產(chǎn)業(yè)研究院自動(dòng)駕駛課題組的一員,負(fù)責(zé)車(chē)路協(xié)同數(shù)據(jù)集的訓(xùn)練工作。
課題研究中,王博士在電腦上要處理成千上萬(wàn)張圖片:每一張圖片,道路軌跡、建筑形狀都不盡相同,一張圖片里可以拆分出好幾個(gè)標(biāo)簽,這是他每天都要面對(duì)的“復(fù)雜”標(biāo)注題。
“我們拿到這些文件之后,可以挖掘出很多信息,然后不斷地去進(jìn)行標(biāo)注。既要保證標(biāo)注的效率,也要保證質(zhì)量,這樣才能訓(xùn)練出更精準(zhǔn)的AI模型。”
圖片來(lái)源:清華大學(xué)智能產(chǎn)業(yè)研究院官網(wǎng)
自動(dòng)駕駛,是清華大學(xué)智能產(chǎn)業(yè)研究院的研究課題之一。作為一所面向第四次工業(yè)革命的國(guó)際化、智能化、產(chǎn)業(yè)化研究機(jī)構(gòu),這里匯聚了來(lái)自全球的國(guó)際頂尖科學(xué)家、產(chǎn)業(yè)變革領(lǐng)袖和世界級(jí)研創(chuàng)團(tuán)隊(duì)。
他們站在國(guó)際科技前沿,引領(lǐng)中國(guó)的科技創(chuàng)新,探索著自動(dòng)駕駛、生物計(jì)算、綠色計(jì)算等領(lǐng)域的未解之謎。
AI“更懂”人類(lèi)的背后,是大量數(shù)據(jù)訓(xùn)練的結(jié)果。
時(shí)逢2022年的9月,清華大學(xué)智能產(chǎn)業(yè)研究院的多項(xiàng)科研工作都在和時(shí)間賽跑。就在這時(shí),清華大學(xué)智能產(chǎn)業(yè)研究院的十多個(gè)課題組感受到了AI研究工作的“阻力”,“給圖像做標(biāo)注時(shí),圖片遲遲加載不出來(lái);檢索圖片,系統(tǒng)也要卡很久。”
原來(lái),訓(xùn)練AI數(shù)據(jù)集需要存儲(chǔ)大量數(shù)據(jù),數(shù)據(jù)量很快就達(dá)到百TB級(jí),而傳統(tǒng)存儲(chǔ)陣列在龐大的數(shù)據(jù)量面前“不堪重負(fù)”,沒(méi)有展示出最佳的性能、可擴(kuò)展性等能力,導(dǎo)致科研工作者們?cè)趯?shí)際操作時(shí)遇到了卡慢問(wèn)題。
面對(duì)存儲(chǔ)性能提升的難題,信服云EDS為清華大學(xué)智能產(chǎn)業(yè)研究院設(shè)計(jì)了高性能文件存儲(chǔ)方案。480TB存儲(chǔ)空間配置完成后,有了充足的存儲(chǔ)空間,科研工作者們可以放心地開(kāi)展AI訓(xùn)練的工作。
一個(gè)可以盡情“馳騁”的存儲(chǔ)底座,背后是信服云EDS“剛?cè)岵?jì)”的實(shí)力。
在硬件上,信服云EDS采用通用的X86服務(wù)器搭配N(xiāo)VMe固態(tài)硬盤(pán)的組合形式,構(gòu)建存儲(chǔ)高性能層,這使得訓(xùn)練集群訪問(wèn)數(shù)據(jù)時(shí),可以?xún)?yōu)先經(jīng)過(guò)高性能層的緩存加速,相較于傳統(tǒng)磁盤(pán)陣列,存儲(chǔ)性能有了大幅提升。
在軟件上,信服云EDS通過(guò)自研的分布式高性能文件系統(tǒng),利用小文件合并、phxkv分布式元數(shù)據(jù)庫(kù)、智能預(yù)加載等自研技術(shù),提高KB級(jí)小文件的元數(shù)據(jù)和數(shù)據(jù)處理效率,有效保障AI訓(xùn)練過(guò)程中訪問(wèn)數(shù)據(jù)的效率,并大幅縮短了科研中的AI訓(xùn)練時(shí)間。
對(duì)于清華大學(xué)智能產(chǎn)業(yè)研究院而言,選擇一款存儲(chǔ)產(chǎn)品首要關(guān)注的是性能。因?yàn)榭蒲泄ぷ髡咴跇?biāo)注數(shù)據(jù)時(shí),需要不停地讀取文件和創(chuàng)建文件,頻繁的操作中無(wú)疑會(huì)增加元數(shù)據(jù)的訪問(wèn)耗時(shí),CPU算力也會(huì)受到影響,而信服云EDS讓讀寫(xiě)文件的性能徹底告別了卡慢。
其實(shí),信服云EDS和用戶的雙向奔赴,不止于此:
容量與性能的同步擴(kuò)展,見(jiàn)證千行百業(yè)的騰飛與發(fā)展。
“我們現(xiàn)在的容量使用率已經(jīng)超過(guò)90%,但性能絲毫沒(méi)有受影響。”除了提供穩(wěn)定一致的性能表現(xiàn),信服云EDS靈活擴(kuò)展的能力,也在不斷刷新用戶的預(yù)期?？紤]到研究院數(shù)據(jù)規(guī)模不斷增長(zhǎng)的情況,信服云EDS支持同時(shí)擴(kuò)展容量和性能,這打破了傳統(tǒng)存儲(chǔ)架構(gòu)的局限性。
在傳統(tǒng)存儲(chǔ)架構(gòu)中,容量增長(zhǎng)到一定程度,性能的增長(zhǎng)不會(huì)相應(yīng)增加,甚至還會(huì)出現(xiàn)性能下降的現(xiàn)象。而信服云EDS實(shí)現(xiàn)了容量和性能的同步擴(kuò)展,在容量擴(kuò)展的同時(shí),存儲(chǔ)性能也隨之線性增長(zhǎng)。以集群規(guī)模擴(kuò)展至8節(jié)點(diǎn)為例,混合盤(pán)配置4KB隨機(jī)讀可達(dá)120萬(wàn)IOPS。
故障閉環(huán)處理的設(shè)計(jì),是保障業(yè)務(wù)可靠運(yùn)行的底氣。
在注重高性能的同時(shí),業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性也不可忽視。為此,信服云EDS構(gòu)建了完整的故障閉環(huán)處理框架:
在故障發(fā)生前,通過(guò)硬件亞健康預(yù)測(cè)、檢測(cè)和數(shù)據(jù)多副本、糾刪碼等機(jī)制,幫助用戶提前預(yù)防故障的發(fā)生;亞健康的可視化監(jiān)控,則讓用戶感知硬盤(pán)健康狀態(tài),提前做好備件采購(gòu)和替換準(zhǔn)備工作。
在故障發(fā)生時(shí),通過(guò)亞健康硬件自動(dòng)隔離、智能數(shù)據(jù)修復(fù)、I/O路徑自動(dòng)切換等機(jī)制,自動(dòng)處置問(wèn)題,最大化減輕運(yùn)維的壓力,同時(shí)也保障了業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性。如若發(fā)生人為誤刪除、惡意刪除或超過(guò)冗余機(jī)制范圍的故障等情況,可通過(guò)快照備份、回收站等機(jī)制快速找回?cái)?shù)據(jù)。
這些高可靠的設(shè)計(jì),也是用戶堅(jiān)定選擇信服云EDS的理由之一。
截至目前,信服云EDS已經(jīng)累計(jì)參與交付超過(guò)20000個(gè)客戶和300+例PB級(jí)項(xiàng)目,在AI訓(xùn)練、衛(wèi)星遙感、醫(yī)療影像、動(dòng)漫制作、軟件開(kāi)發(fā)等場(chǎng)景獲得了用戶的廣泛認(rèn)可。
從蒸汽技術(shù)革命到信息技術(shù)革命,科技一次次改變著世界。
這一次,AI的想象力更是無(wú)限。這些面向未來(lái)交通、醫(yī)療、綠色發(fā)展的難題,也正在一步步被清華大學(xué)智能產(chǎn)業(yè)研究院的科學(xué)家們“拿下”:
發(fā)布全球首個(gè)真實(shí)場(chǎng)景車(chē)路協(xié)同數(shù)據(jù)集
研發(fā)出連續(xù)獲得全球第一的自動(dòng)化蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)平臺(tái)
綠色計(jì)算5G網(wǎng)絡(luò)智能減碳技術(shù)獲得吳文俊人工智能科技進(jìn)步獎(jiǎng)
丈量寰宇,眺望星辰。在科技領(lǐng)航者的探索下,智能時(shí)代正以一種前所未有的清晰度呈現(xiàn)在我們面前。信服云EDS身處這個(gè)偉大的時(shí)代中,將集自身之所長(zhǎng),融用戶之所需,助力科研工作者們?cè)跀?shù)據(jù)的浩瀚宇宙中,自由翱翔。 | 
