近日,中國電子學(xué)會(huì )在北京隆重召開(kāi)科技攻關(guān)項目成果鑒定會(huì )。鑒定委員會(huì )一致認為:天翼云大規模分布式大數據計算平臺研發(fā)項目涉及的大數據存儲、計算、調度等一系列關(guān)鍵技術(shù),復雜度高、研制難度大、創(chuàng )新性強,總體技術(shù)達到國際先進(jìn)水平,其中分布式存儲元數據兩層視圖管理等關(guān)鍵技術(shù)指標達到國際領(lǐng)先水平。
此次成果是天翼云大數據與彈性存儲兩大產(chǎn)品線(xiàn)聯(lián)合攻克大數據底層一系列關(guān)鍵技術(shù)難題的結晶。目前,這些技術(shù)創(chuàng )新成果不僅有效支撐了全國多個(gè)省份電信公司的IT及業(yè)務(wù)上云工作,還在數據要素、政務(wù)大數據平臺、城市大腦等行業(yè)領(lǐng)域實(shí)現了廣泛應用,為行業(yè)的數字化轉型注入了新的動(dòng)力。
在計算引擎核心方面,通過(guò)將Spark runtime層替換成Native runtime層,提供了高效的內存管理、數據交換處理能力;將算子改成native實(shí)現,并利用SIMD技術(shù)加速核心算子處理能力;深度完善基于規則和代價(jià)優(yōu)化的機制,提升引擎的處理效率。相比開(kāi)源Spark新版本性能提升1.2倍以上。
在調度引擎核心方面,設計分區同步共享狀態(tài)的分布式調度架構替代傳統的單調度器、集群聯(lián)邦方式,更好地解決了集群規??蓴U展性、調度效率、調度質(zhì)量、公平性和優(yōu)先級、資源利用率等多方面的矛盾,性能及規模較開(kāi)源相比分別提升了3倍和1.5倍,實(shí)現了國內領(lǐng)先的調度速度和單集群1.5萬(wàn)臺的規模。多調度器共享整個(gè)集群狀態(tài),保證任務(wù)調度結果的全局最優(yōu)性;通過(guò)資源分區方式,多調度器對不同的資源分區并行調度,提升了可支持的集群規模及調度系統的吞吐量;采用資源分區輪詢(xún)方式,避免出現調度結果與資源分區的緊耦合,實(shí)現最優(yōu)的任務(wù)調度;同時(shí),基于單體調度器增加了多調度器協(xié)調工作能力,保障了調度結果的唯一性,避免出現資源沖突導致的調度失敗。
在存儲引擎核心方面,天翼云團隊結合高性能存儲技術(shù),不僅解決了海量文件管理的難題,還大幅提升了數據可靠性及性能。依托采用全自研L-RDMA協(xié)議,計算節點(diǎn)與存儲節點(diǎn)RDMA全互聯(lián),實(shí)現了“高性能、低成本”的軟硬協(xié)同的統一大數據存儲底座。在達到100萬(wàn)IOPS時(shí),時(shí)延依然保持在亞毫秒級,單并發(fā)寫(xiě)時(shí)延達到70us。這一創(chuàng )新成果不僅提升了存儲效率,還為大數據處理提供了更穩定、更可靠的支持。
此次項目獲得中國電子學(xué)會(huì )科技成果鑒定會(huì )的認可,不僅彰顯了天翼云在大數據領(lǐng)域的卓越技術(shù)實(shí)力和創(chuàng )新精神,也為行業(yè)發(fā)展樹(shù)立了新的標桿。未來(lái),天翼云將繼續堅持科技創(chuàng )新,不斷推動(dòng)大數據和云計算技術(shù)發(fā)展,為千行百業(yè)數字化轉型貢獻更多新質(zhì)生產(chǎn)力,為數字經(jīng)濟高質(zhì)量發(fā)展注智賦能。
相關(guān)稿件