核心技術(shù)是國之重器,加速推進(jìn)核心領(lǐng)域關(guān)鍵技術(shù)突破,完成核心網(wǎng)絡(luò )中的軟硬件國產(chǎn)替代是國家長(cháng)期戰略。
“十四五”規劃更是明確,聚力攻堅基礎軟件,加速分布式數據庫/混合事務(wù)分析處理數據庫等產(chǎn)品研發(fā)推廣。強化基礎組件供給,大力發(fā)展云計算/大數據/人工智能/區塊鏈等平臺軟件開(kāi)發(fā)框架。
自主可控和國產(chǎn)化替代刻不容緩。過(guò)去微軟“黑屏悶”事件、美國“棱鏡門(mén)”事件、中興制裁事件已經(jīng)說(shuō)明了沒(méi)有核心技術(shù)就會(huì )受制于人,今年俄烏事件發(fā)生后,200多家科技公司宣布暫停在俄羅斯的所有業(yè)務(wù),包括芯片、軟件、云服務(wù)等斷供,哪里還有“科技無(wú)國界”?要擺脫被科技制裁的風(fēng)險唯一出路就是自主研發(fā)、自主可控。
星環(huán)科技自2013年成立以來(lái),就以自主研發(fā)為己任,不僅自主研發(fā)了大數據與云基礎平臺、分布式關(guān)系型數據庫、數據開(kāi)發(fā)與智能分析工具的軟件產(chǎn)品全系列產(chǎn)品,為企業(yè)數字化轉型提供了真正的國產(chǎn)數字底座,以提供數據集成、存儲、治理、建模、挖掘、分析和流通能力,可以推動(dòng)數據規范化、資產(chǎn)化、業(yè)務(wù)化,推進(jìn)業(yè)務(wù)數據化、智能化,而且產(chǎn)品能力更強更全,領(lǐng)先于國外,在基于容器的數據云技術(shù)、分布式技術(shù)、數據庫技術(shù)、多模型數據的統一處理技術(shù)、SQL編譯技術(shù)、大數據開(kāi)發(fā)與智能分析技術(shù)等6大類(lèi)技術(shù)上擁有31項具備先進(jìn)性的核心技術(shù),擁有了一大批發(fā)明專(zhuān)利。參加并且通過(guò)了工信部自主代碼掃描測試,完全符合信創(chuàng )驗收標準,多個(gè)產(chǎn)品進(jìn)入了國家軟硬件技術(shù)圖譜。
在自主研發(fā)創(chuàng )新的同時(shí),星環(huán)科技也在積極參與國家信創(chuàng )工作。星環(huán)科技作為信創(chuàng )工委會(huì )WG24大數據工作組的小組組長(cháng)及副組長(cháng)單位,牽頭制定信創(chuàng )大數據行業(yè)標準及規范,并深度參與產(chǎn)品圖譜編制、產(chǎn)業(yè)白皮書(shū)、案例集編撰等工作。
星環(huán)科技全系列產(chǎn)品替代國外進(jìn)口產(chǎn)品 星環(huán)科技擁有成熟的基礎軟件替代解決方案,完全滿(mǎn)足信創(chuàng )驗收要求,取得了眾多的成果。
大數據基礎平臺TDH可以完美的替代CDH/HDP和CDP,提升功能、性能、穩定性、易用性、擴展性、可靠性、安全、國產(chǎn)生態(tài)支持等能力,提供多種模型支持能力,性能的提升可以達到5到100倍,原廠(chǎng)專(zhuān)業(yè)服務(wù)能力更強。
分布式交易型數據庫KunDB可以在交易型OLTP的業(yè)務(wù)場(chǎng)景、高并發(fā)在線(xiàn)數據服務(wù)場(chǎng)景,替代Oracle/DB2,并且提升存儲計算能力、高可用能力、跨分區事務(wù)能力。
分布式分析型數據庫ArgoDB可以在批處理和OLAP、Ad hoc分析等場(chǎng)景,替代Oracle/DB2/TD/SAP HANA,提供海量數據分析能力,提升混合負載、實(shí)時(shí)數據分析等能力,軟硬件綜合性?xún)r(jià)比得到10到100倍的提升。
分布式圖數據庫StellarDB可以在圖查詢(xún)、圖分析的場(chǎng)景替代Neo4j,提升圖數據存儲檢索能力,支持萬(wàn)億頂點(diǎn)以上的圖存儲與毫秒級檢索性能,提供近30種分布式圖算法和10層以上深度鏈路分析能力。
搜索引擎Scope可以在全文檢索、日志分析等場(chǎng)景替代ElasticSearch,提升穩定性、性能、集群擴展性等能力。
智能分析工具Sophon可以在可視化建模分析場(chǎng)景替代SAS/SPSS,獲得200+算子支撐,提升功能和性能(將本增效)。
國產(chǎn)化替代的10大關(guān)鍵評價(jià)指標 星環(huán)科技的一體化替代方案擁有獨一無(wú)二的優(yōu)勢
在功能上,星環(huán)科技基礎軟件產(chǎn)品多模架構,支持關(guān)系表、文本、時(shí)空地理、圖數據、文檔、時(shí)序等在內的10種數據模型;離線(xiàn)數據批處理、高并發(fā)的在線(xiàn)數據服務(wù)、數據集市、數據倉庫、數據湖、圖存儲分析、空間數據存儲、實(shí)時(shí)數據處理、數據中臺、數據治理等各類(lèi)大數據業(yè)務(wù)場(chǎng)景一站解決。
在性能上,星環(huán)科技基礎軟件產(chǎn)品自研高性能分布式計算和存儲引擎,整體性能是CDP 5~25倍。整體性?xún)r(jià)比是DB2 20倍,是TD 100倍。
在成本上,星環(huán)科技產(chǎn)品高度兼容CDH/HDP、TD、Oracle、DB2,兼容TD、Oracle、DB2的SQL和方言,提供成熟的遷移工具,有大量低成本成功遷移案例。
在安全上,星環(huán)科技基礎軟件產(chǎn)品提供的容器隔離、災備、訪(fǎng)問(wèn)控制、聯(lián)邦學(xué)習、隱私保護、可信計算等技術(shù)保障網(wǎng)絡(luò )層、加固層、治理層、流通層全方位數據安全。
在架構上,星環(huán)科技基礎軟件產(chǎn)品提供統一SQL引擎、統一計算引擎、統一分布式存儲管理、統一資源調度,統一內聯(lián)的架構高效搞定湖倉集一體、HTAP等復雜場(chǎng)景,而不是拼湊組件成散裝架構。
在開(kāi)發(fā)上,星環(huán)科技基礎軟件產(chǎn)品提供統一SQL引擎,無(wú)需每個(gè)場(chǎng)景一套接口;完整支持SQL2003標準,支持PLSQL存儲過(guò)程,兼容Oracle、DB2、TD等方言。
在運維上,星環(huán)科技基礎軟件產(chǎn)品提供開(kāi)箱即用的可視化運維監控、安全管控工具,容器技術(shù)帶來(lái)極致的安裝、升級、補丁體驗。
在售后上,星環(huán)科技原廠(chǎng)有超過(guò)1100人的研發(fā)與支持團隊,超過(guò)3萬(wàn)名星環(huán)科技認證的大數據工程師,專(zhuān)業(yè)性更強。
在國產(chǎn)化上,星環(huán)科技的軟件產(chǎn)品自主研發(fā),通過(guò)了工信部代碼自主研發(fā)率掃描測試,滿(mǎn)足信創(chuàng )驗收要求。
在國產(chǎn)生態(tài)上,星環(huán)基礎軟件產(chǎn)品已完成與主流信創(chuàng )生態(tài)廠(chǎng)商的適配互認工作,適配長(cháng)城飛騰、華為泰山、浪潮等服務(wù)器,鯤鵬、飛騰CPU,麒麟、統信等操作系統,并有官方認證,支持基于A(yíng)RM與X86服務(wù)器服務(wù)器混合部署并有落地案例。
星環(huán)科技有在大數據平臺、數據庫產(chǎn)品、數據分析平臺等領(lǐng)域有大量成功替代國外進(jìn)口產(chǎn)品的案例。目前,星環(huán)科技的大數據基礎軟件系列產(chǎn)品已在十幾個(gè)行業(yè)1000+用戶(hù)應用落地。
大數據平臺國產(chǎn)化替代平滑遷移方案 (CDH/HDP/CDP->TDH)
Cloudera(Cloudera 和Hortonworks 合并后)所有產(chǎn)品不再提供社區版,用戶(hù)無(wú)法獲取新的功能。2021年1月31日開(kāi)始,所有Cloudera軟件都需要有效的訂閱,且訂閱費昂貴(50個(gè)節點(diǎn),一年訂閱費50萬(wàn)美元)。此外,CDH 6和HDP 3將是CDH和HDP的最后企業(yè)版本,企業(yè)版用戶(hù)無(wú)法繼續獲取新的功能和性能提升。至2022年3月份,CDH/HDP全部停止服務(wù)(EoS),用戶(hù)沒(méi)辦法獲取售后支持。
Transwarp Data Hub(TDH) 是星環(huán)科技自主研發(fā)的企業(yè)級一站式多模型大數據基礎平臺,基于其領(lǐng)先的多模型統一技術(shù)架構,8種異構存儲引擎可以支持包括關(guān)系表、文本、時(shí)空地理、圖數據、文檔、時(shí)序等在內的10種數據模型。TDH能夠存儲 PB 級別的海量數據,同時(shí)能夠提供高性能的查詢(xún)搜索、實(shí)時(shí)分析、統計分析、預測性分析等數據分析功能,被廣泛應用在離線(xiàn)數據批處理、高并發(fā)的在線(xiàn)數據服務(wù)、數據集市、數據倉庫、數據湖、圖存儲分析、空間數據存儲、實(shí)時(shí)數據處理等各類(lèi)大數據業(yè)務(wù)場(chǎng)景,幫助企業(yè),更全面、更便捷、更智能、更安全地運用數據,加速企業(yè)數字化轉型。
TDH基礎存儲與計算組件兼容CDH/HDP,可以實(shí)現平滑遷移,大大降低企業(yè)遷移成本低。
同時(shí),星環(huán)科技提供專(zhuān)業(yè)的遷移工具Transwarp? Backup (TBAK),幫助用戶(hù)通過(guò)簡(jiǎn)單的三步即可實(shí)現數據與業(yè)務(wù)的一鍵遷移,高效便捷。整個(gè)遷移過(guò)程操作簡(jiǎn)單,配置靈活,通過(guò)3步即可完成所有的遷移工作,同時(shí)用戶(hù)可以對遷移過(guò)程進(jìn)行全流程實(shí)時(shí)監控,保障整個(gè)遷移過(guò)程順利進(jìn)行。
第一步,基于TBAK提供可視化的界面進(jìn)行CDH和TDH的集群配置。
第二步,創(chuàng )建CDH遷移方案。TDH提供服務(wù)級和表級的遷移策略,以及對源集群,災備集群,調度策略等進(jìn)行配置。在調度策略中用戶(hù)可以根據實(shí)際情況進(jìn)行配置,例如可以設置在業(yè)務(wù)空窗期的每天凌晨2點(diǎn)進(jìn)行數據遷移。同時(shí),用戶(hù)可以設置相應的告警策略,當遷移發(fā)生問(wèn)題時(shí)可以第一時(shí)間收到告警信息并對問(wèn)題進(jìn)行排查和恢復。
第三步,執行遷移任務(wù)和結果檢查。當集群配置完成后,所有的遷移方案將在遷移方案界面進(jìn)行管理和操作。用戶(hù)可以選擇相應的遷移方案進(jìn)行操作,例如立即執行和設置執行策略。若點(diǎn)擊執行遷移任務(wù),系統會(huì )進(jìn)入到自動(dòng)遷移狀態(tài),同時(shí)可以監測遷移任務(wù)執行的整體狀態(tài)信息,并且可以對每一步的執行情況進(jìn)行實(shí)時(shí)監測。當遷移發(fā)生故障時(shí),系統會(huì )發(fā)出執行故障的告警,方便用戶(hù)對故障發(fā)生的階段進(jìn)行排查和故障恢復。
此外,星環(huán)科技積累了大量的遷移成功案例,經(jīng)驗豐富,可以保障整個(gè)遷移過(guò)程安全可靠。
相比于遷移到CDP或者國內封裝的Hadoop商業(yè)版,用戶(hù)遷移到星環(huán)科技TDH后,TDH多模型統一架構提供統一SQL引擎、統一計算引擎、統一分布式存儲管理、統一資源調度,統一內聯(lián)架構高效搞定湖倉集一體、HTAP等復雜場(chǎng)景,無(wú)需拼湊組件散裝架構。同時(shí)在技術(shù)領(lǐng)先性、性能、易用性、穩定性、安全性等方面得到全面的提升。此外,TDH由星環(huán)科技自主研發(fā),通過(guò)工信部自主代碼掃描測試,完全自主可控,并且與已完成與主流信創(chuàng )生態(tài)廠(chǎng)商的適配互認工作,滿(mǎn)足信創(chuàng )驗收要求,幫助各行業(yè)用戶(hù)提升大數據系統的國產(chǎn)化水平。
數據庫國化產(chǎn)替代平滑遷移方案 (Oracle/DB2/MySQL/Teradata/SAP HANA->TDH/ArgoDB/KunDB)
傳統數據庫如Oracle,DB2等存在成本高、擴容難、性能受限、運維難等問(wèn)題給很多企業(yè)用戶(hù)造成了困擾。
前段時(shí)間俄烏事件中,Oracle宣布暫停在俄業(yè)務(wù),其他眾多科技公司也相繼宣布斷供俄羅斯。這些事件再次給國人敲響了警鐘,建設國產(chǎn)數據平臺迫在眉睫。
星環(huán)科技大數據基礎平臺和數據庫產(chǎn)品支持完整的SQL標準語(yǔ)法,兼容Oracle、IBM DB2、Teradata方言,兼容Oracle和DB2等的存儲過(guò)程,可以實(shí)現平臺間的平滑遷移。同時(shí)能夠提供統一的架構,一站式幫忙用戶(hù)解決所有業(yè)務(wù)場(chǎng)景,從降低成本、提升效能、平臺創(chuàng )新、應用創(chuàng )新等多個(gè)方面為用戶(hù)帶來(lái)收益。
星環(huán)科技建立了一整套從老牌數據庫到星環(huán)產(chǎn)品的平滑遷移方法論,大致可以分為分析與設計、遷移實(shí)施和上線(xiàn)保障三個(gè)階段。
第一階段,分析和設計。結合用戶(hù)的現場(chǎng)情況和需求進(jìn)行分析,并對數據流轉和整體架構設計。如將Oracle遷移到星環(huán)科技TDH,TDH支持多種數據源接入,并對于不同的接入方式提供專(zhuān)業(yè)的組件工具。例如星環(huán)科技Transporter支持定時(shí)批量抽取,實(shí)時(shí)流計算引擎Slipstream支持實(shí)時(shí)數據接入,可用于實(shí)時(shí)數倉等場(chǎng)景。
第二階段,遷移實(shí)施。遷移分為數據遷移和業(yè)務(wù)兩大部分。在數據遷移方面,星環(huán)科技可以實(shí)現三種遷移方式,1:1平移、按照大數據平臺特性重新設計和遷移種選重點(diǎn)進(jìn)行優(yōu)化,用戶(hù)可以根據實(shí)際情況和自身需求進(jìn)行選擇。在業(yè)務(wù)遷移方面,星環(huán)科技平臺能夠提供完整的配套產(chǎn)品和組件,同時(shí)又能完整支持SQL標準,兼容像Oracle存儲過(guò)程等特征,在保障業(yè)務(wù)的同時(shí)實(shí)現低成本、平滑遷移。
第三階段,上線(xiàn)保障。星環(huán)科技可以提供雙軌試運行機制,定期進(jìn)行兩邊的數據核對,觀(guān)察平臺的運行情況,進(jìn)行后期的細致調優(yōu)等相關(guān)工作,保障遷移后能夠順利上線(xiàn)投產(chǎn)。
以金融行業(yè)為例,星環(huán)科技可替換的場(chǎng)景包含:風(fēng)險控制、數據倉庫、報表平臺、ODS、數據集市、投資交易分析回放、客戶(hù)分析和客戶(hù)畫(huà)像等等。例如風(fēng)控的指標管理、實(shí)時(shí)預警、合規管理、數據維度一直是金融行業(yè)中券商最依賴(lài)于數據處理的部分,可結合市場(chǎng)風(fēng)險、信用風(fēng)險、反洗錢(qián)、投資人適當性管理等應用場(chǎng)景,星環(huán)科技能夠在機器學(xué)習算法和風(fēng)險模型上提供解決方案。其他例如投資交易、行情預測、業(yè)務(wù)運營(yíng)等場(chǎng)景,星環(huán)科技都能夠提供全面的支撐能力。
星環(huán)科技提供完整的數據庫平滑遷移方案能夠全方位保障數據與業(yè)務(wù)遷移,大大降低企業(yè)遷移成本和遷移風(fēng)險。同時(shí)相對于傳統數據庫,星環(huán)科技大數據平臺以及數據庫產(chǎn)品能夠在架構、性能、可擴展性、以及對云和AI的支持等能力上獲得極大的提升,幫助企業(yè)快速實(shí)現國產(chǎn)化替代,構建自主可控的高性能數據平臺。
圖數據庫國化產(chǎn)替代平滑遷移方案 (Neo4j->星環(huán)分布式圖數據庫StellarDB)
Neo4j是一款知名的開(kāi)源圖數據庫,但用戶(hù)在使用過(guò)程中發(fā)現Neo4j存在一定的局限性,例如Neo4j不支持多數據庫實(shí)例應用,每個(gè)應用都需要單獨的服務(wù)器部署,不便于管理。當數據量較大時(shí),Neo4j計算能力存在瓶頸,無(wú)法滿(mǎn)足較高要求的計算需求。此外,Neo4j不滿(mǎn)足高可用的要求,且缺乏統一的資源管理和權限管理。
Transwarp StellarDB是星環(huán)科技自主研發(fā)的分布式圖數據庫,兼容openCypher查詢(xún)語(yǔ)言,提供海量圖數據的存儲和分析能力,支持原生圖存儲結構,支持萬(wàn)億邊PB級數據存儲。同時(shí),StellarDB具備毫秒級點(diǎn)邊查詢(xún)能力,10+層的深度鏈路分析能力,提供近30種的圖分析算法,具備數據2D和3D展示能力。
在遷移方面,StellarDB支持MySQL、Greenplum等關(guān)系型數據庫、HDFS、Hive等大數據平臺數據源接入,在4.0版本中StellarDB新增通過(guò)Kafka、Flink、Spark Streaming等方式接入流式數據源,可以覆蓋所有場(chǎng)景數據源。同時(shí)提供專(zhuān)業(yè)的數據遷移工具實(shí)現數據的快速高效遷移。此外,StellarDB與Neo4j的Cypher語(yǔ)法高度兼容,低成本、安全地實(shí)現原有業(yè)務(wù)的平滑遷移和上線(xiàn)。
相比Neo4j,StellarDB在存儲能力、高性能、圖算法、國產(chǎn)化兼容、運維管理能力、知識圖譜能力、接口工具等方面表現優(yōu)異。
StellarDB支持海量圖數據的存儲與檢索,可以支持至少萬(wàn)億頂點(diǎn)以上的圖存儲,在某地電信關(guān)系圖譜場(chǎng)景實(shí)現了9700億邊規模的存儲和穩定運行,真正意義上將萬(wàn)億級圖數據庫能力應用落地。
替換Neo4j以后,用戶(hù)可獲得更高的性能。批量數據導入性能提高2倍以上,在深度鏈路查詢(xún)能力方面,StellarDB能夠支持12度以上關(guān)聯(lián)查詢(xún),秒級返回,經(jīng)測試驗證,6跳查詢(xún)相對于Neo4j提高了50倍以上。在圖算法性能方面,StellarDB4.0具有很大性能優(yōu)勢,PageRank算法和強連通子圖算法性能提升3-6倍,LPA算法性能提升8倍以上,在十億級邊Twitter-2010數據集下,StellarDB秒級響應,Neo4j在30min內無(wú)響應結果。
相比于Neo4j,StellatDB支持分布式集群部署,實(shí)現一站式集群管理,同時(shí)提供企業(yè)級便捷的管理工具,實(shí)現高效的統一資源管理和權限管理。
StellarDB提供統一調度和API接口管理能力,相比之前依賴(lài)第三方調度工具,更方便高效。
在可視化能力方面,StellarDB支持2D和3D的圖可視化展示,利用可視化技術(shù)幫助用戶(hù)快速獲取數據基于關(guān)聯(lián)性的深度洞察,并且提供可視化的數據導入、集群監控、圖查詢(xún)任務(wù)和圖計算任務(wù)監控等功能。
在國產(chǎn)化方面,StellarDB是星環(huán)科技自研圖數據庫,且兼容國產(chǎn)化軟硬件,幫助企業(yè)提高國產(chǎn)化水平,滿(mǎn)足信創(chuàng )要求。
此外,星環(huán)科技是國內具備圖數據庫、知識圖譜平臺、圖挖掘應用開(kāi)發(fā)能力的企業(yè),其全棧自研的圖技術(shù)能力可以助力企業(yè)快速挖掘圖數據價(jià)值,推動(dòng)業(yè)務(wù)高效高質(zhì)量發(fā)展。
搜索產(chǎn)品國產(chǎn)化替代平滑遷移方案 (ElasticSearch->星環(huán)分布式搜索引擎Scope)
ES在2021年宣布變更 Elasticsearch 和 Kibana 的其中一項開(kāi)源許可協(xié)議Apache License 2.0,變更為雙授權許可,即 Server Side Public License (SSPL) + Elastic License,在一定程度上對許可協(xié)議加以限制。
此外,隨著(zhù)數據量的劇增以及性能要求的不斷提高,ES在集群擴展性、可靠性、數據讀寫(xiě)性能、以及數據恢復速度等方面越來(lái)越難以滿(mǎn)足用戶(hù)的需求。例如,ES單節點(diǎn)實(shí)例支持的數據量有限,當集群超過(guò)100節點(diǎn),會(huì )出現連續失聯(lián)等穩定性問(wèn)題。當節點(diǎn)磁盤(pán)損壞時(shí),需要采取全量數據拷貝的方式恢復數據,工作量大,TB級別可達小時(shí)級別,數據恢復速度比較慢,無(wú)法滿(mǎn)足客戶(hù)快速實(shí)現數據恢復的需求。
Transwarp Scope是星環(huán)科技自主研發(fā)的分布式搜索引擎,提供PB級海量數據的交互式多維檢索分析服務(wù),能夠實(shí)現高可靠、高擴展性的全文搜索與靈活查詢(xún)。能夠兼容常用的ES讀寫(xiě)接口,比ES更強的數據一致性和可靠性,同時(shí)比ES有更強的穩定性,實(shí)現分鐘級快速恢復單點(diǎn)故障。在性能方面,Scope可以毫秒級快速響應用戶(hù)的檢索需求,入庫與查詢(xún)能力有發(fā)幅度的提升。此外,Scope是星環(huán)科技自主研發(fā)的搜索引擎,可以滿(mǎn)足信創(chuàng )驗收要求。
基于星環(huán)平滑遷移方案論,從ES到Scope的遷移過(guò)程可以分為三個(gè)階段,調研評估、方案測試和上線(xiàn)保障。同時(shí)星環(huán)科技支持多種數據遷移方式保障數據順利遷移,Scope支持ES接口可以實(shí)現原先ES業(yè)務(wù)的平滑遷移。
在數據遷移方面,星環(huán)科技支持三種數據遷移方案,使用部分ES遷移工具遷移數據、通過(guò)HDFS將數據遷移到Scope和使用Logstash進(jìn)行數據遷移,用戶(hù)可以根據需求靈活選擇。
在業(yè)務(wù)遷移方面,Scope支持ES接口,可以實(shí)現ES的業(yè)務(wù)平滑遷移,同時(shí)針對部分用戶(hù)習慣使用SQL的方式,Scope支持SQL 2003和全文檢索SQL擴展,滿(mǎn)足傳統數據庫遷移到ES的需求。
相較于ES,用戶(hù)遷移到Scope之后,可以實(shí)現海量存儲能力確保百節點(diǎn)以上規模集群穩定運行,強一致性寫(xiě)入能力確保讀寫(xiě)數據不丟。在高可用能力方面也有非常大的提升,可以確保錯誤分鐘級重啟恢復。此外,用戶(hù)還可獲得多進(jìn)程架構,內存精細化控制、負載均衡、數據分區等能力。
星環(huán)科技Scope在政府、金融等行業(yè)有很多ES國產(chǎn)替代落地經(jīng)驗,幫助用戶(hù)在海量數據檢索和分析、可擴展性、可靠性、數據恢復等能力上獲得極大的提升,幫助企業(yè)完成搜索產(chǎn)品的國產(chǎn)化替代。
分析工具國產(chǎn)化平滑遷移方案 (SAS/SPSS->星環(huán)智能分析工具Sophon)
大數據分析工具可以幫助用戶(hù)更靈活、更高效地進(jìn)行數據分析,挖掘數據價(jià)值。隨著(zhù)數據量的劇增,以及深度學(xué)習算法的不斷迭代以及創(chuàng )新,市面上如SAS/SPSS等分析工具越來(lái)越難以滿(mǎn)足企業(yè)用戶(hù)更快速、更高效、更靈活以及更低成本的需求。
例如,用戶(hù)在使用SAS過(guò)程中可能會(huì )遇到如下幾個(gè)問(wèn)題:首先,其相對比較封閉,用戶(hù)無(wú)法針對單個(gè)功能授予許可證,使用成本高昂;其次,SAS自建機器學(xué)習算法有限,深度學(xué)習算法依賴(lài)外部如Python嵌入支持,用戶(hù)無(wú)法靈活地獲取新的算法;再次,SAS對分布式讀寫(xiě)和計算存在局限性,對海量數據處理及大規模機器學(xué)習難以有效支撐,對實(shí)時(shí)計算更是無(wú)能為力。
此外,SAS是過(guò)程性語(yǔ)言,代碼量偏多,加上閉源特性,SAS社區不及開(kāi)源語(yǔ)言活躍。隨著(zhù)R、Python的流行,SAS人才日漸稀缺,導致企業(yè)難以組織高質(zhì)量團隊。
星環(huán)科技Sophon Base是具備統計、機器學(xué)習、深度學(xué)習等完備算法和豐富算子的企業(yè)級分布式機器學(xué)習平臺,支持從數據接入、數據處理,到模型訓練、服務(wù)部署、線(xiàn)上監控的一站式可視化流程。
在多年的行業(yè)積累和項目實(shí)踐上,星環(huán)科技建立了一套模型遷移方法論,整個(gè)過(guò)程被定義為8個(gè)階段——業(yè)務(wù)理解、數據理解、元模型理解、數據準備、模型遷移、評估報告、應用和檢測。星環(huán)科技SAS平滑遷移過(guò)程強調針對實(shí)際業(yè)務(wù)問(wèn)題,解決客戶(hù)的業(yè)務(wù)痛點(diǎn),產(chǎn)生實(shí)際價(jià)值。
通過(guò)對用戶(hù)業(yè)務(wù)、數據、元模型的理解后,進(jìn)行相應的數據準備,包括框架設計、數據處理、方案設計等。當數據準備好后就會(huì )進(jìn)行模型遷移,這一階段主要是進(jìn)行代碼邏輯架構梳理設計、模型驗證等。模型遷移完成后會(huì )對遷移效果進(jìn)行評估,確認遷移前后的準確性、一致性、以及優(yōu)化效果驗證。最后是部署上線(xiàn)來(lái)支持業(yè)務(wù),對業(yè)務(wù)進(jìn)行持續跟蹤,不斷優(yōu)化模型,并對效果進(jìn)行評估。通過(guò)一整套完整的遷移流程,保障SAS平滑、安全的遷移到星環(huán)Sophon。
星環(huán)科技Sophon可以提供完整的SAS模型遷移能力。相較于SAS,遷移到Sophon后可以支持多源異構數據的接入、豐富的數據處理、多個(gè)框架的模型訓練及發(fā)布、模型部署和維護等全過(guò)程,多源數據和建模流程靈活組合確保綜合性場(chǎng)景高效支撐。用戶(hù)可以獲得Sophon自建的200多個(gè)高性能分布式AI算子以及對自定義算子的支持,完全覆蓋SAS原有的建模能力。同時(shí),Sophon還能帶來(lái)模型可解釋性、聯(lián)邦學(xué)習等額外的支持,更好地支撐模型的業(yè)務(wù)應用。此外,在模型的統一管理、發(fā)布及監控方面,Sophon也為企業(yè)客戶(hù)提供了簡(jiǎn)潔、易用、穩定的解決方案,幫助用戶(hù)更好地獲取數據價(jià)值。