當前,生成式AI和大模型正以燎原之勢走進(jìn)制造、金融、醫療、交通、教育等行業(yè)和領(lǐng)域,引發(fā)行業(yè)更多創(chuàng )新和變革,加速全社會(huì )數字化和智能化轉型。近日,工信部賽迪研究院發(fā)布報告顯示,2023年我國生成式人工智能市場(chǎng)規模有望突破10萬(wàn)億元。作為中國領(lǐng)先的計算產(chǎn)品方案提供商和AI服務(wù)器市場(chǎng)TOP3,寶德計算憑借豐富的市場(chǎng)經(jīng)驗和對客戶(hù)AI需求的深刻洞察,攜手英特爾AI軟硬件基礎技術(shù),匠心打磨和推出了寶德生成式AI解決方案。
一鍵部署,靈活定制
寶德AIGC解決方案是軟硬一體化解決方案,既可以集群部署也可以單機部署,方案架構包含硬件層、平臺層、服務(wù)層和應用層。在硬件層,寶德充分發(fā)揮了20年服務(wù)器行業(yè)技術(shù)積累,提供涵蓋AI訓練服務(wù)器、AI推理服務(wù)器和AI邊緣產(chǎn)品等多平臺選擇和可兼容,進(jìn)行模型的高速訓練、微調和高效推理。在硬件基礎上,方案采用K8S進(jìn)行集群資源管理(單機部署采用Docker)?;谛酆竦挠布雍推脚_層,在服務(wù)層部署了ChatGLM大模型推理服務(wù)、由GLM微調而來(lái)的行業(yè)大模型-寶德酒業(yè)大模型推理服務(wù)、寶德自研的嵌入數據倉庫服務(wù),可以將行業(yè)數據轉換成向量數據,存儲到向量數據庫中,通過(guò)相似度匹配算法查詢(xún)出相關(guān)內容交給大語(yǔ)言模型進(jìn)行推理、LLM Functions服務(wù),主要讓大語(yǔ)言模型擁有調用后端接口的能力?;谶@些硬件和服務(wù),寶德開(kāi)發(fā)了諸如聊德寶、AI客服和數字人等多種AI應用,可廣泛服務(wù)于行業(yè)大模型、智能語(yǔ)音助手、網(wǎng)絡(luò )直播、線(xiàn)上教育和培訓等領(lǐng)域。
值得一提的是,寶德深耕行業(yè)多年,基于對市場(chǎng)的理解和對客戶(hù)生成式AI多樣性的計算需求,可提供生成式AI解決方案的定制化服務(wù)。
性能卓越、成本可控
AIGC快速發(fā)展之時(shí),算力越來(lái)越緊缺和成本越來(lái)越高,逐漸成為影響AIGC發(fā)展和落地應用的“絆腳石”。并且,從大模型的發(fā)展和應用看,AI推理的規模遠高于訓練,有效降低推理成本成為寶德的思路。對此,寶德技術(shù)團隊經(jīng)過(guò)反復測試和調優(yōu),精心準備了全部采用英特爾全新的至強處理器(Max系列)平臺,以及Intel GPU的AIGC解決方案,使其集強大的AI計算、推理性能和卓越的經(jīng)濟效益于一體,以充分釋放AI動(dòng)能。
第四代英特爾?至強?可擴展處理器MAX系列CPU在大語(yǔ)言模型(LLM)推理方面有獨特優(yōu)勢。它有32至56個(gè)內核,可提供最高112線(xiàn)程,內置英特爾高級矩陣擴展(AMX)的AI加速功能,可幫助諸如圖像識別、對象探測等任務(wù)中的張量處理獲得多倍效率提升,并可用于INT8、BF16等不同數據格式,性能高達上一代10倍。而且所有MAX處理器都內置了64GB的HBM2e 高帶寬內存,分為4個(gè)16GB的集群,總內存帶寬為1 TB / s,能夠解決大模型工作負載經(jīng)常受到內存帶寬限制的窘境,數倍提升推理性能。并且,其價(jià)格極具競爭力。
寶德在基于此CPU和Intel Flex GPU的自研服務(wù)器PR2715E上開(kāi)發(fā)部署了LLM方案-聊德寶,它擁有調用私域數據的能力,讓AI應用更加智能化、個(gè)性化地為用戶(hù)提供服務(wù),目前已經(jīng)應用于寶德服務(wù)器AI客服、金沙古酒AI客服、金沙古酒直播數字人等產(chǎn)品。聊德寶具有快速遷移、便捷部署、多路并發(fā)的顯著(zhù)優(yōu)勢;最重要的是,該方案價(jià)格同比其它常規方案最高節約超過(guò)50%!
更妙的是,近日寶德服務(wù)器全面升級到第五代英特爾?至強?平臺,第五代英特爾?至強?處理器除了具有更可靠的性能和更出色的能效外,它的AI性能大幅度提升,每個(gè)內核都具備 AI 加速功能,無(wú)需添加獨立加速器,就可處理要求嚴苛的 AI 工作負載,包括對參數量多達 200 億的模型進(jìn)行推理和調優(yōu)。 因此寶德AIGC解決方案將進(jìn)一步測試適配升級到第五代英特爾?至強?平臺,為客戶(hù)部署AI應用提供更具性?xún)r(jià)比的優(yōu)選方案。
大模型和AIGC正在日新月異地蓬勃發(fā)展,加速應用場(chǎng)景落地和引領(lǐng)產(chǎn)業(yè)變革勢不可擋。寶德將繼續攜手英特爾,發(fā)揮AI優(yōu)勢,聯(lián)合創(chuàng )新研發(fā)和應用,不斷迭代優(yōu)化生成式AI解決方案,為數據中心等客戶(hù)打造高效便利和更加普惠的AI基礎設施,加速釋放AI動(dòng)能,更好地服務(wù)中國數字經(jīng)濟高質(zhì)量發(fā)展!
相關(guān)稿件