2024年4月,宇視在合作伙伴大會(huì )上升級發(fā)布了「梧桐」大模型2.0,并確立了“裝備大模型化”的商業(yè)化落地路線(xiàn)。發(fā)布120天后「梧桐」大模型商業(yè)落地表現如何?今天就帶大家一探究竟!
圖 宇視合作伙伴大會(huì )上「梧桐」大模型2.0發(fā)布
相較于1.0版本,「梧桐」大模型2.0在數據、推訓以及測試發(fā)布等多個(gè)重要維度上,對產(chǎn)品開(kāi)發(fā)架構進(jìn)行了深入全面的重塑與優(yōu)化,能夠在圖像質(zhì)量、算法精度、算法生產(chǎn)率、服務(wù)效率和用戶(hù)體驗等方面給產(chǎn)品帶來(lái)顯著(zhù)提升,為解決更細分、更碎片化的場(chǎng)景業(yè)務(wù)需求降本提效。
數據融合分析,解決黑夜成像難題
最近驚艷行業(yè)的獵光2.0圖像處理引擎,正是得益于「梧桐」大模型的AI算法加持,從而使前端攝像機可以應對多種極黑/無(wú)光/微光場(chǎng)景挑戰。
該算法具備超強的多場(chǎng)景數據融合分析能力,能夠對不同場(chǎng)景下的數據進(jìn)行精準而深入的融合與分析,從而實(shí)現對周?chē)h(huán)境全方位的態(tài)勢感知。即使在低至令人難以置信的≤0.0001 Lux的照度環(huán)境下,依然能夠讓圖像呈現出如同在白晝中一般的鮮艷色彩。
圖 傳統全彩相機和獵光2.0相機效果對比
多模態(tài)能力融合,高效視頻數據服務(wù)
「梧桐」大模型將自然語(yǔ)言處理能力、視頻特征提取能力和語(yǔ)音內容理解能力進(jìn)行深度融合,可以對用戶(hù)輸入的語(yǔ)言文字進(jìn)行深度解析和語(yǔ)義理解,對用戶(hù)輸入的語(yǔ)音進(jìn)行解碼識別和分析, 同時(shí)通過(guò)大模型特征表示提取視頻中的目標、地點(diǎn)、事件等多維信息,準確理解視頻或圖片內容,從而快速檢索匹配出關(guān)鍵字或語(yǔ)音對應的視圖內容。
例如,當需要搜索“河邊釣魚(yú)的人”的視頻內容時(shí),用戶(hù)只需要輸入文字描述,視頻數據服務(wù)系統就能從海量的視頻內容中快速檢索出貼近用戶(hù)意圖的搜索結果,在城市管理、交通治理、園區運營(yíng)等場(chǎng)景幫助提升管理效率和降低人工成本。
圖 視頻內容快速檢索演示
深度學(xué)習訓練,構建智能客服助手
「梧桐」大模型具備強大的深度學(xué)習能力,通過(guò)學(xué)習宇視多年積累的資料庫,構建智能客服小助手,相較于傳統的觸發(fā)式客服機器人,不但對話(huà)更自然,且對用戶(hù)的問(wèn)題理解力更強,能夠準確地回答更多問(wèn)題,大幅降低人工客服成本。
圖 宇視智能客服助手問(wèn)答演示
場(chǎng)景算法快速生產(chǎn),提升用戶(hù)體驗
基于「梧桐」大模型,可以快速完成場(chǎng)景算法模型的訓練生產(chǎn),如宇視面向文旅場(chǎng)景提供的旅拍兔VLOG服務(wù),其中核心算法能力就是「梧桐」大模型提供的:可以快速將游客人像信息和視頻畫(huà)面自動(dòng)匹配,生成最優(yōu)視頻片段,同時(shí)通過(guò)AI體態(tài)分析精準識別人體軀干、四肢到手指的精細動(dòng)作以及面部的精細表情,精準捕捉游客的精彩POSE瞬間。最后基于多模態(tài)技術(shù)對各場(chǎng)景和動(dòng)作進(jìn)行分析,自動(dòng)疊加最匹配的圖層、特效,還能進(jìn)行畫(huà)面人物消除和畫(huà)面優(yōu)化。
圖 游客照經(jīng)過(guò)算法處理后的效果對比
大模型技術(shù)是AIoT行業(yè)當下最大的技術(shù)變量,宇視將持續探索「梧桐」大模型能力的高效應用,將更多創(chuàng )新成果惠及千行百業(yè),守護安全美好生活!
相關(guān)稿件