2023年8月19-20日，由中國人工智能學(xué)會(huì )主辦，中國人工智能學(xué)會(huì )會(huì )士之家(杭州站)承辦，浙江杭州未來(lái)科技城管委會(huì )協(xié)辦的第3期人工智能創(chuàng )新技術(shù)講習班“多模態(tài)大模型技術(shù)前沿與應用”以線(xiàn)上線(xiàn)下結合的方式成功舉辦，線(xiàn)上累計觀(guān)看人次超16萬(wàn)。

　　本期講習班圍繞熱點(diǎn)話(huà)題“多模態(tài)大模型”展開(kāi)，旨在促進(jìn)學(xué)術(shù)交流，推動(dòng)技術(shù)創(chuàng )新。來(lái)自復旦大學(xué)的邱錫鵬教授和來(lái)自清華大學(xué)的徐楓副教授共同擔任本期講習班的學(xué)術(shù)主任。宋睿華副教授、代季峰副教授、孫天祥博士、王炳寧先生、趙俊博研究員、嚴明先生等6位在多模態(tài)大模型及相關(guān)領(lǐng)域具有重要影響力的專(zhuān)家學(xué)者也受邀加入講師團，為聽(tīng)眾們帶來(lái)了一場(chǎng)精彩紛呈的學(xué)術(shù)盛宴。講習班開(kāi)課期間，聽(tīng)眾熱情高漲，積極參與互動(dòng)。濃厚的學(xué)術(shù)氛圍也一直延續到課后，各位講師們在結束授課后仍一一為線(xiàn)上線(xiàn)下的觀(guān)眾們答疑解惑，現場(chǎng)氛圍十分熱烈。

徐楓副教授

　　在8月19日—20日的兩天時(shí)間里，各位講師從嚴謹縝密到妙趣橫生，從理論研究到落地應用，為線(xiàn)上線(xiàn)下的學(xué)員和觀(guān)眾帶來(lái)了6場(chǎng)“知識盛宴”。

　　授課一：《多模態(tài)理解與人工智能創(chuàng )作》宋睿華

　　8月19日上午，宋睿華副教授為大家帶來(lái)了第一堂課——《多模態(tài)理解與人工智能創(chuàng )作》。在正式授課前，宋睿華副教授先深入淺出地解釋了“多模態(tài)”的概念、其與多媒體的關(guān)系以及其為何突然火爆出圈等問(wèn)題。在介紹完“多模態(tài)”相關(guān)的基本信息后，宋睿華副教授開(kāi)始對文瀾模型1.0-3.0展開(kāi)介紹，并分享了“多模態(tài)與文本預訓練模型的文本嵌入差異研究”的整個(gè)過(guò)程及其成果。在生動(dòng)授課的最后，宋睿華副教授對多模態(tài)理解與創(chuàng )作的趨勢做了總結，并鼓勵聽(tīng)眾在未來(lái)能朝著(zhù)更艱險處攻關(guān)。

宋睿華副教授

　　授課二：《視覺(jué)基礎大模型》代季峰

　　講習班的第二堂課《視覺(jué)基礎大模型》由代季峰副教授主講。他在課堂上指出，通用大模型正在引領(lǐng)人工智能的發(fā)展。圍繞“超大規模視覺(jué)模型”及相關(guān)技術(shù)路線(xiàn)，代季峰副教授在接下來(lái)的授課中展開(kāi)了精彩的講述，他不僅對LLM(大規模語(yǔ)言模型)其強大的功能進(jìn)行了描述，亦稱(chēng)贊其是通用人工智能發(fā)展道路上的一個(gè)里程碑。

代季峰副教授

　　授課三：《對話(huà)式大型語(yǔ)言模型》孫天祥

　　8月19日下午，孫天祥博士給大家帶來(lái)了題為《對話(huà)式大型語(yǔ)言模型》的第三堂課。授課內容主要分為四個(gè)部分，分別是預訓練數據、自然語(yǔ)言基座模型、對話(huà)語(yǔ)言模型和OpenLMLab。

孫天祥博士

　　授課四：《大語(yǔ)言模型的訓練和優(yōu)化方法》王炳寧

　　8月19日下午，王炳寧老師帶來(lái)了本期講習班的第四堂課——《大語(yǔ)言模型的訓練和優(yōu)化方法》。他首先對語(yǔ)言模型的發(fā)展歷程做了系統的梳理，并指出近幾年語(yǔ)言模型的發(fā)展是超線(xiàn)性的，發(fā)布的頻率在不斷加速。在接下來(lái)的授課中，他對大語(yǔ)言模型的基礎框架及優(yōu)化方法進(jìn)行了闡述，并在最后樂(lè )觀(guān)地表達了對大語(yǔ)言模型的憧憬和為中文互聯(lián)網(wǎng)大語(yǔ)言模型做貢獻的決心。

王炳寧老師

　　授課五：《TableGPT——大模型的漫長(cháng)落地之路初探》趙俊博

　　8月20日上午，趙俊博研究員帶來(lái)了第五節課——《TableGPT——大模型的漫長(cháng)落地之路初探》。在授課前，風(fēng)趣地解釋了他為授課題目加上了“渡劫”二字的原因，做相關(guān)研究過(guò)程非常漫長(cháng)，也充滿(mǎn)了各種挫折和挑戰，他也希望借此激勵臺下同處于研究瓶頸期的研究者們。趙俊博研究員隨后簡(jiǎn)單介紹了自己的團隊成員和研究背景，并解釋了他們做剛性L(fǎng)LM而最終選擇了“TableGPT”等一系列問(wèn)題。趙研究員在后續授課過(guò)程中介紹了“TableGPT”的功能、落地過(guò)程及方案等，并在最后無(wú)不幽默地總結道，從一個(gè)通用LLM到領(lǐng)域LLM就好比從一個(gè)文科生到理科生轉變，堪比“渡劫”。

趙俊博研究員

　　授課六：《達摩院通義mPLUG多模態(tài)大模型技術(shù)與應用》嚴明

　　8月20日下午，嚴明老師帶來(lái)了本次講習班的最后一堂課，《達摩院通義mPLUG多模態(tài)大模型技術(shù)與應用》。他先對多模態(tài)大模型技術(shù)發(fā)展歷程做了簡(jiǎn)單的歸納，隨后重點(diǎn)介紹了他的團隊研究多模態(tài)的兩條路徑，一條是mPLUG：模塊化多模態(tài)預訓練大模型技術(shù)系列，另外一條則是大小模型協(xié)同的Agent系統。最后，嚴明老師對“ModelScope”實(shí)戰應用相關(guān)話(huà)題展開(kāi)了詳細的講解與闡述。

嚴明老師

　　至此，第3期人工智能創(chuàng )新技術(shù)講習班“多模態(tài)大模型技術(shù)前沿與應用”的6節課程全部結束。邱錫鵬教授在線(xiàn)上為此次講習班做了結業(yè)總結，他回顧了6位專(zhuān)家學(xué)者精彩的授課內容，指出從學(xué)術(shù)介紹到從應用落地，這些研究最前沿的成果讓聽(tīng)眾耳目一新。此外，邱錫鵬教授還表示，多模態(tài)大模型的發(fā)展處于起步階段，在未來(lái)發(fā)展的過(guò)程中既充滿(mǎn)了機遇，也難免會(huì )遇到挑戰，而本次講習班為各位研究者構建了一個(gè)交流互動(dòng)的平臺，幫助各位學(xué)者不論在學(xué)術(shù)研究還是落地應用層面，都能共同探索、學(xué)習和進(jìn)步。(中國人工智能學(xué)會(huì ))

邱錫鵬教授