8月2日，百度智能云方面表示，千帆大模型平臺已完成新一輪升級，重點(diǎn)升級了三大功能。

　　百度智能云AI與大數據平臺總經(jīng)理忻舟表示，目前，千帆大模型平臺已經(jīng)全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT等33個(gè)大模型，成為國內擁有大模型最多的平臺。接入的模型經(jīng)過(guò)千帆平臺二次性能增強，模型推理成本可降低50%。同時(shí)，千帆平臺上線(xiàn)了國內最全的預置Prompt模板，模板數量多達103個(gè)，覆蓋對話(huà)、游戲、編程、寫(xiě)作十余個(gè)場(chǎng)景。第三，千帆是國內首家提供插件服務(wù)的大模型平臺，本次升級再次發(fā)布多款全新插件。

　　2023年3月，百度智能云推出“千帆大模型平臺”，它是全球首個(gè)一站式的企業(yè)級大模型平臺，不但提供包括文心一言在內的大模型服務(wù)及第三方大模型服務(wù)，還提供大模型開(kāi)發(fā)和應用的整套工具鏈，能夠幫助企業(yè)解決大模型從訓練到開(kāi)發(fā)過(guò)程中的所有問(wèn)題。

　　忻舟表示，本次千帆大模型平臺升級的目的是給企業(yè)、開(kāi)發(fā)者提供更加靈活、多樣化、高效的大模型服務(wù)，客戶(hù)可選擇最適合自身業(yè)務(wù)的大模型，再利用千帆平臺全套工具鏈進(jìn)行模型再訓練，高效率、低成本地打造企業(yè)專(zhuān)屬大模型。此外，海量Prompt模板庫可提高大模型內容準確性和滿(mǎn)意度。

　　千帆接入LLaMA2等33個(gè)優(yōu)質(zhì)模型，推理成本可降低50%

　　當前，開(kāi)源大模型生態(tài)發(fā)展迅速，大量?jì)?yōu)質(zhì)模型涌現，在不同任務(wù)場(chǎng)景、參數量級與算力環(huán)境下體現出了差異化優(yōu)勢。如何選擇適合的大模型、如何應用大模型能力提升市場(chǎng)競爭力，成為越來(lái)越多企業(yè)迫切探索的方向。

　　為了滿(mǎn)足企業(yè)對大模型多樣的需求，百度智能云宣布，除了之前已經(jīng)接入的文心一言、BloomZ之外，本次升級后，千帆大模型平臺全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等33個(gè)大模型，成為國內擁有大模型最多的平臺。企業(yè)用戶(hù)可將不同大模型搭配使用，以滿(mǎn)足不同細分場(chǎng)景的業(yè)務(wù)需求。企業(yè)和開(kāi)發(fā)者可以登陸千帆大模型平臺操作臺，在“模型倉庫”中直接調用、部署。

　　忻舟介紹，千帆平臺接入的大模型均經(jīng)過(guò)嚴格優(yōu)選，主要考核三大指標：模型效果、模型安全性、可商用。為給企業(yè)客戶(hù)帶來(lái)更好的模型產(chǎn)品，千帆對這33個(gè)大模型進(jìn)行了性能+安全的雙重增強。

　　一方面，千帆對每一個(gè)大模型進(jìn)行了二次性能增強。通過(guò)優(yōu)化模型吞吐、降低模型尺寸，實(shí)現模型推理速度的大幅提升。據測算，調優(yōu)后模型體積可壓縮至25%-50%，推理成本可降低50%。這意味著(zhù)，企業(yè)在千帆上調用這些模型可極大地節約成本，提升效果。

　　另一方面，千帆對第三方大模型做了二次安全增強，更好管控模型輸出的安全性?？蛻?hù)在千帆上調用第三方模型，也享有平臺的安全保障。

　　值得一提的是，為方便開(kāi)發(fā)者和企業(yè)做模型調優(yōu)，千帆還提供多種低門(mén)檻調優(yōu)工具，包括SFT（全量參數微調、PromptTuning、LoRA）及強化學(xué)習（獎勵模型學(xué)習、強化學(xué)習訓練）等，同一模型還可通過(guò)多種方式持續調優(yōu)。

　　上線(xiàn)國內最全Prompt海量模板庫，大幅優(yōu)化模型輸出效果

　　Prompt是指通過(guò)自然語(yǔ)言向大模型提出問(wèn)題，問(wèn)題的好壞將直接影響大模型的內容輸出質(zhì)量。實(shí)際應用時(shí)，大模型往往因為Prompt缺乏針對性、描述不清晰等原因影響到內容準確性。

　　為幫助客戶(hù)提高Prompt提問(wèn)質(zhì)量、提升模型輸出滿(mǎn)意度，本輪升級后，百度智能云千帆大模型平臺上線(xiàn)了海量預置Prompt模板庫，模板數量多達103個(gè)，包含對話(huà)、編程、電商、醫療、游戲、翻譯、演講等十余個(gè)場(chǎng)景。用戶(hù)可以根據需求選擇合適的模板，直接輸出給大模型，即可提高模型內容的針對性和準確度。

　　忻舟在活動(dòng)現場(chǎng)演示了不同Prompt給文心一言提問(wèn)，會(huì )得到不同的效果。

　　原始Prompt：“《長(cháng)安三萬(wàn)里》好看嗎？”，文心一言會(huì )輸出一個(gè)比較簡(jiǎn)單的結果。

　　使用Prompt模板+原始Prompt：“我希望你充當一個(gè)電影評論家。你將編寫(xiě)一篇引人入勝和有創(chuàng )意的影評。你可以涵蓋諸如情節、主題和基調、演技和角色、方向、配樂(lè )、電影攝影、制作設計、特效、剪輯、節奏、對話(huà)等主題。但最重要的方面是強調電影給你的感覺(jué)。什么是真正引起你的共鳴。你也可以對電影進(jìn)行批評。請避免劇透。電影名稱(chēng)是《長(cháng)安三萬(wàn)里》“。因Prompt更詳細具體，文心一言回復了更符合預期的答案。

　　忻舟表示，很多企業(yè)使用大模型時(shí)，認為效果不好是模型本身的問(wèn)題，其實(shí)很多時(shí)候重新編寫(xiě)Prompt就能達到預想的效果。海量Prompt模板的推出，大幅降低了Prompt撰寫(xiě)難度。很多情況下，企業(yè)無(wú)需花費大量資源調優(yōu)大模型，基于模板優(yōu)化Prompt，即可得到滿(mǎn)意的模型效果。

　　國內首家提供插件服務(wù)的大模型平臺，千帆插件功能再上新

　　插件是大模型能力的延伸，可以讓大模型的認知能力與外部信息、資源融合打通，極大擴展大模型的功能邊界。據了解，今年6月，千帆平臺就上線(xiàn)了插件功能，是國內首家提供插件服務(wù)的大模型平臺。

　　為實(shí)現客戶(hù)更加個(gè)性化的需求，千帆大模型平臺又發(fā)布了一系列優(yōu)質(zhì)插件功能。例如，剛剛上線(xiàn)的“Chatfile插件”，用戶(hù)可在大模型對話(huà)中一鍵上傳PDF/Doc格式文檔，大模型即可基于文檔內容實(shí)現知識點(diǎn)檢索，長(cháng)文本摘要等功能。

　　值得一提的是，千帆的插件功能已率先應用于百度內部的辦公場(chǎng)景中，基于大模型技術(shù)打造的如流“超級助手”接入了會(huì )議室插件、內部搜索插件等20個(gè)插件。百度員工用自然語(yǔ)言與“超級助手”對話(huà)，即可實(shí)現文檔搜索、會(huì )議室預定、飯卡充值、休假申請等功能，大大提升員工辦公效率。

　　忻舟表示，大量客戶(hù)調研顯示，企業(yè)對插件功能的需求非常迫切，千帆第一時(shí)間上線(xiàn)該功能，是希望為客戶(hù)提供更加個(gè)性化的服務(wù)，提升千帆平臺的用戶(hù)體驗和滿(mǎn)意度。

　　“未來(lái)，千帆平臺將發(fā)布更多優(yōu)質(zhì)的插件功能，讓客戶(hù)能夠更好地應用大模型。同時(shí)，我們歡迎所有開(kāi)發(fā)者基于千帆平臺共同打造豐富的插件功能，提升大模型的能力?！靶弥壅f(shuō)。