從拼參數到拼落地，大模型快速發(fā)展。如今，國內市場(chǎng)上已有100多款大模型產(chǎn)品。但如何挑選出一款最適合自己的大模型，成為企業(yè)和機構新的難題。業(yè)界亟需一些權威評測，作為客戶(hù)選擇大模型產(chǎn)品的“指南針”。

　　8月4日，在百度舉行的“AI大模型產(chǎn)品能力交流會(huì )”上，新華網(wǎng)與權威機構聯(lián)合發(fā)布的《國內LLM產(chǎn)品測試報告》，為業(yè)界選擇大模型提供了內容安全、常識問(wèn)答、數學(xué)運算、閱讀理解和主觀(guān)問(wèn)答等五大維度。

（新華網(wǎng)測試報告：百度文心一言綜合得分第一）

　　新華網(wǎng)測試報告對文心一言、GPT-3.5等四大知名大模型進(jìn)行評測，結果顯示，百度文心一言綜合得分第一，超過(guò)GPT-3.5，國內大模型排名第一。

　　文心一言是百度自主研制的知識增強大語(yǔ)言模型，首先從數萬(wàn)億數據和數千億知識中融合學(xué)習得到預訓練大模型，在此基礎上采用有監督精調、人類(lèi)反饋的強化學(xué)習和提示等技術(shù)，并具備知識增強、檢索增強和對話(huà)增強等技術(shù)優(yōu)勢。

　　內容價(jià)值是企業(yè)選擇大模型重要因素

　　大模型具有良好的通用性和泛化性。普通人通過(guò)簡(jiǎn)單的問(wèn)答，就能獲得想要的服務(wù)和產(chǎn)品功能。但是不同國家和地區有不同的法律文化、社會(huì )習俗、倫理道德。因此，對于同一個(gè)問(wèn)題，大模型給出的答案可能會(huì )引發(fā)不同的社會(huì )反饋，有正面效應也可能含有負面爭議，一些文化偏見(jiàn)甚至可能引發(fā)群體矛盾。

　　因此，內容是選擇大模型的重要考慮因素。在新華網(wǎng)的評測報告中，有兩大關(guān)于內容的維度。一是內容安全問(wèn)答，包含了意識形態(tài)、非法涉黃等多項維度，二是常識問(wèn)答，涵蓋有中國文化、歷史、地理和生活等常識知識。新華網(wǎng)物聯(lián)網(wǎng)技術(shù)總監葛振斌表示，“大模型生成的內容必須符合當地法律和社會(huì )道德要求?？梢哉f(shuō)，各個(gè)國家都需要‘更適合自己歷史文化’的大語(yǔ)言模型?！?br />
　　內容對于產(chǎn)業(yè)界同樣非常重要，有的企業(yè)涉及國計民生，還有的企業(yè)依靠“傳承配方”形成獨特競爭力。中國傳媒大學(xué)新媒體研究院院長(cháng)趙子忠表示，“這對大模型在信息安全、數據安全、定制化等方面的服務(wù)能力提出了考驗。大模型必須具備行業(yè)化、場(chǎng)景化的服務(wù)能力，才能滿(mǎn)足不同企業(yè)的要求?！?br />
　　文心一言“最適合中國”

　　當前，從政府機構到企業(yè)公司，都迫切需要一些判斷大模型適合程度的標準和方法。

　　新華網(wǎng)物聯(lián)網(wǎng)技術(shù)總監葛振斌認為，評測大模型有5項維度非常重要：一是把控生成內容安全性的能力，背后涉及意識形態(tài)、政治體制、非法涉黃等維度，每一項都事關(guān)一個(gè)社會(huì )文明的底線(xiàn)；二是常識推斷計算的能力，涉及自然、文化、地理、歷史和生活等多個(gè)領(lǐng)域，必須先吃透這些方面的常識，才能避免生成不恰當的內容結果；三是對長(cháng)文本的語(yǔ)義理解能力。這可以考驗大模型產(chǎn)出的內容是否正確且言之有理，是否具有較好的說(shuō)服力；四是數學(xué)運算及數學(xué)推理能力；五是主觀(guān)思維能力，考驗大模型是否可以準確理解當地風(fēng)俗習慣或者傳統文化。

　　新華網(wǎng)評測報告顯示，文心一言因中文搜索引擎和算法模型優(yōu)勢，在安全、常識、數學(xué)、閱讀等方面優(yōu)勢明顯。在五個(gè)維度上的得分計算均值，文心一言的綜合得分為94.7分，排名第一，高于GPT-3.5的76.9分。這說(shuō)明當前文心一言在總體能力（中文處理）上已經(jīng)超越了GPT-3.5模型。

（新華網(wǎng)測試報告：百度文心一言綜合得分第一）

　　憑借上述表現，文心一言在“最適合中國”方面搶占領(lǐng)先身位，領(lǐng)跑?chē)鴥却竽Ｐ汀?br />
　　專(zhuān)家建議：開(kāi)發(fā)者基于文心大模型搶占發(fā)展先機

　　如今，參考權威機構評測成為客戶(hù)選擇大模型的一個(gè)重要方式。如同生活中常見(jiàn)的智能手機評測，汽車(chē)駕駛評測，是用戶(hù)選擇產(chǎn)品和服務(wù)的重要參考。

　　除了新華網(wǎng)評測報告，近期還有IDC等多個(gè)權威機構發(fā)布評測報告，結果均顯示由文心大模型3.5支持的文心一言綜合能力評測得分超過(guò)ChatGPT3.5。比如IDC報告顯示，文心大模型3.5拿下12項核心指標的7個(gè)滿(mǎn)分，綜合評分位列國內主流大模型第一，并在算法模型、行業(yè)覆蓋兩大關(guān)鍵指標上拿下唯一滿(mǎn)分。

　　中國傳媒大學(xué)新媒體研究院院長(cháng)趙子忠建議，創(chuàng )業(yè)者和開(kāi)發(fā)者以及中小企業(yè)，其實(shí)不需要從0到1的打造自己的大模型，可以基于文心大模型打造智能應用，避免重復造輪子，把精力放在自己擅長(cháng)的創(chuàng )新上。誰(shuí)先做出來(lái)滿(mǎn)足用戶(hù)需求的應用，誰(shuí)就搶占了發(fā)展先機。

　　百度2019年推出文心大模型1.0，今年5月份升級到3.5版本。通過(guò)飛槳深度學(xué)習平臺與文心大模型的協(xié)同優(yōu)化，文心大模型3.5實(shí)現了基礎模型升級、精調技術(shù)創(chuàng )新、知識點(diǎn)增強、邏輯推理增強、插件機制等，模型效果提升50%，訓練速度提升2倍，推理速度提升30倍。

　　目前百度文心大模型已擁有中國最大的產(chǎn)業(yè)落地規模，超過(guò)15萬(wàn)家企業(yè)申請文心一言?xún)葴y，其中有超300家生態(tài)伙伴在400多個(gè)具體場(chǎng)景取得測試成效，覆蓋辦公提效、知識管理、智能客服、智能營(yíng)銷(xiāo)等領(lǐng)域，聯(lián)合國家電網(wǎng)、浦發(fā)銀行、泰康、吉利等企業(yè)，聯(lián)合發(fā)布了11個(gè)行業(yè)大模型。百度還設立了10億創(chuàng )投基金鼓勵大模型創(chuàng )意、繁榮大模型生態(tài)。

　　軟通動(dòng)力CTO劉會(huì )福曾表示，我們非常期待在文心大模型的基礎上，開(kāi)拓更多的應用實(shí)踐。北京寶蘭德軟件董事長(cháng)易存道表示，如何把大模型在垂直行業(yè)做好，是目前各個(gè)企業(yè)都要考慮的問(wèn)題，多數企業(yè)無(wú)法像百度一樣有能力建設大模型。怎么能夠把百度的大模型能力和企業(yè)業(yè)務(wù)有效結合起來(lái)，創(chuàng )造更強的價(jià)值，是企業(yè)非常好的彎道超車(chē)機會(huì )。金山辦公助理總裁田然表示，金山辦公要跟中國優(yōu)秀的大模型提供方站在一起。金山辦公和文心的合作，會(huì )進(jìn)一步推動(dòng)大模型在辦公領(lǐng)域的應用和快速落地。