人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的重要驅動(dòng)力。2023年中央經(jīng)濟工作會(huì )議提出，要大力推進(jìn)新型工業(yè)化，發(fā)展數字經(jīng)濟，加快推動(dòng)人工智能發(fā)展?！笆奈濉币巹澓?035年遠景目標綱要強調，加強網(wǎng)絡(luò )安全關(guān)鍵技術(shù)研發(fā)，加快人工智能安全技術(shù)創(chuàng )新，提升網(wǎng)絡(luò )安全產(chǎn)業(yè)綜合競爭力。本期特邀專(zhuān)家圍繞相關(guān)問(wèn)題進(jìn)行研討。

　　夯實(shí)人工智能發(fā)展的安全基礎

　　加快推動(dòng)人工智能發(fā)展，需如何應對潛在風(fēng)險、把握戰略主動(dòng)？

　　單志廣（國家信息中心信息化和產(chǎn)業(yè)發(fā)展部主任、國家大數據發(fā)展專(zhuān)家咨詢(xún)委員會(huì )秘書(shū)長(cháng)）：黨的二十大報告提出，推進(jìn)國家安全體系和能力現代化，堅決維護國家安全和社會(huì )穩定。人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的戰略性技術(shù)，同時(shí)也具有明顯的“雙刃劍”特征。一方面，人工智能賦能網(wǎng)絡(luò )攻防、開(kāi)源情報等國家安全相關(guān)領(lǐng)域，是筑牢國家安全屏障的有力抓手；另一方面，人工智能因其脆弱性、不穩定性、不可解釋性等特點(diǎn)，在與經(jīng)濟社會(huì )深度融合應用的過(guò)程中，極易引發(fā)國家、社會(huì )、企業(yè)和個(gè)人等層面的安全風(fēng)險。在席卷全球的人工智能浪潮中，如何應對人工智能風(fēng)險、把握發(fā)展戰略主動(dòng)、有效維護和保障國家安全，是國家治理的重要議題。

　　近年來(lái)，國家高度重視人工智能安全發(fā)展，逐步完善相關(guān)政策法規。國務(wù)院印發(fā)《新一代人工智能發(fā)展規劃》提出面向2030年我國新一代人工智能發(fā)展的指導思想、戰略目標、重點(diǎn)任務(wù)和保障措施，部署構筑人工智能發(fā)展的先發(fā)優(yōu)勢，加快建設創(chuàng )新型國家和世界科技強國。面向算法治理，出臺《關(guān)于加強互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導意見(jiàn)》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規定》等。面向人工智能合成技術(shù)的快速突破，出臺《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規定》《生成式人工智能服務(wù)管理暫行辦法》等。在全球數字經(jīng)濟激烈競爭格局下，科學(xué)把握風(fēng)險防范的尺度至關(guān)重要。2023年7月24日中共中央政治局會(huì )議強調“促進(jìn)人工智能安全發(fā)展”，體現了堅持統籌發(fā)展和安全、堅持發(fā)展和安全并重的理念，釋放了以人工智能技術(shù)激發(fā)數實(shí)融合新動(dòng)能、打造高質(zhì)量發(fā)展新引擎的積極信號。

　　推動(dòng)人工智能產(chǎn)業(yè)快速發(fā)展，要把保障數據安全放在突出位置。

　　第一，數據是數字經(jīng)濟時(shí)代的關(guān)鍵生產(chǎn)要素，保障數據安全是促進(jìn)人工智能安全發(fā)展的重要基礎。我國2022年數字經(jīng)濟規模逾50萬(wàn)億元，總量穩居世界第二，占GDP比重41.5%，數據量呈爆發(fā)式增長(cháng)態(tài)勢。隨著(zhù)數據要素規模不斷擴大，以人工智能為代表的數字技術(shù)將實(shí)現知識與數據雙輪驅動(dòng)，數據價(jià)值得到進(jìn)一步釋放，生產(chǎn)資源配置、生產(chǎn)運營(yíng)邏輯以及生產(chǎn)、分配、流通和消費關(guān)系等得以重塑，生產(chǎn)方式和生產(chǎn)關(guān)系發(fā)生變革，賦能傳統產(chǎn)業(yè)轉型升級，助力數字經(jīng)濟快速發(fā)展。同時(shí)，也伴隨著(zhù)數據泄露、虛假信息、算法歧視等數據安全新問(wèn)題。只有筑牢數字安全屏障，才能為人工智能發(fā)展保駕護航。

　　第二，人工智能產(chǎn)業(yè)快速發(fā)展過(guò)程中顯現出數據安全領(lǐng)域的風(fēng)險挑戰。當前，人工智能進(jìn)入快速發(fā)展期，應高度關(guān)注并有效應對隨之而來(lái)的問(wèn)題。例如，神經(jīng)網(wǎng)絡(luò )具有“黑盒”特點(diǎn)，導致人工智能存在不可解釋性；深度學(xué)習對訓練樣本過(guò)度依賴(lài)，導致學(xué)習結果的不可判定性；神經(jīng)網(wǎng)絡(luò )前向推進(jìn)的不可逆，導致結果的不可推論性。此外，漏洞、后門(mén)等引發(fā)的問(wèn)題交織疊加，使得人工智能應用系統的數據安全問(wèn)題變得更加復雜。針對IT行業(yè)領(lǐng)導者進(jìn)行的一項關(guān)于ChatGPT等大模型的調查顯示，安全性是受訪(fǎng)者最關(guān)心的問(wèn)題，71%的受訪(fǎng)者認為生成式人工智能會(huì )給企業(yè)的數據安全帶來(lái)新的風(fēng)險。為了防止敏感數據外流，微軟、亞馬遜等科技公司已相繼限制或禁止其員工使用生成式人工智能工具?？梢?jiàn)，全面加強人工智能數據安全保障體系和能力建設已成為應對新形勢新挑戰的必然之舉。

　　人工智能時(shí)代的數字安全威脅到底有多大？一方面，人工智能系統自身面臨多維度安全風(fēng)險。技術(shù)內生風(fēng)險和系統衍生風(fēng)險交織疊加，使得人工智能時(shí)代的安全問(wèn)題異常復雜。數據安全風(fēng)險方面，人工智能依托海量數據發(fā)展，有敏感信息泄露風(fēng)險，且人工智能平臺收集的原始數據與衍生數據的歸屬權、控制權和使用權目前在法律上尚難界定；算法模型安全方面，安全風(fēng)險貫穿數據采集、預處理、模型訓練、模型微調、模型部署應用等人工智能模型構建的全生命周期；外部攻擊安全方面，數據投毒、模型后門(mén)、對抗樣本、數據泄露、模型竊取、軟件漏洞等安全隱患屢見(jiàn)不鮮。

　　另一方面，人工智能技術(shù)濫用帶來(lái)數字安全威脅。當前，生成式人工智能的發(fā)展標志著(zhù)人工智能正在從專(zhuān)用智能邁向通用智能，進(jìn)入了全新發(fā)展階段。大部分傳統人工智能模型的安全風(fēng)險仍然存在，同時(shí)生成式人工智能也有一些特有的問(wèn)題：技術(shù)軟肋難以避免，易培育假信息“溫床”；使用方式簡(jiǎn)單便捷，易形成失泄密“陷阱”；新興技術(shù)尚難監管，易成為信息戰“武器”。

　　因此，亟需加強人工智能發(fā)展的潛在風(fēng)險研判和防范，確保人工智能安全、可靠、可控。

　　完善數據安全監管體系

　　我國在創(chuàng )新人工智能技術(shù)手段及完善數據安全監管方面取得哪些成效？

　　陳鳳仙（中國電信研究院高級分析師）：黨中央高度重視人工智能安全發(fā)展問(wèn)題，圍繞產(chǎn)業(yè)發(fā)展、科技倫理、算法治理及行業(yè)應用安全等方面，加快人工智能安全技術(shù)創(chuàng )新，逐步形成一套較為完善的發(fā)展政策和法規體系，確保維護國家安全和社會(huì )公共利益。據統計，我國人工智能核心產(chǎn)業(yè)規模達5000億元，算力總規模位居全球第二。

　　在規范人工智能科技倫理方面，陸續發(fā)布《新一代人工智能治理原則——發(fā)展負責任的人工智能》《新一代人工智能倫理規范》等，積極引導全社會(huì )負責任地開(kāi)展人工智能研發(fā)和應用。2023年5月，工信部科技倫理委員會(huì )、工信領(lǐng)域科技倫理專(zhuān)家委員會(huì )正式成立，進(jìn)一步加強科技倫理審查和監管。

　　在強化人工智能算法治理方面，我國在規制生成式人工智能領(lǐng)域率先推出多項有力舉措。國家互聯(lián)網(wǎng)信息辦公室等部門(mén)2022年11月聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規定》，明確生成式人工智能應用服務(wù)提供者、技術(shù)支持者和服務(wù)使用者等各方法定義務(wù)；2023年7月聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，鼓勵生成式人工智能創(chuàng )新發(fā)展，對生成式人工智能服務(wù)實(shí)行包容審慎和分類(lèi)分級監管。

　　在人工智能全球治理合作方面，我國積極參與、多方實(shí)踐，取得重要進(jìn)展。2022年11月，我國向聯(lián)合國《特定常規武器公約》締約國大會(huì )提交《中國關(guān)于加強人工智能倫理治理的立場(chǎng)文件》，提出人工智能治理要堅持倫理先行、加強自我約束、強化責任擔當、鼓勵國際合作等多項主張，表明了推動(dòng)各方共商共建共享、加強全球治理、積極構建人類(lèi)命運共同體的中國立場(chǎng)。2023年4月，我國向聯(lián)合國提交《中國關(guān)于全球數字治理有關(guān)問(wèn)題的立場(chǎng)》，明確表示各國應在普遍參與的基礎上，通過(guò)對話(huà)與合作，推動(dòng)形成具有廣泛共識的人工智能?chē)H治理框架和標準規范。

　　與此同時(shí)，我國將數據安全放在保障人工智能安全發(fā)展的突出位置，大力推動(dòng)數據資源建設，強化安全防護技術(shù)手段迭代升級，完善數據安全監管體系，取得明顯成效。

　　穩步推進(jìn)數據基礎制度構建、數據資源供給和流通利用。在國家層面，逐步完善數據資源建設頂層設計，對加快培育統一的技術(shù)和數據市場(chǎng)及經(jīng)營(yíng)主體、構建數據基礎制度等提出明確要求。2023年10月，國家數據局掛牌成立，推動(dòng)數據實(shí)現從自然資源到經(jīng)濟資產(chǎn)的跨越。在地方層面，多地加快培育規范數據交易市場(chǎng)。2022年1月，北京國際大數據交易所率先在全國建立數字經(jīng)濟中介產(chǎn)業(yè)體系。截至2023年9月，全國注冊成立的數據交易機構已有60家。2023年以來(lái)，北京、上海、廣東、江西、湖北、貴州等密集發(fā)布政策文件，深化數據要素市場(chǎng)改革和創(chuàng )新。為助力大模型應用落地，一些地方積極探索政產(chǎn)學(xué)研聯(lián)合構建高質(zhì)量數據集。例如，北京啟動(dòng)實(shí)施通用人工智能產(chǎn)業(yè)創(chuàng )新伙伴計劃，發(fā)布“北京市人工智能大模型高質(zhì)量數據集”。國家互聯(lián)網(wǎng)信息辦公室發(fā)布《數字中國發(fā)展報告（2022年）》顯示，2022年我國數據產(chǎn)量達8.1ZB，同比增長(cháng)22.7%，全球占比10.5%，位居世界第二。

　　大幅提升依靠技術(shù)解決安全風(fēng)險問(wèn)題的能力。一方面，網(wǎng)絡(luò )安全技術(shù)創(chuàng )新應用活躍。近年來(lái)，相關(guān)機構持續強化網(wǎng)絡(luò )安全技術(shù)布局及應用，加快推動(dòng)重點(diǎn)領(lǐng)域和細分環(huán)節技術(shù)突破、專(zhuān)利布局和標準轉化。另一方面，網(wǎng)絡(luò )安全、數據安全產(chǎn)業(yè)快速發(fā)展。2022年，我國網(wǎng)絡(luò )安全產(chǎn)業(yè)規模增速約為13.9%。北京、長(cháng)沙、成渝三大國家網(wǎng)絡(luò )安全產(chǎn)業(yè)園區相繼成立，匯聚網(wǎng)絡(luò )安全企業(yè)超500家，10個(gè)網(wǎng)絡(luò )安全創(chuàng )新應用示范區加速建設。2023年1月，工信部等部門(mén)印發(fā)《關(guān)于促進(jìn)數據安全產(chǎn)業(yè)發(fā)展的指導意見(jiàn)》，提出到2025年數據安全產(chǎn)業(yè)規模超1500億元，年復合增長(cháng)率超30%，推動(dòng)數據安全產(chǎn)業(yè)駛入快車(chē)道。

　　加快推進(jìn)立法進(jìn)程，標準體系建設取得階段性成效。一方面，完善數據安全監管法律依據，推動(dòng)重要數據和個(gè)人信息保護合規水平進(jìn)一步提升。建立應對數據泄露等事故的應急響應機制，及時(shí)啟動(dòng)應急預案并妥善處置。另一方面，抓緊研制數據質(zhì)量、數據安全、算法正確性等技術(shù)規范和標準。2023年8月，我國發(fā)布人工智能安全基礎標準《信息安全技術(shù) 機器學(xué)習算法安全評估規范》。同時(shí)，在生物特征識別、智能汽車(chē)等人工智能關(guān)鍵應用領(lǐng)域發(fā)布多項國家標準，支撐人工智能安全發(fā)展。

　　強化生成式人工智能安全防范

　　生成式人工智能引發(fā)新一輪智能化浪潮，筑牢數字安全屏障需采取哪些新舉措？

　　武虹（中國科協(xié)創(chuàng )新戰略研究院研究員）：生成式人工智能作為大模型、大數據、大算力的產(chǎn)物，在強大算力支持下，借助大型語(yǔ)言模型將收集到的海量信息進(jìn)行處理并回應用戶(hù)的個(gè)性化需求，近乎無(wú)成本地生成針對特定提問(wèn)內容編寫(xiě)的答案，是人工智能領(lǐng)域一次出色的集成創(chuàng )新。

　　也應看到，生成式人工智能并不公開(kāi)其收集和整理的海量互聯(lián)網(wǎng)語(yǔ)料、模型架構及訓練內容，加之其深度學(xué)習算法基于統計原理之上，僅對客觀(guān)規律進(jìn)行揭示卻無(wú)法給予解釋，已構成事實(shí)上的數據及技術(shù)黑箱，勢必會(huì )對數據安全模式帶來(lái)新的擾動(dòng)。因此，有必要采取新的應對措施。

　　一是強化數據全生命周期監督管理。生成式人工智能語(yǔ)料庫的大規模集聚將帶來(lái)包含數據采集、處理加工、存儲及輸出等覆蓋數據全生命周期的安全問(wèn)題。數據采集輸入階段，可能會(huì )有未經(jīng)審核的虛假信息入庫進(jìn)而影響語(yǔ)料庫質(zhì)量；數據處理加工階段，語(yǔ)料庫的標注過(guò)程可能有意識形態(tài)和價(jià)值觀(guān)影響風(fēng)險，同時(shí)算法也可能會(huì )有相當程度的傾向性引導，其運算結果又會(huì )被潛移默化地注入后續數據處理；數據輸出階段，更是存在非真實(shí)世界批量自動(dòng)產(chǎn)生的海量數據被當作新的語(yǔ)料庫，產(chǎn)生后續迭代風(fēng)險。因此，建議進(jìn)行數據全生命周期的安全體系構建。例如，針對個(gè)人隱私及知識產(chǎn)權等數據，通過(guò)隱私計算及區塊鏈等強化數據安全防范力度；針對醫療、金融、電商等重點(diǎn)行業(yè)，通過(guò)訪(fǎng)問(wèn)控制、安全可信計算環(huán)境等技術(shù)手段加強防護。

　　二是提升對攻擊性人工智能的防范意識。攻擊性人工智能通常分為兩種形式，即“使用人工智能的攻擊”和“攻擊人工智能”。隨著(zhù)生成式人工智能技術(shù)快速提升，網(wǎng)絡(luò )攻擊者編寫(xiě)惡意代碼以及實(shí)施數據攻擊的技術(shù)門(mén)檻大大降低。同時(shí)，大模型也面臨被注入特定引導詞以誘導其輸出偽造數據甚至違法答案等間接數據安全風(fēng)險。傳統的成本高昂的攻擊手法，向分布式、智能化、自動(dòng)化方向演進(jìn)。建議推動(dòng)以企業(yè)為主體、基于人工智能的新一代數據安全防護等專(zhuān)項研究；鼓勵相關(guān)行業(yè)的科技領(lǐng)軍企業(yè)發(fā)布橫向課題，聯(lián)合高校及科研院所開(kāi)展協(xié)同攻關(guān)；通過(guò)風(fēng)險投資引導初創(chuàng )公司將成果應用于數據安全對抗業(yè)務(wù)，促進(jìn)以企業(yè)應用為導向的生成式人工智能對抗模型產(chǎn)學(xué)研一體化創(chuàng )新體系構建。

　　三是完善國家層面的數據安全戰略規劃及頂層設計。生成式人工智能在進(jìn)行人類(lèi)對話(huà)、推理和翻譯寫(xiě)作時(shí)，給人類(lèi)的信息掌控及自主決策能力等帶來(lái)挑戰。同時(shí)，生成式人工智能也極大促進(jìn)了交互式數據的迭代輸出與自動(dòng)傳輸，增加了危及國家數據主權、信息與網(wǎng)絡(luò )空間安全的潛在風(fēng)險。面對生成式人工智能引發(fā)的不確定性，需提前研判可能的安全風(fēng)險，建立健全政府、企業(yè)與社會(huì )等溝通交流機制，探索推動(dòng)多方合作的治理模式，加速構建國家層面數據安全戰略規劃和大模型監管應用法律支撐，通過(guò)夯實(shí)自主可控新基建設施、加快行業(yè)自治規范與國家強制性法律法規等協(xié)同體系構建，以及發(fā)起或加入單邊及多邊協(xié)議或聯(lián)盟等方式，鞏固國家數據安全防線(xiàn)。

　　從國際上看，在生成式人工智能安全防范方面，一些國家的經(jīng)驗做法值得借鑒。例如，歐盟2021年提出《人工智能法案》草案，旨在基于風(fēng)險識別分析方法為人工智能制定統一的法律監管框架和規制體系。2023年12月，歐洲議會(huì )、歐盟委員會(huì )和27個(gè)成員國談判代表就該法案達成協(xié)議，針對ChatGPT等生成式人工智能工具的透明度問(wèn)題做出相應規定，其中包括由人工智能生成的內容需提供受版權保護的訓練數據集摘要等，還對人工智能風(fēng)險級別進(jìn)行了劃分，并給出對應的監管要求。美國白宮2022年發(fā)布《人工智能權利法案藍圖》，將公平和隱私保護視為法案的核心宗旨。2023年1月，美國國家標準技術(shù)研究院發(fā)布人工智能風(fēng)險管理框架，提供系統化評估路徑，將人工智能的風(fēng)險管理分為治理、映射、測量和管理4個(gè)模塊。其中，治理模塊主要針對人工智能系統全生命周期實(shí)行有效風(fēng)險管理機制；映射模塊主要用于明確特定場(chǎng)景與其對應的人工智能風(fēng)險解決方案；測量模塊主要采用定量、定性或混合工具，對人工智能系統風(fēng)險和潛在影響進(jìn)行分析、評估、測試和控制；管理模塊主要針對系統風(fēng)險進(jìn)行判定、排序和響應，明確風(fēng)險響應步驟，定期監控記錄并完善風(fēng)險響應和恢復機制。

　　可見(jiàn)，生成式人工智能更要兼顧發(fā)展與安全，重視防范風(fēng)險與包容審慎平衡，從而更好推動(dòng)經(jīng)濟高質(zhì)量發(fā)展。（本文來(lái)源：經(jīng)濟日報）