對于濫用生成式人工智能技術(shù)的擔憂(yōu)在世界范圍內都存在。不僅因為其超越一般技術(shù)的“創(chuàng )造能力”和“破壞性”，更因為人們發(fā)現，生成式人工智能技術(shù)發(fā)展的速度極快。目前，世界各國對其風(fēng)險的預判與防范均處于探索階段，有賴(lài)于法律體系的進(jìn)一步完善。?

　　10分鐘內被騙走430萬(wàn)元，近期，用AI技術(shù)興風(fēng)作浪的詐騙案件，引起了社會(huì )關(guān)注。

　　5月22日，包頭警方發(fā)布的一起利用AI實(shí)施電信詐騙的案例沖上熱搜。福州市某科技公司法人代表郭先生在接到“好友”微信視頻電話(huà)后，考慮到關(guān)系好又是真人視頻通話(huà)，在10分鐘內直接向對方賬戶(hù)匯款430萬(wàn)元。隨后才意識到自己遭遇了“高端”騙局，“好友”是騙子通過(guò)AI換臉技術(shù)佯裝而成的。

　　關(guān)于A(yíng)I技術(shù)的爭論不曾停止過(guò)。此前，ChatGPT就曾因編寫(xiě)假新聞而飽受詬病，而近期大量出現的AI詐騙更是令人不得不開(kāi)始反思，AI生成的虛假信息或許潛藏著(zhù)巨大的社會(huì )風(fēng)險。

　　需警惕生成式人工智能技術(shù)的濫用

　　英國媒體《每日郵報》曾報道，2019年3月，英國警方逮捕了一名使用AI語(yǔ)音模仿軟件的詐騙者。他將自己的聲音改變成當地一家能源公司老板的聲音，以“幫助公司避免拖欠罰款”為由要求一位高管向其匯款，通過(guò)電話(huà)騙取了22萬(wàn)歐元（約合人民幣170萬(wàn)元）。據這名高管回憶，當時(shí)他也產(chǎn)生了疑心，但他的確聽(tīng)到了老板的德國口音。此案被認為是全球首例人工智能詐騙案。

　　其實(shí)，模仿一個(gè)人的聲音乃至外貌，對AI來(lái)說(shuō)并不是新鮮事。此前，“AI孫燕姿”就曾在B站等網(wǎng)絡(luò )平臺走紅，視頻上傳者通過(guò)使用AI音色替換技術(shù)(Sovits4.0)，生成了高度還原孫燕姿音色的翻唱歌曲，其中原唱為周杰倫的歌曲《發(fā)如雪》播放量已超過(guò)200萬(wàn)次。近期也有媒體報道了一款網(wǎng)絡(luò )上的付費AI換臉軟件，其套餐價(jià)格從499元到2888元不等，肉眼來(lái)看，換臉之后的“數字人”口型、表情、微小的動(dòng)作幾乎毫無(wú)破綻。

　　諸如此類(lèi)生成式人工智能（Generative Artificial Intelligence，簡(jiǎn)稱(chēng)GAI）的大量出現很大程度上得益于深度合成和機器學(xué)習的快速發(fā)展。而AI詐騙者正是通過(guò)這些先進(jìn)的技術(shù)，訓練出能夠模擬人類(lèi)語(yǔ)言和神態(tài)的AI。

　　蘇州大學(xué)競爭政策與反壟斷研究中心研究員方翔指出，近期的AI詐騙案件主要是人工智能技術(shù)在圖像領(lǐng)域的應用，其可以將不同人臉圖像中的面部特征相互替換?！皵M聲”則是借助深度學(xué)習模型，根據已有的語(yǔ)音樣本（如通話(huà)錄音、網(wǎng)絡(luò )視頻等）生成與其近似的聲音，進(jìn)而做到與人交談。

　　5月24日，中國互聯(lián)網(wǎng)協(xié)會(huì )發(fā)文提醒，伴隨著(zhù)深度合成技術(shù)的開(kāi)放開(kāi)源，深度合成產(chǎn)品和服務(wù)逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進(jìn)行詐騙、誹謗的違法行為屢見(jiàn)不鮮。面對利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強防范。業(yè)內人士普遍認為，“AI換臉”技術(shù)的濫用給人們敲響了警鐘，其復雜性、隱蔽性也給科技識別及運用提出了更高的要求。

　　“對于生成式人工智能，正當適度使用，可以倍增工作效率，有力推動(dòng)創(chuàng )意產(chǎn)業(yè)發(fā)展，促進(jìn)消費者福祉增長(cháng)。但同時(shí)，虛假使用可引發(fā)謠言泛濫、侵害權利、壓榨利益，而過(guò)度使用可引發(fā)踐踏人性、減少就業(yè)、貧富懸殊，而惡意濫用甚至成為歪曲真相、撕裂社會(huì )、政策干擾、禍亂宇內的罪惡之源?！敝袊ヂ?lián)網(wǎng)協(xié)會(huì )法工委副秘書(shū)長(cháng)胡鋼認為，要堅持依法崇德治理，使全社會(huì )形成法網(wǎng)大于互聯(lián)網(wǎng)、國法高于算法、人工智能不能成為“人工制人”的共識。

　　探索構建完善的人工智能法律體系

　　“我國針對人工智能及數據安全、個(gè)人信息保護的立法雖然起步較晚，但日臻成熟?！狈较柚赋?#xff0c;早在2017年7月，國務(wù)院印發(fā)《新一代人工智能發(fā)展規劃》，其作為我國AI發(fā)展的綱領(lǐng)性文件，提出了面向2030年我國新一代人工智能發(fā)展的指導思想、戰略目標、重點(diǎn)任務(wù)和保障措施，其中特別提到“到2025年初步建立人工智能法律法規、倫理規范和政策體系，形成人工智能安全評估和管控能力”。

　　2022年12月，國家網(wǎng)信辦、工信部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規定》，強調不得利用深度合成服務(wù)從事法律、行政法規禁止的活動(dòng)，要求深度合成服務(wù)提供者對使用其服務(wù)生成或編輯的信息內容，應當添加不影響使用的標識。提供智能對話(huà)、合成人聲、人臉生成、沉浸式擬真場(chǎng)景等生成或者顯著(zhù)改變信息內容功能服務(wù)的，可能導致公眾混淆或者誤認的，應當進(jìn)行顯著(zhù)標識。

　　2023年4月，國家網(wǎng)信辦起草《生成式人工智能服務(wù)管理辦法（征求意見(jiàn)稿）》并向社會(huì )公開(kāi)征求意見(jiàn)，提出AI內容必須真實(shí)準確，禁止非法獲取、披露、利用個(gè)人信息和隱私、商業(yè)秘密。

　　“總的來(lái)看，構建完善的人工智能法律體系，我國目前仍在探索階段?！狈较枵f(shuō)。中國信息通信研究院云計算與大數據研究所所長(cháng)何寶宏則指出，2022年12月發(fā)布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規定》明確針對在中國境內應用深度合成技術(shù)提供的互聯(lián)網(wǎng)信息服務(wù)進(jìn)行規制，其中，深度合成技術(shù)是指利用深度學(xué)習、虛擬現實(shí)等生成合成類(lèi)算法制作文本、圖像、音頻、視頻、虛擬場(chǎng)景等網(wǎng)絡(luò )信息的技術(shù)?！霸谏鲜龇煞ㄒ幍木唧w落實(shí)過(guò)程中，存在兩方面的挑戰?！?/p>

　　“一是防范深度合成技術(shù)應用生成錯誤價(jià)值導向、虛假信息的能力需要進(jìn)一步提升?！痘ヂ?lián)網(wǎng)信息服務(wù)深度合成管理規定》要求深度合成服務(wù)提供者對輸入數據和合成結果進(jìn)行審核、建立健全識別違法和不良信息的特征庫、依法處置違法和不良信息的生成合成信息內容。但是，對于深度合成服務(wù)提供者如何落實(shí)內容管理需要進(jìn)一步細化，提供者需要不斷提升技管結合的能力；對于內容管理落實(shí)的具體效果，也有待進(jìn)行持續性的跟蹤檢驗?！逼浯?#xff0c;何寶宏指出，對深度合成信息內容增加標識的具體規范也需要進(jìn)一步細化，文件中明確深度合成服務(wù)提供者提供深度合成服務(wù)，可能導致公眾混淆或者誤認的，應當在生成或者編輯的信息內容的合理位置、區域進(jìn)行顯著(zhù)標識?！暗珜τ谌绾卧黾语@著(zhù)標識以及增加標識的具體方式需要盡快出臺細化的要求規范?！?/p>

　　超越一般技術(shù)的“破壞性”引發(fā)擔憂(yōu)

　　對于濫用生成式人工智能技術(shù)的擔憂(yōu)在世界范圍內都存在。不僅因為其超越一般技術(shù)的“創(chuàng )造能力”和“破壞性”，更因為人們發(fā)現，生成式人工智能技術(shù)發(fā)展的速度極快。

　　從OpenAI去年11月推出ChatGPT，到今年3月其迭代品GPT-4面世，僅用了幾個(gè)月的時(shí)間。GPT-4不僅知識面更廣、回答問(wèn)題更流暢，還可以描述并理解圖片，甚至具備一定自我反思的能力。

　　OpenAI的首席執行官Sam Altman接受采訪(fǎng)時(shí)就曾表示，擔心這些模型可能被用于大規模的虛假信息，也擔心人類(lèi)被控制?！癈hatGPT是一個(gè)高度受人類(lèi)控制的工具。但也許會(huì )有人放棄設置我們目前已有的一些安全限制?！彼a充，“我認為，社會(huì )只有有限的時(shí)間來(lái)弄清楚如何對此做出反應，如何監管，如何處理它?！?/p>

　　今年3月，美國特斯拉汽車(chē)公司首席執行官埃隆·馬斯克曾聯(lián)合1000多名業(yè)界、學(xué)界人士發(fā)表公開(kāi)信，呼吁所有AI實(shí)驗室立即暫停訓練比ChatGPT更強大的AI系統，暫停至少6個(gè)月。其信中提到，在開(kāi)發(fā)強大的AI系統之前，要確信這些系統的影響是積極的，風(fēng)險是可控的。

　　同時(shí)公開(kāi)報道顯示，今年3月31日，意大利個(gè)人數據保護局宣布即日起暫時(shí)禁止使用ChatGPT，并暫時(shí)限制OpenAI處理意大利用戶(hù)數據。意大利成為首個(gè)禁止ChatGPT的西方國家，歐盟的多個(gè)國家也開(kāi)始跟進(jìn)，醞釀具體監管措施。

　　各國政府都在加快出臺人工智能監管法律。據路透社報道，英國競爭和市場(chǎng)管理局正在審查人工智能對消費者、企業(yè)和經(jīng)濟的影響，考慮是否需要新的監管措施。法國隱私監管機構正在調查與ChatGPT有關(guān)的幾起投訴。澳大利亞政府正在咨詢(xún)科學(xué)咨詢(xún)機構，來(lái)考慮下一步的監管行動(dòng)。歐洲數據保護委員會(huì )已成立ChatGPT特別工作組；歐盟消費者組織則呼吁歐盟消費者保護機構調查ChatGPT技術(shù)及對消費者的潛在危害。

　　“鑒于人工智能的技術(shù)復雜性，世界各國對其風(fēng)險治理均處于探索階段，對其約束和監管仍有賴(lài)于法律體系的完善?！狈较杞榻B，歐盟目前正在推進(jìn)全球首部人工智能法案。2023年4月，歐洲議會(huì )成員就《人工智能法（The AI Act）》提案達成臨時(shí)政治協(xié)議，強化對生成式人工智能的監管，并將人工智能技術(shù)可能帶來(lái)的風(fēng)險細化為極小風(fēng)險、有限風(fēng)險、高風(fēng)險、不可接受風(fēng)險4個(gè)等級?！斑@一立法動(dòng)向值得我國關(guān)注?！狈较韪嬖V記者。

　　中青報·中青網(wǎng)記者 李若一 王林 見(jiàn)習記者 裴思童 來(lái)源：中國青年報