AI濫用“以假亂真”，你我如何不“入坑”？

2025-11-13 09:02 工人日報責任編輯：吳靜

利用AI"傍名人"帶貨,使用AI生成的虛假商品測評,發布AI合成內容卻不"打標"……

AI濫用"以假亂真",你我如何不"入坑"?

編者按

AI技術的不斷發展和應用,給人們的工作和生活帶來諸多便利,與此同時,由于生成圖像、視頻、音頻的門檻降低,利用人工智能進行"移花接木"偽造虛假信息的情況頻現。在電商平臺,有的商家利用AI技術仿冒名人進行直播和營銷帶貨,侵害他人合法權益,損害消費者知情權和選擇權。期待法治對AI濫用現象做出精準回應,為技術發展明確法律邊界,讓科技在法治軌道上更好地服務人類。

近日,女演員溫崢嶸自曝在網上刷到了假冒自己的直播間。此前就有人發現,她曾"出現"在多個直播間,同一時段,妝造不同,產品不同,但說著同樣的話。這些直播間影像均非溫崢嶸本人出鏡,有的竟是AI合成的虛假直播。

AI技術的不斷成熟和廣泛應用,給人們的工作和生活帶來諸多便利,但與此同時,某些個人或商家利用AI生成虛假視頻誤導公眾。

專業人士認為,應進一步明確AI生成內容的標識義務,同時,技術平臺和電商平臺等傳播類平臺需承擔識別、攔截以及對違規賬號進行處罰的主體責任,公眾也應提升對AI生成內容的認知能力和風險防范意識。

仿冒視頻誤導消費者

"真這么神奇嗎?""就這個痔瘡凝膠,不用忌口,不用遭罪,是全網唯一沒有差評的產品……"近日,《工人日報》記者在上海的趙女士展示的一段視頻中看到,韓紅、潘長江兩位明星一問一答,正推銷某痔瘡產品,視頻中還有其他女明星為該產品"站臺"。

趙女士告訴記者,這是今年8月她在母親手機里某短視頻軟件上拍攝的一段視頻。她母親看到"連大牌明星都在推薦這款產品",便準備下單購買。趙女士及時阻止,"這視頻一看就是AI生成的,說話時表情和嘴巴都不自然"。

作為一名AI短劇創作者,譚靖告訴記者,趙女士母親看到的明星推銷視頻實際是利用數字人技術制作而成。"只要有一張明星的照片,就能讓人物動起來,哪怕是張截圖。這位明星只要在某場合說了一句話,聲音也能被克隆。"

今年6月,北京市海淀區市場監管局查處了某公司利用AI技術冒用央視知名主持人名義和形象的虛假廣告案。8月,有媒體披露,在某社交平臺上,有博主利用AI技術仿冒奧運冠軍全紅嬋的聲音賣土雞蛋,其中有的視頻點贊量高達1.1萬。奧運冠軍孫穎莎和王楚欽也同樣遭遇了類似仿冒。

以假亂真的畫面和聲音,加上名人效應,讓一些制作虛假視頻的營銷博主收獲了大量訂單。記者在某短視頻平臺看到,趙女士母親刷到的"明星推銷痔瘡產品"視頻已下架,但顯示該產品銷量已近6000件。據報道,在"全紅嬋帶貨土雞蛋"的視頻評論區,大量粉絲誤以為就是運動員本人"代言",紛紛下單購買,該商品顯示已售出4.7萬件。

有消費者發現,隨著"雙十一"到來,購物平臺上AI生成的商品展示增多,如各類玩偶掛件、衣服、家具,甚至包括試衣模特。還有的商家在商品詳情頁、直播間使用AI生成的虛假測評,編造使用體驗,影響消費者理性判斷。

墾丁律師事務所創始合伙人麻策律師表示,利用AI技術仿冒名人進行直播和營銷帶貨,嚴重侵害了被仿冒名人的肖像權、名譽權和聲音權等合法權益,違反了消費者權益保護法和廣告法中關于禁止虛假宣傳及不實廣告的規定,損害了消費者的知情權和選擇權,情節嚴重的可能構成詐騙罪,須承擔刑事責任。

中國人民大學公共管理學院教授、首都發展與戰略研究院研究員張友浪表示,虛假視頻和商品展示等不僅導致信息失真與信任侵蝕,售后維權問題增多,還會帶來平臺生態劣化,合規經營者被不公平競爭擠壓等問題。

識別AI虛假視頻的難度增大

"AI工具日益普及、操作簡便,使得非專業人士也能輕易生成虛假內容,是AI生成內容被濫用的首要原因。"北京郵電大學互聯網治理與法律研究中心主任謝永江分析說。

10月17日晚,安徽銅陵一女子用AI技術生成了幾張"流浪漢進家"的圖片,發給在外聚餐的丈夫。逼真的畫面讓丈夫信以為真并報了警。民警到現場核實后,才確認是利用AI整蠱引起的鬧劇。

在一家音樂培訓機構做視頻剪輯的時一,從去年起開始嘗試用AI生成視頻。近日她在網上發布了一條自己制作的短片:藍色天空下,白色教學樓里傳來學生的瑯瑯讀書聲,教室里,老師在黑板上寫下作文題"我想去看看"……3分鐘的視頻里,風景、人物、日常用品都十分逼真。

"用AI技術生成圖片,再將圖片生成視頻,最后剪輯加配音,一條視頻就完成了。"時一告訴記者,她并非影視專業畢業,只是對生成式視頻感興趣,上述逼真的視頻便是她用三四個軟件制作而成。

"很多AI圖片和視頻達到了以假亂真的程度,除非有標識,否則很難辨別。"在一家頭部短視頻平臺做技術維護的劉鈺(化名)直言,隨著大模型生成能力越來越強,識別AI虛假視頻的難度越來越大。

"一些長視頻還可以根據上下文背景區分,以人像為主的短視頻加上特效后幾乎與真人沒區別,如果設備、碼率、幀率等再有所改善,識別精度會進一步受限。"劉鈺說,現階段平臺在AI視頻識別上還主要靠人工和機器相結合,無法完全依賴技術識別。

張友浪分析認為,平臺流量與帶貨轉化的強激勵,使得一些商家和個人利用AI技術實現"劣幣逐利",并迅速復制擴散;網絡環境的匿名性、隱蔽性,使得濫用行為的取證難、追責成本高;很多人辨別深度偽造的媒介素養不足,平臺的內容溯源機制不完善等,同樣助長了AI生成內容應用亂象。

讓AI生成內容"可見、可檢、可追"

今年9月1日起,由國家互聯網信息辦公室等制定的《人工智能生成合成內容標識辦法》開始施行,要求所有AI生成的文字、圖片、視頻等內容"亮明身份",即添加標識以明確其來源和真實性。

時一告訴記者,導出AI生成視頻時,一般軟件會自帶有AI水印,如果沒帶水印,在發布視頻時需要選擇平臺提供的AI生成聲明選項。

"但選不選,目前還是看自覺,有的人可能以為只要視頻不涉及版權、肖像權等問題就可以不標注。"譚靖說,為了博眼球、賺流量,一些博主還會特意用AI技術去掉視頻原本的"AI生成"水印,并在發布時選擇不標注。

9月,有短視頻平臺發布關于加強治理AI內容濫用的公告稱,平臺已對違規視頻和賬號采取下架、清退等措施,并強調AI應用必須合規,任何誤用、濫用行為將被嚴厲打擊。

張友浪建議,不僅要對AI生成內容添加標識,而且要"可見、可檢、可追",可探索技術層面的隱性水印與溯源元數據、模型指紋等技術相結合,便于平臺與相關部門監管核驗。

在明確AI生成內容的標識責任上,張友浪認為,應實行"內容生產者為首責、平臺把關、第三方可核驗"的分層機制:上傳者先自聲明與嵌入水印;平臺在分發前進行自動識別與抽檢復核,對未標注或疑似不實的內容,要求強制補標或限流下架;行業協會與權利人可通過取證接口進行外部核驗。此外,對商業營銷、廣告性質的內容,應按廣告法規定的更高披露標準執行。

為進一步引導社會合法合理使用AI生成內容,謝永江建議強化平臺責任,加強技術和管理措施,同時提高公眾AI素養。此外,還要加強跨部門協作,進一步整治AI生成內容相關的違法行為。(記者陶穩)

本
網
聲
明

本網轉載內容出于更直觀傳遞信息之目的。該內容版權歸原作者所有，并不代表本網贊同其觀點和對其真實性負責。如該內容涉及任何第三方合法權利，請點擊投訴按鈕，我們會及時反饋并處理完畢。

投訴

新聞中心