當前，生成式人工智能技術日益普及，不少內容創作者通過AI創作出更具想象力的作品。但也有一些人利用AI造假，無底線博眼球，作為起號變現捷徑。
記者以想學習AI起號為由，向一名博主咨詢AI視頻起號相關問題。畫面中博主提到的這類賬號，發布的穿搭、保養、護膚、養生等視頻多未設置AI生成提示，不少網友誤以為是真人，在評論區咨詢保養方法。
一名博主透露，她借助AI軟件生成的“氛圍感美女”視頻在多個平臺“吸粉”過萬，接到不少推廣商單，月收入在1萬元左右。
記者向一名銷售AI生成視頻帶貨教程的賣家咨詢詳細情況。記者調查發現，當前，主流網絡平臺普遍升級AI內容識別系統，要求對AI生成作品添加標注，但仍有一些人采用各種手段繞過審核。
記者調查發現，社交平臺上有不少AI造假起號的教程，情感、養生、顏值等類別是“重災區”，相關帖子常以“條條是爆款”“最適合普通人入局”“3天暴力起號”等為噱頭。
有專營平臺起號的商家告訴記者，只需繳納1680元，3到15天即可運營出一個萬粉AI賬號。當賬號積累一定流量后，就可以通過電商帶貨、賬號轉賣等方式變現。
有商家稱，手上有未標注AI生成的“美女”賬號，粉絲量均在一萬以上，且為“三無賬號”（無實名、無賬號違規、無作品違規）。
記者搜索發現，社交平臺上有眾多網友求購和出售賬號。一名賣家稱，2.5萬粉絲的AI養生號售價6000元，11萬粉絲的AI寵物號售價1.6萬元，11.7萬粉絲的AI母嬰號售價1.35萬，這些賬號同樣是“三無賬號”。
受訪專家表示，這些“三無賬號”的買賣以及AI造假起號，涉及技術提供者、傳播平臺、內容發布者等多個參與方，技術、數據等關鍵信息存在壁壘，需加強協同治理。
重慶公孝律師事務所執行主任徐斌表示，AI造假起號灰色產業鏈是技術異化的結果，可能造成低俗獵奇信息泛濫，加速虛假新聞、謠言傳播，擾亂網絡空間秩序，還可能會涉及到一些法律，亟待加強清理整治。
阻斷違規賬號的流量變現，是從根源上打擊黑灰產業鏈的關鍵。受訪專家建議，監管部門應督促平臺履行治理責任，建立違規賬號“黑名單”，對高頻、反復觸犯平臺規則的賬號主體加大處罰力度，禁止違規賬號進行帶貨、賣課等商業活動，持續開展AI造假起號整治，切斷其獲利渠道。
AI生成的圖像、視頻、音頻和虛擬人形象，正在豐富互聯網信息，拓展文化創意、教育培訓、信息傳播等應用場景。但是，熱潮之下也存在隱憂。
數字人播報是一種新興的短視頻形式。記者在某AI平臺支付費用、成為會員后，便可體驗AI口播視頻、文字生成視頻、圖片生成視頻等功能。在AI口播視頻功能中，有直播帶貨、品牌營銷、理財顧問、知識科普、資訊播報等多個選項，以及與之相匹配的虛擬主播形象和音色。記者調查發現，這類視頻容易引起關注、獲得流量，但也導致一些信息真假難辨，出現“偽科普”、假新聞、假理財等亂象。
在一些自媒體平臺，穿越歷史題材的AI生成視頻熱度頗高，不少視頻有數萬點贊量和轉發量。這些視頻將主播置身于古代著名歷史事件場景中，帶給網友新奇、直觀的視覺體驗，也實現了信息的趣味化傳播，但其中也不乏“偽歷史”“偽科學”AI視頻。
在社交媒體平臺，AI圖片生成的熱度持續攀升。用戶只需上傳一張照片，就能一鍵生成軍人、警察等形象，相關話題已累計吸引數億閱讀量。
專家指出，生成式人工智能在提升效率、激發創意方面前景廣闊，但若被不當利用，可能誤導公眾，甚至滋生違法犯罪。
利用AI視頻博眼球、賺流量之外，已經有一些不法分子將魔爪伸出屏幕，利用AI視頻造假的手段直接侵害公民財產安全。
2024年6月，南京市玄武區人民檢察院受理了一起“AI換臉網絡盜刷案”：犯罪嫌疑人符某使用非法獲取的手機號、身份證等公民個人信息，通過換臉軟件AI生成動態視頻，以“人臉識別”方式登錄累計23名被害人的網購平臺賬戶，更改了多名被害人的支付密碼、綁定的手機號，后冒用1位被害人賬戶綁定的銀行卡，用于購買兩部手機，總價值人民幣15996元。
2024年10月18日，法院判決符某犯公民個人信息罪、信用卡詐騙罪，判處有期徒刑四年六個月，并處罰金4萬元；同時需公開賠禮道歉、刪除非法信息并賠償損失。
受訪專家認為，AI造假亂象亟需監管部門、軟件開發商、平臺、公眾等多方協同發力，共同參與治理。
