近日，美國OpenAI公司發(fā)布的首個視頻生成模型“Sora”給國內外信息產業(yè)帶來震撼影響，同時也引發(fā)了人們對生成式AI技術被用于深度偽造內容，可能加劇錯誤和虛假信息傳播的擔憂。在生成式AI技術迅速發(fā)展的當下，偽造視頻、圖片、語音用于不法目的的行為時有報道。已有多家媒體報道稱，生成式AI技術已被用于深度偽造領域，并被用于誤導選民、干擾選舉、抹黑名人、造謠誹謗、電信詐騙、色情敲詐等不法行為中。

當前，國內外生成式AI技術快速發(fā)展，從事該領域研究、開發(fā)、應用的新生企業(yè)如雨后春筍般涌現(xiàn)，AI手機的開發(fā)更是如火如荼。需要看到的是，生成式AI技術的快速發(fā)展具有兩面性。一方面是該技術有創(chuàng)造性，能為影視制作、文娛創(chuàng)作、游戲制作、音樂工業(yè)等提供全新生產力，促進文化產業(yè)繁榮發(fā)展；另一方面是該技術具有破壞性，能快速廉價地實現(xiàn)以假亂真、移花接木、無中生有等特定訴求，為不法分子大開方便之門。

如能有效限制生成式AI技術的破壞性，更能有利于生成式AI技術的創(chuàng)造性發(fā)揮，在保障這一新生事物行穩(wěn)致遠的同時，也能夠使之成為國家經濟增長中的新質生產力之一。為此，筆者建議從多個層次扎牢防范風險的籬笆。

在生成式AI大模型的開發(fā)過程中，監(jiān)管機構應督促相關上市公司盡快設立兩類審查制度，切實管控好底層代碼和訓練樣本。

一類審查用于生成式AI大模型的底層代碼。對于從事生成式AI大模型的開發(fā)型企業(yè)，應在內部建立起對底層代碼審查制度，其底層代碼對監(jiān)管機構及內部審查機構透明化可查閱，鼓勵頭部開發(fā)企業(yè)在底層代碼開源可見、主動對外披露方面多做工作。

一類審查用于生成式AI大模型的樣本訓練環(huán)節(jié)。對于從事生成式AI大模型的訓練型企業(yè)，應在內部建立對訓練樣本審查制度，其訓練樣本的來源、脫敏、數(shù)據(jù)清洗等關鍵環(huán)節(jié)應設置檢查點，從而避免敏感信息、個人信息被用于樣本訓練，進而生成深度偽造內容。

在生成式AI大模型的安裝及應用過程中，應盡快建立實名認證制度和指令鑒別機制。

通過建立實名認證制度，可確保安裝在個人計算機、服務器、手機、智能移動終端的生成式AI大模型客戶端與用戶實名捆綁，確定生成式AI大模型的指令發(fā)出人、指令接受人、內容流向清晰可見，在內容生成流程上實現(xiàn)可追溯、可監(jiān)控、可預防。

通過建立指令鑒別機制，可在生成式AI大模型的客戶端就及時拒絕并剔除非法指令，提前鑒別出有明顯違法傾向性的提示詞指令，從而預防生成式AI大模型被用于深度偽造的不法目的。

在生成式AI大模型的內容傳播過程中，應建立標簽提示機制。標簽提示機制應安排在視頻、圖片、語音等關鍵位置上，提示受眾注意相關內容由生成式AI提供，確保受眾能分辨出生成式AI大模型的內容，以免出現(xiàn)視聽混淆、錯誤理解等。

對于生成式AI大模型的開發(fā)企業(yè)、發(fā)布商、硬件生產商及主要受眾群體應給予全面覆蓋的警示教育。監(jiān)管機構應警惕生成式AI技術被用于深度偽造內容后，產生“造謠、信謠、傳謠”的連鎖反應，在網絡終端提前構建快速反應的輿情監(jiān)控系統(tǒng)，確保實現(xiàn)“違法亂紀的勾當做不得，以假亂真的內容信不得，混淆黑白的消息傳不得”的理念深入人心。

對于銀行網點、快遞收發(fā)、電商、短視頻、直播等高頻率內容傳播環(huán)節(jié)，應督促相關上市公司按照分區(qū)負責、統(tǒng)一責任、統(tǒng)一管理的方式，安排專人宣講防范手段、危害重點和典型案例，營造全民防范深度偽造的社會氛圍。

（來源：證券日報）