OpenAI推出的視頻生成應用Sora確實因內容生成問題陷入了不小的爭議。OpenAI 新推出的視頻生成使用 Sora 2，僅上線數(shù)日便登上美國 App Store 榜首，但這場“現(xiàn)象級爆紅”很快演化成了言論危機。研討者發(fā)現(xiàn)，該系統(tǒng)在多重安全機制下仍能容易生成暴力、種族歧視以及侵犯版權的內容，引發(fā)廣泛擔憂。

這款使用允許用戶通過提示詞生成傳神的視頻，并在內置社交流中分享。短短數(shù)天內，Sora 2的熱度席卷社交平臺，但研討人員指出，他們成功生成了包括爆破威脅、大規(guī)模槍擊、戰(zhàn)役場景等畫面的虛偽視頻，其間乃至觸及加沙、緬甸等敏感區(qū)域的假造戰(zhàn)地印象。

波士頓大學媒體研討專家 Joan Donovan 表明，這類AI系統(tǒng)“沒有歷史忠實度，也沒有事實聯(lián)系”，意味著惡意使用者可以輕松制造出極具利誘力的虛偽視頻，進行欺詐、打擾乃至言論操控。

在研討報告中，專家還發(fā)現(xiàn)多起令人不安的例子：白人至上主義標語出現(xiàn)在AI生成的視頻中、迪士尼等版權人物被用于不當情境和虛構新聞片段展示不存在的武裝沖突。

《華盛頓郵報》記者 Drew Harwell 乃至成功生成包括“憤恨誘導內容、虛偽犯罪場景和性暗示畫面”的視頻，雖然OpenAI宣稱平臺嚴格制止此類行為。

OpenAI首席執(zhí)行官 Sam Altman 此前承認在推出Sora 2前“有些忐忑”，但仍稱這將是一個“創(chuàng)意版ChatGPT時刻”。公司表明已部署安全過濾機制，制止生成觸及實在人物或暴力內容的視頻。

但是，研討表明這些“防火墻”并未真實阻止模型失控。Sora 2 能在視覺上假造新聞報道、戰(zhàn)役場景和公共事件，使“真假難辨”成為新常態(tài)。

學界和業(yè)界憂慮，隨著AI視頻生成進入大眾化階段，人們的信息信賴系統(tǒng)將被完全推翻。正如Donovan所言：“這項技能不歸于歷史，也不歸于本相——它歸于速度與流量。”

Sora 2 本意是下降創(chuàng)造門檻，讓人人都能拍出“想象中的短片”，但如今，它也成了AI倫理與監(jiān)管的試金石。在缺少強制檢查與透明算法的布景下，AI生成視頻或許成為虛偽信息、仇恨言論和版權糾紛的新溫床。

現(xiàn)在，OpenAI沒有對暴力與種族內容事件作出詳細回應，僅表明“將持續(xù)改進安全機制”。如何在新技術的浪潮中履行好平臺責任，成為一個緊迫問題。