Sora App面臨爭(zhēng)議：生成暴力和種族主義內(nèi)容

OpenAI推出的視頻生成應(yīng)用Sora確實(shí)因內(nèi)容生成問(wèn)題陷入了不小的爭(zhēng)議。OpenAI 新推出的視頻生成使用 Sora 2，僅上線數(shù)日便登上美國(guó) App Store 榜首，但這場(chǎng)“現(xiàn)象級(jí)爆紅”很快演化成了言論危機(jī)。研討者發(fā)現(xiàn)，該系統(tǒng)在多重安全機(jī)制下仍能容易生成暴力、種族歧視以及侵犯版權(quán)的內(nèi)容，引發(fā)廣泛擔(dān)憂。

這款使用允許用戶通過(guò)提示詞生成傳神的視頻，并在內(nèi)置社交流中分享。短短數(shù)天內(nèi)，Sora 2的熱度席卷社交平臺(tái)，但研討人員指出，他們成功生成了包括爆破威脅、大規(guī)模槍擊、戰(zhàn)役場(chǎng)景等畫面的虛偽視頻，其間乃至觸及加沙、緬甸等敏感區(qū)域的假造戰(zhàn)地印象。

波士頓大學(xué)媒體研討專家 Joan Donovan 表明，這類AI系統(tǒng)“沒(méi)有歷史忠實(shí)度，也沒(méi)有事實(shí)聯(lián)系”，意味著惡意使用者可以輕松制造出極具利誘力的虛偽視頻，進(jìn)行欺詐、打擾乃至言論操控。

在研討報(bào)告中，專家還發(fā)現(xiàn)多起令人不安的例子：白人至上主義標(biāo)語(yǔ)出現(xiàn)在AI生成的視頻中、迪士尼等版權(quán)人物被用于不當(dāng)情境和虛構(gòu)新聞片段展示不存在的武裝沖突。

《華盛頓郵報(bào)》記者 Drew Harwell 乃至成功生成包括“憤恨誘導(dǎo)內(nèi)容、虛偽犯罪場(chǎng)景和性暗示畫面”的視頻，雖然OpenAI宣稱平臺(tái)嚴(yán)格制止此類行為。

OpenAI首席執(zhí)行官 Sam Altman 此前承認(rèn)在推出Sora 2前“有些忐忑”，但仍稱這將是一個(gè)“創(chuàng)意版ChatGPT時(shí)刻”。公司表明已部署安全過(guò)濾機(jī)制，制止生成觸及實(shí)在人物或暴力內(nèi)容的視頻。

但是，研討表明這些“防火墻”并未真實(shí)阻止模型失控。Sora 2 能在視覺(jué)上假造新聞報(bào)道、戰(zhàn)役場(chǎng)景和公共事件，使“真假難辨”成為新常態(tài)。

學(xué)界和業(yè)界憂慮，隨著AI視頻生成進(jìn)入大眾化階段，人們的信息信賴系統(tǒng)將被完全推翻。正如Donovan所言：“這項(xiàng)技能不歸于歷史，也不歸于本相——它歸于速度與流量。”

Sora 2 本意是下降創(chuàng)造門檻，讓人人都能拍出“想象中的短片”，但如今，它也成了AI倫理與監(jiān)管的試金石。在缺少?gòu)?qiáng)制檢查與透明算法的布景下，AI生成視頻或許成為虛偽信息、仇恨言論和版權(quán)糾紛的新溫床。

現(xiàn)在，OpenAI沒(méi)有對(duì)暴力與種族內(nèi)容事件作出詳細(xì)回應(yīng)，僅表明“將持續(xù)改進(jìn)安全機(jī)制”。如何在新技術(shù)的浪潮中履行好平臺(tái)責(zé)任，成為一個(gè)緊迫問(wèn)題。