AI伪造视频问题愈发严重，非盈利机构呼吁停用SORA2模型

今日有消息显示，OpenAI旗下的Sora 2人工智能视频生成平台正深陷争议漩涡，越来越多的倡导组织、学者与专家纷纷发出警示：该平台允许用户仅通过一段文本提示词就能生成任意AI视频，这一功能已造成非自愿图像的泛滥，同时也使得高度逼真的深度伪造（deepfake）内容急剧增加。

尽管OpenAI已针对涉及公众人物的AI生成内容强化管理，比如禁止生成迈克尔・杰克逊、马丁・路德・金博士以及弗雷德・罗杰斯先生（“罗杰斯先生”）做出离奇举动的视频，不过这类管控手段通常是在相关名人遗产管理方和演员工会提出强烈抗议后，才不得不推出的。

非营利组织“公共公民”（Public Citizen）于本周二向OpenAI及其首席执行官山姆・奥尔特曼（Sam Altman）发出信函，呼吁其即刻将Sora 2从公开市场下架。信中提到，Sora 2为抢在竞品前发布而仓促上线，这体现了“OpenAI长期存在的危险行事风格：急于推出要么本身存在安全隐患、要么缺乏必要防护机制的产品”。信函还着重指出，Sora 2暴露了对产品安全性的“轻率忽视”，同时侵犯了公众的肖像权，并对民主制度的稳定构成威胁。该组织也已将此信函抄送美国国会。

我们最担心的是它对民主制度可能造成的潜在威胁。“公共公民”组织的科技政策倡导者J.B.布兰奇（J.B. Branch）在接受采访时说：“我觉得我们正在进入这样一个时代——人们再也没法真正相信自己看到的图像和视频了。政治圈里已经出现了一种手段：谁先放出相关的图片或视频，公众最后记住的往往就是那一个版本。”

作为上述信函的执笔人，布兰奇还指出，此类技术更广泛地侵蚀着个人隐私权，且对网络上的弱势群体造成尤为严重的不成比例影响。

尽管OpenAI已明令禁止生成裸露内容，但布兰奇表示，“女性正面临其他形式的线上骚扰”，像一些带有特定恋物癖倾向的小众内容依旧能避开应用审核机制进行传播。新闻媒体404 Media在上周五发布报道称，由Sora生成的大量“女性遭扼颈”视频正在网络上快速增加。

注意到，一个多月前，OpenAI 在 iPhone 上推出了其新的 Sora 应用。上周，该应用在美国、加拿大以及包括日本和韩国在内的几个亚洲国家的安卓手机上上线。

到目前为止，最强烈的反对声音主要来自好莱坞以及日本漫画（Manga）行业等其他娱乐产业相关方。在Sora上线没几天，OpenAI就宣布了首批重要调整，其表示“过度审核（overmoderation）确实让用户感到非常沮丧”，不过同时也强调，在“全球社会还在适应这项新技术的阶段”，保持谨慎保守的态度是极其重要的。

之后，OpenAI在10月16日对外宣布和马丁・路德・金博士家族达成协议，明确禁止生成对这位民权领袖形象的“不敬描绘”，与此同时还在加快完善相关技术防护手段；到了10月20日，该公司又和《绝命毒师》的主演布莱恩・克兰斯顿（Bryan Cranston）、美国演员工会—美国电视与广播艺术家联合会（SAG-AFTRA）以及多家经纪公司签署了类似的协议。

“如果你名气大，那还好说。”布兰奇评论道，“但这恰恰凸显了 OpenAI 一贯的行事模式：他们只愿回应极少数群体的愤怒抗议；惯于先发布、后道歉。然而，许多问题本可在产品发布前通过设计层面的审慎决策加以规避。”

OpenAI的核心产品ChatGPT此前也遭遇过类似的指责。就在上周，加利福尼亚州法院新受理了七起诉讼，控告这款聊天机器人在部分用户原本不存在精神健康问题的情况下，诱发了他们的自杀念头以及有害的妄想。这些诉讼是由“社交媒体受害者法律中心”和“科技正义法律项目”联合发起的，代表着六名成年人与一名青少年，他们指控OpenAI在明知相关风险的情况下，于去年匆忙推出GPT-4o模型，对内部关于该模型存在危险的讨好倾向和心理操控性的警示置若罔闻。目前已有四名受害者因此自杀离世。

尽管“公共公民”并未参与上述诉讼，布兰奇表示，他认为 Sora 的仓促发布与此存在相似之处。

他指出：“不顾一切地猛踩油门，毫不在意可能造成的危害。其中很多后果其实是可以预见的。但他们宁愿推出产品，让人们下载，让人们对其上瘾，也不愿做正确的事 —— 事先对这些产品进行压力测试，并关注普通用户的困境。”

上周，OpenAI针对日本动漫与游戏产业的抗议进行了回应。日本该领域具有代表性的行业协会曾致信OpenAI，其成员涵盖宫崎骏所创立的吉卜力工作室（Studio Ghibli），以及万代南梦宫（Bandai Namco）、史克威尔艾尼克斯（Square Enix）等知名游戏开发企业。OpenAI在相关声明里提到：“不少动漫爱好者希望能和自己喜爱的角色展开互动”，不过公司也已建立防护机制，避免在未得到版权方许可时生成知名角色的形象。

“我们正与各大工作室及版权方直接沟通，认真听取反馈，并持续观察用户（包括高度重视文化与创意产业的日本市场）如何使用 Sora 2。”OpenAI 在针对该行业协会信函的声明中如是表示。