人工智能内容监管领域出现标志性判例：某平台用户因发布内容被系统判定为“未标识的AI生成内容”，遭平台隐藏内容并禁言1天。用户起诉后，北京互联网法院近日一审判决平台构成服务合同违约，需撤销处理措施并删除违规记录。该案系国内首起因平台判定用户发布内容为AI生成而引发的案件。

内容被屏蔽引发诉讼

在某科技公司运营的知名网络平台上，用户李某发布了一段生活建议：“打工并不能让你真的赚到多少钱，但可以开启你的新视角……”

平台算法将该内容标记为“包含AI生成内容但未标识”，随即隐藏内容并对账号禁言1天。李某申诉无果后诉至北京互联网法院，主张其并未使用AI创作，某科技公司的行为构成违约，请求法院判令撤销隐藏涉案内容和禁言账号1天的违规处理，并在后台系统中删除违规处理记录。

某科技公司辩称，其有权依据双方网络服务合同审核认定李某使用平台服务时的违规行为并采取必要治理措施，不构成违约。涉案平台规范中明确规定：“创作者在发布包含人工智能生成内容时，应主动使用‘人工智能生成内容’的标签进行声明，未主动声明的内容，平台将采取适当措施进行流量限制并添加相关标识。”李某发布的内容经机器识别为“包含人工智能生成”，经过人工复核，认定该内容缺乏明显的人类情感特征。被告作为网络服务提供方，有权自行选择合理、必要的方式和技术，网络服务合同未约定被告有义务向用户提供、解释技术秘密和算法逻辑。被告针对人工智能治理需求开发、部署、运行自研深度合成算法模型是合理、必要的，并设置专门测试团队通过技术手段观察、抽检模型运行的准确率，如发生准确率下降或异常波动，被告会及时对模型进行优化迭代。

庭审中，某科技公司提交其在互联网信息服务算法备案系统公示的相关算法机制机理内容作为算法决策判定的证据。

平台审查应合理有据

北京互联网法院经审理认为，该案中，某科技公司结合《互联网信息服务深度合成管理规定》中有关深度合成标识的管理规定和网络空间治理的现实需要，发布了社区公告载明“创作者在发布包含AIGC生成的内容时，应主动使用标识，帮助读者进行区分。对发布时未主动声明的内容，平台将采取适当措施进行流通限制并添加相关标识”“未经标签声明，使用人工智能生成的内容构成违规”。李某系平台注册用户，上述公告属于平台服务协议的组成部分。因此，某科技公司有权依据合同约定对涉案内容是否属于AI生成合成内容进行审查和处理。

同时，法院认为，平台的审查及处理结果应有合理依据。该案中，李某主张涉案内容并非AI生成内容，某科技公司对涉案内容的审查及处理违反平台服务协议，在一般情况下，李某应该提供如创作底稿、原件、源文件、源数据等证明人类创作属性的初步证据，但该案中李某回答内容系即时性创作文本，在客观上无法提供上述证据，由李某提供上述证据亦不存在合理性和现实可行性。而某科技公司基于算法工具的运算结果得出涉案内容为AI生成合成的审查结论，其既是算法工具掌控方又是结果判断方，算法工具运算过程和审查结果由其掌控，在此情况下，其应就该事实进行合理举证或解释说明。

虽然某科技公司在该案中提供了算法的备案信息，但公示内容显示该算法功能为识别有安全风险的回答，无法认定其系对AI生成合成识别判断的技术，故无法确认备案信息与该案争议的关联性，因此某科技公司未对涉案内容属于AI生成合成的判断依据和结果作出合理解释。此外，某科技公司对人工复核程序的解释为需要非常明显的人类情感特征才能驳回算法决策结果，而该判断标准更多依赖主观认识和个人经验，并不具有科学依据以及较强的说服力和可信度。

据此，法院认定某科技公司未对算法决策依据和结果进行适度的解释和说明，应对其在没有事实依据的情况下对涉案账户的处理行为承担违约责任。

北京互联网法院一审判决某科技公司展开对于涉案内容的隐藏，删除在后台的违规处理记录。目前，该案判决已生效。

完善平台治理模式

北京互联网法院综合审判一庭副庭长袁建华在接受记者采访时表示，国家互联网信息办公室等部门联合发布的《人工智能生成合成内容标识办法》将于2025年9月1日起正式施行。该办法规范了人工智能生成合成内容标识的使用，要求用户发布AI生成合成内容时主动声明并进行标识，网络信息内容传播服务提供者应当采取措施，规范生成合成内容传播活动。当前，生成式人工智能技术在内容的生成合成方面展现了巨大的能量和潜力，为数字经济发展注入强大动力。与此同时，在AI生成合成内容未进行“AI标识”的情况下，公众难以区分AI生成合成内容和人类创作内容，利用AI实施诈骗、侵权等违法犯罪的行为有上升趋势。AI生成合成内容标识作为对人工智能生成内容监管的有益工具和必要手段，会对净化网络内容环境和网络空间治理起到一定积极作用。

中国人民大学法学院副教授、信息文明与国家治理研究所所长黄尹旭在接受记者采访时表示，该案是对AI生成合成内容标识的标记、平台识别和治理在司法审查规则方面的有益探索。一方面肯定了网络内容服务平台利用算法工具对AI生成合成内容进行审查和处理，履行信息内容管理主体责任的积极作用；另一方面，认定网络内容服务平台在即时性创作文本场景下对使用算法自动化决策结果承担适度说明义务，并为司法审查阶段的算法解释说明程度确立了一定的标准。

“需要强调的是，算法治理需在保障技术透明度与激发产业创新活力间寻求动态平衡。”黄尹旭表示，明确算法解释说明的司法审查标准，既保障了网络用户合法权益，又能有效推动算法公开透明，规范算法应用行为，推动平台经济健康发展。该案通过司法个案裁判，合理分配网络内容服务平台和用户的举证责任，推动网络内容服务平台提高算法的识别能力和决策能力，切实提升人工智能信息内容治理水平。

来源：中国知识产权报