问题——生成内容快速普及带来信息风险叠加 随着内容生产工具普及，网络内容供给显著扩张，普通用户表达更为便捷，但低质、失真甚至虚假内容也随之增多。今日头条治理开放日披露，2025年平台累计处置低质生成内容超过260万条；同年共清理虚假内容700万余条，并对3.3万个违规账号实施禁言或封禁。对应的数据表明，虚假信息与低质内容交织传播，已成为平台生态治理的突出问题之一。 原因——成本下降与链条化运作推高识别难度 平台治理负责人介绍，内容生成门槛降低，使部分账号能够以更低成本批量生产内容，低质内容形态持续翻新，给识别与处置带来挑战。更值得关注的是，风险场景正向“技术化、隐蔽化”演进。平台安全运营负责人指出，诈骗手段从传统话术转向通过伪造素材、批量生成诱导性信息引流的新型骗局，迷惑性更强、变化更快，单靠传统拦截难以及时覆盖新变种。此外，部分违规行为呈现链条化特征：从内容生产、分发扩散到引流变现环环相扣，导致治理压力向全流程延伸。 影响——挤压优质内容空间，抬高用户辨识成本与社会风险 与会专家认为，生成内容引发的问题不能简单等同于“质量不高”。中国社会科学院大学互联网法治研究中心相关负责人指出，生成内容可能叠加虚假信息、侵权、低俗和误导等多重风险；当低质内容持续扩散，既会挤压优质内容生存空间，也会抬高公众获取有效信息的时间与辨识成本。另外，诈骗、网暴等风险与内容生态相互交织：一上，虚假信息可能成为诈骗引流的“入口”；另一方面，网络暴力、恶意攻击又会加剧公共讨论的对立情绪，影响网络空间秩序与社会信任。 对策——“内容识别+账号治理”双线并进，强化多方协同 针对低质与虚假内容，平台治理路径主要聚焦两端：一是提升内容识别能力，通过监测与聚类分析提取生成内容特征，提高对异常传播、模板化叙事和批量发布行为的识别效率；二是强化账号治理，对持续发布相关内容的账号采取限流、禁言等措施，形成对违规生产与传播的约束。围绕诈骗风险，平台一方面加强对高危私信场景的风险提示，2025年累计推送涉诈风险提醒300万余条；另一方面推动“以技术对技术”的治理思路，提升对新型骗局的快速识别与处置能力。 从治理结构看，中国政法大学网络法学研究所相关负责人指出，虚假信息与网络诈骗已形成相对完整的传播链条，需要法律规制、平台管理与社会共治同向发力。平台作为“第一道防线”，应持续完善规则、技术和处置机制；同时，公众防范意识与参与度直接影响治理效果。平台披露的另一组现象值得关注：风险提醒持续覆盖的同时，仍有部分用户对反诈提示存在抵触情绪。这提示治理不仅是技术问题，也涉及用户教育、信息素养提升与社会协同机制完善。 前景——在鼓励创作与守住底线之间寻求动态平衡 随着生成能力迭代升级，内容生产与传播方式仍将快速变化，平台治理将从“事后清理”更多转向“前置预警”和“体系化防控”。未来一段时期，关键在于三上：其一，更提升跨模态识别与关联分析能力，增强对新型谣言、引流信息的早发现、早处置；其二，完善账号信用与分级管理机制，对高风险行为形成可持续约束；其三，加强与监管部门、行业机构及社会组织的协作，推动规则共识与标准建设，同时以更易懂、可交互的方式提升公众识骗、防骗能力。平台在白皮书中还披露，2025年处置网暴相关违规评论3.6亿条，并为70万账号启用一键防网暴功能，表明治理正向更精细化的个人保护与场景化管理延伸。
AI技术改变了信息社会的运作方式，既带来机遇也带来挑战。今日头条等平台的治理探索反映了行业的主动应对。但AI时代的治理需要多方共担责任：法律需跟进——平台需创新——社会需参与。只有形成共识与行动，才能在享受便利的同时防范风险，为信息生态的健康发展负责。