近几年，随着人工智能特别是生成式AI技术的快速进步，视频内容的生产门槛被大幅降低。YouTube作为全球最大的在线视频平台，自然成为了这一新兴内容形态的主要集中地。然而，令人担忧的是，越来越多使用AI制作的卡通暴力和色情内容涌现在YouTube频道上，内容涉猎极端血腥场面甚至儿童不宜的性暗示，这在一定程度上引发了公众和监管机构的担忧。这些视频通常采用深受儿童喜爱的动画形象，比如动画猫、迷你兵团甚至儿童经典卡通人物，利用生成式AI快速产出情节离奇且充满暴力和色情观感的内容。这些内容还频繁出现虐待、凌虐、性暗示等元素，结合哄骗性质的标题和标签，使得未成年人极易被误导或接触到。众所周知，2017年爆发的“Elsagate”事件曾引起广泛关注，当时大量含有恶意篡改儿童角色的低质量视频泛滥于YouTube平台，导致YouTube Kids应用上甚至出现危险和不当的动画内容。
尽管YouTube经过调整和严格打击后，一度有效控制了此类内容的传播，但随着生成式AI的兴起，类似现象死灰复燃，且更具规模和复杂性。最新调查显示，某些以“Go Cat”为名的频道公开宣称自己是儿童友好类，实则上传血腥变形、肢体扭曲、虐待甚至带有性化元素的AI生成卡通视频，并吸引了海量观众订阅和观看。伴随着动听的音乐与天真无邪的笑声，暴力、虐待、性暗示与身体变异等内容的结合形成鲜明对比，让人不寒而栗。据Common Sense Media等权威机构分析，这些视频内容往往表现为角色经历极端痛苦、身体扭曲、医学手术甚至虐童行为，反映出现今家庭观看内容监管放松以及算法推动对于低质甚至有害内容的放大效应。YouTube方面表示已针对相关频道采取处罚措施，包括终止数个频道、暂停盈利权限及删除大量违规视频，且承诺利用技术和人工双重审核机制强化内容治理。此外，YouTube推出了针对儿童内容的质检规则，意图提高优质儿童内容的曝光率，抵制低质和危险视频。
尽管如此，AI技术的普及使违规内容更容易快速复制和再上传，导致平台监管面临极大挑战。技术简单易懂的生成式AI甚至让没有艺术技能的人也能轻松创作大量带有恶意性质的卡通内容，形成恶性传播循环。除了YouTube外，类似内容在短视频平台TikTok等处也时有出现，视频合成技术叠加真实画面，进一步提升内容的迷惑性和传播风险。同样，平台方也在积极响应，通过删除违规内容和渠道规范试图遏制问题蔓延。面对日益严峻的网络儿童保护形势，立法规范也逐渐提上日程。例如加州近期提议的以风险等级分类监管AI系统的法律，要求禁止高风险AI工具对未成年人开放，从根本上限制AI技术被滥用于制作和传播低俗暴力内容。
就公众和家长层面而言，监控儿童观影内容、加强数字素养教育、自觉选择健康内容成为守护未成年人的重要举措。内容创作者与平台应强化责任感，优先考虑受众的安全和身心健康，以质量优先取代流量至上的内容生产方式。随着AI技术继续深刻改变数字媒体生态，社会多方力量需合力推动制定更严格、更智能的审核机制，兼顾技术创新与伦理道德，确保下一代成长环境的纯净和安全。只有这样，才能有效防止网络安全隐患和儿童权利被侵害，保障互联网成为安全积极的文化空间。
