神经网络由一层又一层连接的计算节点(神经元)组成，这些节点通过数学方程运行数据并根据它们的属性对它们进行分类。当将多层神经元相互堆叠时，深度学习算法可以执行以前除了人类思维之外的任何东西都无法解决的任务。

与需要人类程序员精心编写每条行为规则的经典软件相反，深度学习算法通过研究示例来开发自己的行为。如果您为神经网络提供数千个标记为“成人内容”或“安全内容”的帖子，它将调整其神经元的权重，以便能够将未来的内容分类为这两个类别。该过程被称为“监督学习”，是目前最流行的深度学习方式。

基本上，神经网络根据数据与他们训练过的例子的相似性对数据进行分类。因此，如果一篇新帖子与标记为“成人内容”的训练样本在视觉上更相似，它会将其标记为 NSFW。

通过深度学习审核内容需要什么

内容审核的问题不仅仅是图像分类问题。Tumblr 对成人内容的定义包括“展示真实人类生殖器或女性乳头的照片、视频或 GIF，以及描绘性行为的任何内容——包括照片、视频、GIF 和插图”。

这意味着将标记成人内容的 AI 必须解决两个不同的问题。首先，它必须确定内容是否包含“现实生活”图像以及是否包含“人类生殖器或女性乳头”。其次，如果不是现实生活中的内容(如绘画、插图和雕塑)，则必须检查它是否包含对性行为的描述。

理论上，第一个问题可以通过基本的深度学习训练来解决。为您的神经网络提供足够多的来自不同角度、不同光照条件、不同背景等的人类生殖器图片，您的神经网络将能够标记新的裸体图像。在这方面，Tumblr 不乏训练数据，一个人类训练师团队可能能够在合理的时间内训练网络。

但是，当您添加异常时，任务就会出现问题。例如，用户可能仍被允许分享非性内容，例如母乳喂养、乳房切除术或性别确认手术的图片。

在这种情况下，分类需要的不仅仅是比较像素和寻找视觉相似性。进行审核的算法必须了解图像的上下文。有些人会争辩说，抛出更多数据将解决问题。例如，如果你向审核 AI 提供大量的母乳喂养图片样本，它将能够区分淫秽内容和母乳喂养内容。

从逻辑上讲，神经网络将决定母乳喂养图片包括人类婴儿。但随后用户将能够对系统进行游戏。例如，有人可以编辑 NSFW 图像和视频，并在框架的角落添加婴儿图片，以欺骗神经网络，使其误认为是母乳喂养图像。这是一个永远不会对人类版主起作用的技巧。但是对于简单地检查图像外观的深度学习算法来说，它可能会经常发生。

插图、绘画和雕塑的节制更加困难。作为一项规则，只要不描绘性行为，Tumblr 将允许涉及裸体的艺术作品。但它如何区分裸体艺术和色情内容呢?同样，这对于人类主持人来说将是一项非常容易的任务。但是经过数百万个例子训练的神经网络仍然会犯人类显然会避免的错误。

历史表明，在某些情况下，即使是人类也无法就内容是否安全做出正确决定。内容审核出现问题的一个明显例子是Facebook 的凝固汽油弹女孩崩溃，社交媒体删除了一张标志性的越战照片，该照片描绘了一名裸体女孩逃离凝固汽油弹袭击。

Facebook 首席执行官马克扎克伯格首先为这一决定辩护，称“虽然我们承认这张照片具有标志性意义，但很难区分允许在一个实例中拍摄裸体儿童的照片，而不是在其他实例中。” 但在媒体广泛反对之后，Facebook 被迫恢复了这张照片。