算法危害的爆炸性规模

2022年1月11日整理发布：“该模型是否违背了受试者的兴趣?简而言之，这不公平吗?它会损害或摧毁生命吗?” 奥尼尔在数学毁灭的武器中提出。

有很多 AI 算法提出愚蠢的购物建议、错误分类图像和做其他愚蠢事情的例子。但随着人工智能模型在我们的生活中变得越来越根深蒂固，它们的错误正从良性转变为破坏性。

在她的书中，奥尼尔探讨了许多算法对人们的生活造成损害的案例。例子包括错误地惩罚人们的信用评分系统，根据种族和民族背景对被告给予更重刑罚的累犯算法，最终解雇表现良好的教师和奖励作弊者的教师评分系统，以及赚取数十亿美元的交易算法以牺牲低收入阶层为代价。

算法的影响，加上它缺乏透明度，助长了危险的人工智能系统的创建。例如，奥尼尔说，“新的累犯模型是复杂和数学的。但在这些模型中嵌入了许多假设，其中一些是带有偏见的，”并补充道，“累犯模型的工作原理隐藏在算法中，只有极少数精英才能理解。”

这基本上意味着人工智能算法可以根据一个人的种族决定将一个人关进监狱，而被告无法找出他们被认为没有资格获得赦免的原因。

还有两个因素使危险的 AI 算法的损害更加有害。

首先，数据。机器学习算法依赖于高质量数据进行训练和准确性。如果你想让一个图像分类器准确地检测出猫的图片，你必须为它提供许多带标签的猫的图片。同样，贷款申请算法需要大量贷款申请及其结果(已付款或违约)的历史记录。

问题是，受人工智能算法伤害的往往是那些没有足够质量数据的人。这就是为什么贷款申请处理商为那些已经有足够的银行服务机会的人提供更好的服务，并惩罚那些在很大程度上被剥夺金融系统的无银行账户和弱势群体。

第二个问题是反馈回路。当一个人工智能算法开始做出有问题的决策时，它的行为会产生更多的错误数据，这些数据反过来又被用来进一步磨练算法，从而导致更多的偏见，循环往复。

关于治安问题，奥尼尔认为，有偏见的预测会导致更多的警察出现在贫困社区。“这会形成一个有害的反馈循环，”她写道。“警务本身会产生新的数据，这证明了更多的警务是合理的。我们的监狱里挤满了数十万人被判犯有无受害者罪行。”

当您对所有这些不同但又相互关联的 AI 系统如何相互作用形成更大的图景时，您将看到真正的危害是如何发生的。奥尼尔是这样总结这种情况的：“穷人更有可能信用不佳，住在率高的社区，周围都是其他穷人。一旦大规模杀伤性武器的黑暗世界消化了这些数据，它就会向他们投放关于次级贷款或营利性学校的掠夺性广告。它派更多的警察逮捕他们，当他们被定罪时，它会判处他们更长的刑期。这些数据输入到其他大规模杀伤性武器中，它们将相同的人评为高风险或容易成为目标，并继续阻止他们工作，同时提高他们的抵押贷款、汽车贷款和可以想象的各种保险的利率。这进一步降低了他们的信用评级，不亚于建模的死亡螺旋。在大规模杀伤性武器的世界中贫穷变得越来越危险和昂贵。”

“第三个问题是模型是否具有成倍增长的能力。正如统计学家所说，它可以扩展吗?” 奥尼尔在数学毁灭的武器中写道。

考虑我们之前讨论的 Google 搜索示例。数十亿人使用 Google 搜索来寻找有关健康、政治和社会问题的重要问题的答案。谷歌人工智能算法中的一个小错误可能会对公众舆论产生巨大影响。

同样，Facebook 的排名算法决定了数亿人每天看到的新闻。如果这些算法有问题，它们可能会被恶意行为者利用来传播虚假、耸人听闻的新闻。即使没有直接的恶意意图，它们仍然可能造成伤害。例如，支持引人入胜的内容的新闻提要算法可能会放大偏见并产生过滤气泡，从而使用户对替代视图的容忍度降低。

当不透明和有缺陷的人工智能算法决定了数亿人的信用评分或决定国家教育系统的命运时，你就拥有了数学毁灭武器的所有要素。

那么，对此应该怎么做呢?我们需要承认我们部署的人工智能算法的局限性。虽然拥有一个可以免除您做出艰难决定的责任的自动化系统似乎很诱人，但您必须了解人类何时接受这些决定以及它们如何受到影响。

“大数据流程记录了过去。他们不发明未来。这样做需要道德想象力，而这是只有人类才能提供的。我们必须明确地将更好的价值观嵌入到我们的算法中，创建遵循我们道德准则的大数据模型。有时这意味着将公平置于利润之上，”奥尼尔写道。