人工智能和深度学习民主化

2022年1月14日整理发布：几年前，当我迈出计算机编程的第一步时，编码是为极客准备的，而计算机程序的用途有限。开发工具非常粗糙，编写代码很困难(还记得 Assembly、C、Pascal 吗?)，编译和链接是一场噩梦(任何人都可以制作文件?)，调试更糟糕。长话短说，编程不适合胆小的人。在掌握编写好代码的窍门之前，您需要钢铁般的意志，并且必须耐心地一遍又一遍地失败。

但随着软件逐渐崛起，编程的准入门槛降低了。目前，计算机软件在我们所做的几乎所有事情中都发挥了重要作用，从购物到申请大学课程，再到与朋友和家人交流等等。因此，创建软件的工具、编程语言和集成开发环境 (IDE) 变得更加直观和易于学习。如果在我的时代，成为一名体面的开发人员平均需要两年的时间，那么今天可以在很短的时间内实现同样的目标。

我们在人工智能中看到了同样的趋势。随着机器学习和深度学习的出现，人工智能已经从科幻幻想变成了日常生活中固有的一部分，从阅读新闻到抗癌和检测欺诈等等。

然而，就像在软件的早期阶段一样，开发人工智能和机器学习应用程序对于大多数组织和个人来说仍然是难以捉摸的，只有大型科技公司才能有效地利用它。

许多专家和公司正在努力解决这个问题。其中包括 IBM Watson 的产品经理 Armand Ruiz，他的团队正在开发工具，这些工具不仅可以提高数据科学家的工作效率，还可以让企业更容易使用数据科学、人工智能和深度学习。在接受 TechTalks 采访时，Ruiz 分享了关于人工智能行业挑战的见解和经验以及实现其民主化的解决方案。

开发人工智能应用程序的挑战

Gartner最近 对 CIO 的一项调查将人工智能列为最难实施的技术之一。“虽然难度级别因正在实施的 AI 技术类型及其部署过程而异，但采用存在几个关键障碍：技能、标准化、复杂性和缺乏协作，”Ruiz 说，并补充说许多挑战特定于深度学习，这是一项相对较新的创新，它增加了人工智能系统可以利用的数据的数量和类型。

在创建深度学习应用程序时，开发人员构建和训练“神经网络”，这是一种大致受人脑启发的软件结构。这些神经网络可以完成各种任务，例如识别图像内容、执行面部识别或分析人类语言的含义和意图。

但是开发深度学习模型是一个非常艰苦和昂贵的过程。“首先，深度学习是一个计算密集型和高度专业化的领域，”Ruiz 说。“它需要一个高度优化的系统，该系统具有软件、驱动程序、计算、内存、网络和存储资源的正确组合，”这些组合的成本可能达到数千或数百万美元。

事实上，深度学习作为一个概念已经存在了很长时间，但随着存储和计算资源的可用性爆炸式增长(主要由大型云提供商持有)才成为现实。虽然其中许多公司向开发人员和公司提供他们的人工智能工具，但它们仍然是这些平台的独家守门人。

Ruiz 还指出缺乏熟练的工程师来开发 AI 应用程序。“虽然深度学习的正规教育正在增长，但人才库仍然有限，”他说。

收购稀缺的人工智能人才成为大型科技公司之间的军备竞赛，这些公司有时支付给工程师的年薪高达数百万美元。这使得小型公司和组织很难获得人才和创新并在该领域竞争。

“深度学习团队也缺乏标准化，不同的数据科学家更喜欢不同的开源框架来构建他们的模型，”Ruiz 说。这可能使数据科学家在他们自己的团队中共享和重用模型变得越来越具有挑战性。

另一个值得考虑的事实是，神经网络设计只是更大工作流程的一个阶段，Ruiz 指出，它还包括深度学习模型的训练、评估、部署、监控和增强。“数据科学家必须了解设计之外的许多功能领域。这包括熟悉并能够处理在使用和应用方面差异很大的各种基础设施和架构，”Ruiz 说。

最后，Ruiz 指出，在许多组织中，IT(具有分析数据的技术专长)和领域专家(能够从中收集见解)之间的脱节是跨组织采用 AI 的障碍。“这些团队经常各自为政，使用不同的工具，并且对彼此的工作缺乏了解。结果是人工智能未能兑现增强人们专业知识的承诺，”鲁伊斯说。“这是我个人在数据科学经验中看到的一个问题，也是我热衷于与我的团队一起克服的挑战。”

这里有一个类比值得提醒。在早期，普通编程是一项深度技术工作，只有高技能的工程师和开发人员才能从事。他们的大部分时间都必须用于理解他们正在开发的问题空间并弥合领域之间的差距专家和计算机代码。但随着编程工具变得更容易使用和应用程序编程接口 (API)变得更有能力，软件开发变得民主化，越来越多来自不同背景的人能够将他们的领域专业知识转化为软件。人工智能需要经历类似的过程。

Ruiz 说，这些因素可能使组织难以在企业范围内部署深度学习，从而阻碍他们从数据中获得最大的商业价值。