要像人类一样聪明 AI先得突破算力极限

算法、数据和计算能力被认为是推动人工智能发展的三个主要因素,而计算能力被描述为支持人工智能应用的“引擎”。人工智能研究机构OpenAI最近指出,“高级人工智能所需的计算能力每三个半月就会翻倍”。

最近,脸谱网人工智能副总裁杰罗姆·佩森蒂在接受《连线》杂志采访时说,人工智能研究成本的持续上升,或者说我们在这一领域研究的失败,现在已经到了我们需要考虑成本效益等问题的地步。我们需要知道如何从现有的计算能力中获得最大的好处。

那么,为什么人工智能需要如此强大的计算能力呢?计算能力限制了人工智能的发展吗?我们能持续满足人工智能不断增长的计算需求吗?

人工智能“大脑移动”背后的计算能力消耗是惊人的。

“2016年3月,当谷歌的人工智能AlphaGo击败韩国棋手李石时,人们哀叹人工智能的力量,但人们对其背后的巨大“努力”知之甚少——数千台服务器、数千个中央处理器、高性能显卡以及下棋时消耗的惊人电量。”王源智库人工智能部主任、图灵机器人首席战略官谭明洲在接受《科技日报》记者采访时表示。

“与云计算和大数据等应用相比,人工智能对计算能力的需求几乎是无穷无尽的。”中国工程院院士、浪潮集团首席科学家王恩东指出。

据介绍,人工智能面临的最大挑战之一是识别度和准确率不高。为了提高精度,必须改进模型的规模和精细度,并且必须增加离线训练的频率,这需要更强的计算能力。还计算了精确度。例如,大型互联网公司或著名的人工智能初创公司有能力部署大规模人工智能计算平台。该算法的模型已经达到数千亿个参数和训练数据集的规模。

“人工智能使用的大多数深度学习框架现在都依赖大数据进行科学研究和培训,以形成有效的模型,这需要很高的计算能力。”谭明洲指出,随着人工智能算法模型的复杂度和精度不断提高,互联网和物联网产生的数据呈现几何倍数增长。在数据量和算法模型的双层叠加下,人工智能需要越来越多的计算。毫无疑问,人工智能正在向深度学习发展,计算能力已经成为评估人工智能研究成本的重要指标。可以说,计算能力就是生产力。

频繁数据处理中突出的“内存墙”问题

为什么人工智能在计算上如此昂贵?具体来说,在经典的冯·诺依曼计算机体系结构中,存储单元和计算单元是不同的。在操作过程中,需要将数据从存储单元读取到计算单元,并且在操作之后将结果写回到存储单元。在大数据驱动的人工智能时代,人工智能操作中的数据处理更加频繁,需要存储和处理的数据量比以前的普通应用程序大得多。当计算能力达到一定水平时,因为访问存储器的速度跟不上计算组件消耗数据的速度,所以额外的计算组件不能被充分利用,从而形成所谓的冯·诺依曼“瓶颈”或“内存墙”问题。这就像一个强大的引擎,但是由于输油管道的小尺寸,它不能产生它应该产生的能量。

显然,频繁的数据传输导致的计算瓶颈已经成为探索更高级算法的限制因素。计算能力的瓶颈将对更高级和更复杂的人工智能模型的研究产生更大的影响。

王恩东曾经指出:“计算能力的提高对架构提出了挑战。随着半导体技术逐渐接近极限,计算机的发展将迎来架构创新的黄金时期,而计算能力的提高将更多地通过架构创新来满足。”

据了解,最先进的自然语言处理模型XLNet有大约4亿个模型参数。据估计,人脑细胞间相互连接的轴突数量在1到1万亿之间。显然,人工智能与我们所追求的所谓的一般人工智能在认知上仍有很大差距。为了达到一般人工智能的水平,预计研究所要求的计算系统的计算能力和能量效率将比当前水平至少提高几个数量级。因此,为了进一步突破人工智能,必须采用新的计算架构来解决存储单元和计算单元分离所带来的计算瓶颈。

谭明洲说,目前人工智能有更多无用的计算。目前,人工智能仍处于输入数据和调整参数的阶段,如连续灌溉。这是一种“黑盒”模式,消耗了大量的能量,尤其是在图片和视频方面,但是真正有效的计算并不多,非常浪费能量。未来,人工智能需要在“可解释性”方面取得突破,找出导致以下结果的原因,以便能够准确地使用数据和计算力,并大大减少计算量。这也是目前一个重要的研究课题,将极大地促进深度学习的发展。

计算和存储的集成或进入下一代系统

虽然计算能力在现阶段并不限制人工智能的发展,但计算能力确实提高了参与人工智能研究的门槛谭明洲指出。

除了研发经费的增长,在计算能力爆发之前的很长一段时间里,随着互联网的发展,数据生成的场景渗透到生活和生产的每一个角落。随着通信技术的进步,特别是5G的商用,数据生成的基本场景的覆盖面和深度达到了一个新的水平,数据的生成也将达到一个新的数量级。

2020年初,阿里达摩研究所发布了一份名为“2020科技十大趋势”的报告。这表明在人工智能中,计算和存储的结合类似于人脑。集成数据存储单元和计算单元可以显著减少数据处理,并大大提高计算并行性和能效。

然而,对计算和存储集成的研究不可能一蹴而就。这份报告提出了一项战略。为了开发用于计算和存储的通用集成计算架构,最近策略的关键在于通过芯片设计、集成和封装技术缩短存储单元和计算单元之间的距离,增加带宽,降低数据传输成本,并缓解由数据传输引起的瓶颈。中期计划以建筑创新为基础。通过将内存放入计算单元或存储模块中的计算单元,可以实现“你有我”和“我有你”的计算和存储。长期前景是通过设备级创新,实现设备不仅是存储单元,也是计算单元。它不相互分割,而是集成到真正的计算和存储集成中。近年来,一些新的非易失性存储器,例如电阻随机存取存储器,已经显示出计算存储收敛的一些潜力。

据报道,计算和存储的集成正在帮助升级算法,并成为下一代人工智能系统的门户。内存计算提供的大规模和更高效的计算能力使人工智能算法设计具有更充分的想象力,并且不再受计算能力的限制。因此,硬件的进步将升级为系统和算法的领先优势,新的业务最终将加速孵化。

除了计算和存储一体化的趋势之外,量子计算是解决人工智能所需的巨大计算力的另一种方法。目前,量子计算机的发展已经超越了传统计算机的摩尔定律。以传统计算机的计算能力为基本参照,量子计算机的计算能力正在迅速发展。

谭明洲表示,除了不断提升技术本身,人工智能未来的突破还需要世界各国协同创新、融合和发展,探索新的合作模式,如采用共享思维,调动世界各方面的计算资源,集中精力降低巨大的计算成本。

人工智能计算能力呈现五大发展趋势

由互联网数据中心(IDC)和浪潮联合发布的《2019-2020年中国人工智能计算能力发展评估报告》指出,全球新增数据量将从2018年的33ZB增加到2025年的175ZB。随着数据的不断爆炸式增长和算法的不断进化,未来的计算能力仍有很大的空间。

该报告公布的中国人工智能计算城市最新排名显示,前五名依次是北京、杭州、深圳、上海和广州。排名第6-10位的城市是合肥、苏州、重庆、南京和Xi。

该报告还提出了未来人工智能计算能力发展的五个重要趋势。首先,到2022年,人工智能推理市场的比重将超过培训市场。第二,预计到2023年,中国人工智能基础设施市场的复合增长率将在未来五年达到33.8%,是中国整体基础设施市场增长率的三倍以上。第三,5G和物联网将促进边缘和终端人工智能基础设施的快速发展。第四,人工智能和云的融合将进一步加快。未来五年,人工智能基础设施即服务市场规模的年复合增长率预计将达到66%。第五,随着计算能力的提高,越来越多的企业将参与人工智能开源软件的研发和行业绩效评估基准的构建。(记者华玲)

标题:要像人类一样聪明 AI先得突破算力极限

如若转载,请注明出处:http://www.ikepu.com/wenzhang/42892.html