模拟计算机可以将 AI 训练速度提高 1000 倍并减少能源消耗

快速求解训练人工智能模型中使用的关键方程的模拟计算机可以为数据中心不断增长的能源消耗提供潜在的解决方案 人工智能热潮造成的。

笔记本电脑、智能手机和其他熟悉的设备被称为数字计算机，因为它们以一系列二进制数字（0 或 1）的形式存储和处理数据，并且可以通过编程来解决一系列问题。相比之下，模拟计算机通常旨在解决一个特定问题。它们使用连续变化的量（例如电阻）来存储和处理数据，而不是离散的 0 和 1。

模拟计算机在速度和能源效率方面表现出色，但之前缺乏数字计算机的准确性。现在，孙仲 中国北京大学的博士和他的同事们创建了一对模拟芯片，它们协同工作以精确求解矩阵方程——这是通过电信网络发送数据、运行大型科学模拟或训练人工智能模型的基本部分。

第一个芯片非常快速地输出矩阵计算的低精度解决方案，而第二个芯片则运行迭代细化算法来分析第一个芯片的错误率，从而提高准确性。 Sun表示，第一个芯片产生的结果的错误率约为1%，但在第二个芯片的三个周期后，错误率下降到0.0000001%——他说这与标准数字计算的精度相匹配。

到目前为止，研究人员已经构建了能够解决 16 x 16 矩阵或具有 256 个变量的芯片，这些芯片可以应用于解决一些小问题。但 Sun 承认，解决当今大型人工智能模型中使用的问题将需要更大的电路，可能是一百万乘一百万。

但模拟芯片相对于数字芯片的一个优势是，更大的矩阵不需要更长的时间来求解，而数字芯片则随着矩阵大小的增加而呈指数级增长。这意味着 32 x 32 矩阵芯片的吞吐量（每秒处理的数据量）将超过 Nvidia H100 GPU，当今用于训练人工智能的高端芯片之一。

Sun 表示，从理论上讲，进一步扩展可以使吞吐量达到 GPU 等数字芯片的 1000 倍，同时使用的能源减少 100 倍。但他很快指出，现实世界的任务可能会偏离其电路极其狭窄的能力范围，从而导致收益较小。

“这只是速度的比较，对于实际应用，问题可能会有所不同，”Sun 说。 “我们的芯片只能做矩阵计算。如果矩阵计算占据了大部分计算任务，那么对于问题来说，这代表着一个非常显着的加速，但如果不是，这将是有限的加速。”

Sun 表示，正因为如此，最有可能的结果是创建混合芯片，其中 GPU 具有一些模拟电路，可以处理问题的非常具体的部分 – 但即便如此，这也可能需要几年的时间。

詹姆斯·米伦 伦敦国王学院表示，矩阵计算是训练人工智能模型的关键过程，而模拟计算提供了潜在的推动力。

“现代世界建立在数字计算机的基础上。这些令人难以置信的机器是通用计算机，这意味着它们可以用来计算任何东西，但并不是所有东西都可以有效或快速地计算，”米伦说。 “模拟计算机是针对特定任务量身定制的，这样可以非常快速和高效。这项工作使用模拟计算芯片来加速称为矩阵求逆的过程，这是训练某些人工智能模型的关键过程。更有效地做到这一点可以帮助减少我们对人工智能日益增长的依赖所带来的巨大能源需求。”