人类大脑由 860 亿个互相连接的神经元组成。科学家们希望在芯片中也能尽可能多的复制这种连接。
今天,英特尔宣布推出其最新神经拟态系统 Pohoiki Springs,首次将计算能力扩展到了 1 亿个,将 Loihi 的神经容量增加到一个小型哺乳动物大脑的大小。
Pohoiki Springs 是一个数据中心机架式系统,是英特尔迄今为止开发的规模最大的神经拟态计算系统。它将 768 块 Loihi 神经拟态研究芯片集成在 5 台标准服务器大小的机箱中。
英特尔的研究人员认为,与当今最先进的传统计算机相比,神经拟态系统拥有超级并行性和异步信号传输能力,可以在明显降低功耗的同时显著提升性能。
图丨 Pohoiki Springs(来源:英特尔)
英特尔神经拟态计算实验室主任 Mike Davies 介绍称:“Pohoiki Springs 将我们的 Loihi 神经拟态研究芯片扩展了 750 倍以上,同时以低于 500 瓦的功率运行。当前,一些工作负载在传统架构(包括高性能计算 [HPC] 系统)上运行缓慢。而 Pohoiki Springs 系统则让我们的研究合作伙伴能够探索加速处理这些工作负载的方法。” 英特尔将向其于 2018 年成立的_英特尔神经拟态研究社区_(INRC)成员提供这一基于云的系统,以扩展其神经拟态工作来解决更大规模且更复杂的问题。
在今天早上接受包括 DeepTech 在内的媒体采访时,Mike Davies 表示,Pohoiki Springs 能够最直接发挥它的价值的方向,将包括一些非常难的运算问题,比如 NP Complete 和 NP Hard 之类的问题。
“这样一些问题类似于我们大脑平时思考和解决的问题,像是如何计划未来的任务和决定,如何计划肢体活动轨迹等等。它们都可以被视为定义的非常好的运算问题。
我们大家都认为,对于新架构和 Pohoiki Springs 来说,存在一类支持大规模、高效率的运算任务。在执行这些任务的时候,我们的新架构并不一定会在吞吐量上超过传统解决方案,因为传统方案在平行运算上有自然优势,不过我们期待新架构的优点是降低延迟( Latency),还有能耗优势。我们大家都认为,针对同一个解决方案来说,神经拟态架构比传统架构的能耗少数千倍。节省的能耗可以反映在降低运营开销上,因此具备能耗优势也很重要”,他说。
图丨 Mike Davies(来源:英特尔)
复盘英特尔神经拟态硬件之路
神经拟态计算(Neuromorphic Computing)是一个由硬件开发、软件支持、生物模型相互交融而成的古老领域,旨在基于仿生的原理让机器拥有类人的智能。
低功耗、高容错、创造性…… 人脑有太多值得机器追赶的能力,因此也是很多计算科学家为之向往的存在。在人脑这个仅占 3% 人体质量的器官中,1000 亿个神经元携 1000 万亿个突触相连接。每一秒都有神经元衰老死亡 “退役” 的情况下,它仍能运转计算着世界扑面而来的巨大信息量。而功耗只有 20 瓦。
1980 年,人类首次打开神经拟态计算。超大规模集成电路 (VLSI) 发明者之一、加州理工学院传奇人物Carver Mead在 Proceeding of IEEE 发表文章 Neuromorphic Electronics Systems,第一次提出神经拟态概念,并设想用 CMOS 模拟电路去模仿生物视网膜 outer plexiform layer,搭建具有生物计算特性的系统。
最初的神经拟态芯片,基本是为了人脑反向工程而存在,即为生物解剖、算法及模型团队提供硬件验证平台。
但是随着神经拟态计算的发展,这种和传统计算架构完全不同地将计算和存储高度整合的技术,展现了更大的潜力。不仅仅是学术机构,包括 IBM、英特尔等大型科技公司也加入到了这个领域中。
图丨强调存算一体的神经拟态芯片架构(来源:英特尔)
2017 年,作为英特尔研究院的一个研究课题,英特尔开发了代号为 Loihi 的第一款自主学习神经拟态芯片,在神经拟态硬件的开发上迈出一步。
英特尔的 Loihi 神经拟态芯片把训练和推理整合到一个芯片上,并实现了计算和存储功能的整合:单芯片中的 128 个小核各包含 1000 个神经元硬件设计架构,模拟多个“逻辑神经元”,支持多种学习模式的可扩展的片上学习能力,实现多种不同的神经网络突破。Loihi 的名字其实取自于夏威夷海底的一座不断喷发的活火山,每一次喷发都会扩大夏威夷岛的范围,英特尔将芯片取名 Loihi,就是希望其可以通过不断的自我学习,可以提供更加强大的人工智能的能力。
因为模拟了大脑根据环境的各种反馈来学习如何操作的运作方式,Loihi 在能耗上非常节能,采用一种新颖的 “异步脉冲” 的方式来计算,利用了可根据时间调节的脉冲和可塑触突。资料显示,与训练人工智能系统的通用计算芯片相比,Loihi 芯片的能效提升了 1000 倍。
图丨 Loihi 的其他两款计算系统
围绕新生的计算产品,生态的建设同样是一个重要事项。于是,在 2018 年,英特尔神经拟态研究社区(INRC)的建立,希望进一步推动神经拟态算法、软件和应用程序的开发。
到了 2019 年,英特尔推出 Pohoiki Beach,包含 64 块 Loihi 研究芯片,拥有 800 万神经元,能够提供更大的计算规模和更强的计算能力。目前 Pohoiki Beach 已经可以供广大研究人员使用。通过 Pohoiki Beach,研究人员可通过英特尔的 Loihi 研究芯片开展实验。在稀疏编码、图搜索、同步定位和建图(SLAM)、路径规划、约束满足问题等专业应用领域,Loihi 能让用户以千倍于 CPU 的速度和万倍于 CPU 的效率处理信息。
Pohoiki Beach 是英特尔神经拟态研究工作的重要里程碑,它为英特尔研究院将该架构扩展到 1 亿个神经元的计划奠定了基础。
直至今天,这个计划终于实现,英特尔正式推出 “Pohoiki Springs” 的 Loihi 系统。
图丨就在几天前,基于 Loihi 的机器嗅觉系统还登上了 Nature Machine Intelligence(来源:英特尔)
英特尔和 INRC 研究人员一直在对外展示 Loihi 的各种能力,包括实时识别手势、使用新型人造皮肤阅读盲文、使用习得的视觉地标确定方向,以及学习新的气味模式。所有这些功能都只需要消耗数十毫瓦的电能。到目前为止,这些小规模示例显示出极好的可扩展性,英特尔相信,当运行更大规模的问题时,Loihi 比传统解决方案更加快速高效。这模仿了自然界中从昆虫大脑到人类大脑的可扩展性。
英特尔介绍,目前正为 Loihi 开发的颇具前景且高度可扩展算法示例包括:
约束满足:约束满足问题在现实世界中无处不在,从数独游戏到航班调度,再到快递配送规划。这需要对大量潜在的解决方案进行评估,以找出一个或几个能够很好的满足特定约束的解决方案。Loihi 能够最终靠高速并行探索多个不同的解决方案来加速解决此类问题。
搜索图和模式:每天,人们都会在基于图的数据结构中进行搜索,以找到最佳路径和紧密匹配的模式,例如获取驾驶方向或识别人脸。Loihi 已展示出快速识别图中的最短路径和执行近似图像搜索的能力。
优化问题:可对神经拟态架构进行编程,使其动态行为能够随时间的推移对特定目标进行数学优化。此行为可应用于解决现实场景下的优化问题,例如最大化无线通信信道的带宽,或分配股票投资组合,以在目标收益率下最小化风险。
由此也不难看出,与此前的产品类似,Pohoiki Springs 仍将是一款强调科研目的的产品。
(来源:英特尔)
半导体老将的新计算版图正在成型
据了解,英特尔的 Pohoiki Springs 等神经拟态系统仍处于研究阶段,其设计目的并非取代传统的计算系统,而是为研究人员提供一个工具来开发和表征新的神经启发算法,用于实时处理、问题解决、适应和学习。
那么,作为一家商业公司,英特尔押注神经拟态计算的最大驱动力是什么?
在英特尔的官网,神经拟态计算被描述成“Next Generation of AI ”。
对于英特尔来说,随着 AI 时代的到来,这家半导体老兵也在朝着 “以数据为中心” 转型,数据的变化一直是其关注的重点。过去 20 年来,数据经历了非常大的变化,具体到用以进行计算的数据,人类还将对其进行更大规模的智能处理。在这样的一个过程中,数据和计算之间的技术演进逻辑也在变化。
正如英特尔中国研究院院长宋继强曾在一场媒体活动中介绍的,此前,人类主要以对声音数据、视频数据、图片数据等数据进行多媒体计算为主,即只是进行编辑压缩,不会做识别和理解。但是后来,人类开始对这些数据进行智能的处理;与此同时,数据产生的来源和流向也发生了变化,大量的数据开始由终端往云上走;在新的智能时代,为了更好地处理数据,很多人工智能算法随之诞生,这些算法模型中有参数,于是便诞生了数据之上的数据,即源数据,其中的量可能是百万级别的。
无论是数据的处理,还是提高计算效率、改善传输存储,都出现了新的要求和新的优化,英特尔希望能在愈发多元化的数据市场、计算市场延续优势,需要配备更丰富的 AI 计算硬件组合。
目前,这家公司已经推出了包括 VPU、FPGA、CPU、GPU、NNP 到 AI 专属芯片的多种产品,以及配套的软件开发技术,封装、测试技术等,但仍需要更前沿的布局来补充,即所谓对的“面向未来的计算”,勾画新的计算版图。
图丨英特尔 Loihi 神经 ni 系统进化路线图(来源:英特尔)
据了解,在计算硬件的规划上,英特尔一方面正在已有的硬件架构方式上继续突破,另一个重要的方向在于——押注突破式计算技术。其中就包括神经拟态计算和量子计算。
除了围绕 Loihi 的神经拟态计算以外,英特尔的量子计算布局则包括两大内容,一则是通过低温超导量子位的方式实现量子计算,这一点与行业的主流方向一致,英特尔的进展是正在开发 49 个超导量子位测试芯片,并测试它的容错能力、纠错能力和连接性。
另一个内容则是基于英特尔在传统半导体领域发展的硅的加工工艺和测试工艺,利用硅电子自旋表示出量子态。据了解,在这个方向上,英特尔的 300 毫米、12 寸晶圆的生产线上已经具备相应的生产能力,有两个量子位的芯片已在测试,且公司正在为规模化生产加大投入。
图丨英特尔量子计算进化路线图(来源:DeepTech)
不过,在神经拟态计算的规划上,诸如 IBM 和英特尔这样的大公司,却并不急于推出真正的商业化产品。尽管在国内外,已经有几家初创公司正在开启神经拟态计算的商业化进程。例如从去年登上Nature的清华 “天机” 芯片团队中走出的灵汐科技,以及从来自欧洲、背靠著名研究机构苏黎世大学及苏黎世联邦理工神经信息研究所的 ai-CTX。
对此,Mike Davies 回答 DeepTech 提问时表示:“对于英特尔来说,商业化的挑战是我们仍需发现大量的该系统可以有效解决的问题。我们对高度专业化的点解决方案的商业化并不感兴趣, 即使看起来有些问题我们大家可以很好地解决,比如人造嗅觉,炸弹或有毒化学物质 / 气味检测等等。但这些都需要高度专业化的定制方案,芯片也需要针对某项任务特殊定制。
我们最感兴趣的,还是找到一个可以广泛使用的新架构,类似于传统的冯 · 诺依曼架构,但可以更高效地解决各种各样的计算算法和应用。当然,在某些情况下冯 · 诺依曼架构还是会比我们快,但我们大家都希望支持更多的运算种类。也许会有其他小公司也在做类似的研发,专门针对某个或某一类任务定制独特的解决方案,这或许会让他们更早拿出产品。但对我们自己来说,距离产品面世还需要数年的时间。”
正如其所言,尽管是一个古老的科学概念,但神经拟态计算还是新兴的技术领域,也是直到近几年才有了更多实际价值的展示。
而且,该领域仍然由神经科学家、机器学习研究者所主导,并未被大量的软件开发人员和工程师所熟知。这些计算系统投入到实际的运营中,还将要求开发人员们改变他们的思维方式,毕竟,传统的存算分离冯 · 诺依曼架构已经支配了计算的运行长达近 70 多年之久。
-End-