站在巨人肩上,Arm代AI处理器究竟如何?

发布于:2018/8/24 11:04:48 | 531 次阅读

  在过去的几年中,多家芯片初创公司一直致力于寻找新的方法来有效地训练和执行神经网络,但是否值得为每一个创意而重造轮子,这是值得商榷的。
  在本周举行的、一年一度的Hot Chips会议上,移动芯片IP供应商Arm也展示了他们的代机器学习处理器,在今年晚些时候,合作伙伴也则可以用上这些IP。
  这个被名为“Trillium”的架构由一些熟悉的元素与Arm逻辑捆绑在一起,对于那些对Nvidia Volta GPU提供的TensorCore、深鉴提供的压缩技术、拥有可编程特性的FPGA和低功耗的DSP感兴趣的人来说,这可能意味着很多。换句话说,Arm可能刚刚“拼凑”出了世界上的AI处理器,对于那些芯片制造商来说,这可能会是很大的麻烦。
  正如Arm的技术总监兼杰出工程师Ian Bratt本周在Hot Chips上告诉我们的那样,作为首次涉足AI处理器初哥,Arm的设计目的是尽可能拓宽产品的应用范围,以便能够满足服务器端AI的市场需求,同时也可以为汽车和物联网这些小型设备提供服务。
  “在代机器学习处理器的开发过程中,我们走了一些弯路,那就是我们将旧框架带入了一个新问题。我们可以看到GPU,CPU和DSP如何被用于机器学习,但我们开始看到我们如何能够更明显地利用每一项技术。”
  如下所示,Arm的机器学习架构并没有什么特别之处,但值得注意的是他们从硬件,压缩和编译器中最成功的创新中汲取的东西。


  构建块是计算引擎,每个(总共16个)是64 KB的SRAM片。MAC引擎(与Nvidia的TensorCore不同)是执行卷积的地方,可编程层引擎处理层之间的大部分必要的混排(shuffling)。该架构具有DMA引擎,用于与外部存储器接口通信。Arm自己的Cortex技术则充当控制引擎。


  Bratt通过对神经网络处理器芯片中最重要的内容的理解来打破各种架构特征。保持这些设备包括静态调度功能,高效卷积,带宽减少机制以及可编程性和灵活性在内的的多个“面向未来”的关键特性。
  我们可能很容易忽略个元素——静态调度的价值 - 但正如Bratt所解释的那样,这是芯片整体性能和效率的关键部分。
  在推理期间,存储器访问模式是完全静态可分析的,并且可以容易地理解和映射,但是许多设备没有利用这一点。CPU具有复杂的高速缓存层次结构,用于围绕非确定性存储器访问进行优化。但对于确定性神经网络,它可以提前将所有内容放在内存中,然后编译器可以获取神经元并为不同的组件创建命令流(由Arm控制处理器编排)并命中(hit)寄存器以控制这些组件。这个问题的简短答案是不需要缓存。另一个隐藏的效率是流量控制被大大简化,意味着更少的能量消耗和更可预测的性能。
  处理卷积的效率更高。下图的SRAM突出显示了编译器为输入要素图和压缩模型权重分配一部分资源的方式。每个计算引擎都将使用跨计算引擎交叉的不同特征映射。
  Arm的MAC引擎可以做8个16×16点(dot )的产品。我们之前已经讨论了为什么这很重要,但是在这些操作中有很多zeroes可以在MAC引擎中检测和调整以避免消耗功耗。
  Arm还具有所谓的可编程层引擎,它使用Cortex CPU技术来支持非卷积运算符以及向量和神经网络扩展。
  使用机器学习处理器特征映射压缩技术可以获得更高的效率,这些技术听起来类似于DeePhi为CNN压缩所做的工作。
  Bratt表示,Arm的机器学习业务部门拥有150名员工,随着机器学习需求的不断增长,这一数字也在不断增长,而他们也正在将其整合到现有的工作流程和设置中。他说,这样做的目标是让这项工作跨越一系列细分市场。他表示,为用户提供一个拥有所有所需功能的通用平台并不简单。
  消除高速缓存,改善压缩,使用混合算法,并将精简的SRAM片上的计算结合在一起并将其移植到密集点(dot)产品引擎上,这些操作都使得Arm的IP在市场上引人侧目,并且可以针对关键工作负载进一步细化。
  与某些AI特定处理器相比,增加高带宽内存(或HMC)可能使其更容易被识别( recognizable ),但是被授权者可以更好地了解它在系统中如何协同工作。Arm工程师真正从生态系统中汲取了的AI处理器技术,并与开源软件挂钩,吸引客户的兴趣。


  上面的直方图显示了Inception V3上的8X8块,突出了无损压缩结果。采用零/非零滤波方法,显着减少了神经网络的大小。weight compression结果保留在内部SRAM中,并且修剪技术也保持在那里直到被需要。
  Arm正在人家智能市场露出其獠牙。

 

参与讨论
后参与讨论

//评论区

推荐阅读

智能网联汽车国际标准法规协调专家组(HEAG)召开工作会议

近年来智能网联汽车快速发展,新技术不断涌现,与相关产业融合度持续提升,正在推动全球汽车产业发生深刻变革。为应对此种形势,欧、美、日等汽车工业发达国家和地区都加大了智能网联汽车的国际标准法规协调的参与力度,在联合国世界车辆法规论坛(UN/WP.29)和国际标准化组织(ISO)层面,智能网联汽车相关国际标准法规协调活动正快速推进。 为更有效地支撑上述组织的国际标准法规协调活动,2017年全国汽车标准

0215jiejie | 发布于:2022-12-01 0评论 0赞

苹果推出搭载M2芯片的新款iPad Pro 799美元起售

据苹果官网,苹果推出搭载M2芯片的新款iPadPro。 11英寸wifi版起售价为799美元,wifi+蜂窝网络版起售价为999美元;12.9英寸wifi版起售价为1099美元,wifi+蜂窝网络版起售价为1299美元。

0215jiejie | 发布于:2022-10-19 0评论 0赞

新能源汽车领衔 “中国智造”加速登陆欧洲市场

全球五大车展之一巴黎车展时隔四年再度启幕。在这场被视为“全球汽车行业风向标”的盛会上,国内外汽车品牌云集,长城汽车、比亚迪等再次领衔中国汽车出海。 长城汽车欧洲区域总裁孟祥军表示:“欧洲是长城汽车最重要的海外市场之一,巴黎车展是长城汽车向欧洲市场展示GWM品牌和产品的最佳机会。长城汽车正在研究汽车行业碳排放的整个生命周期,到2025年,将推出50多款新能源产品,全力支持可再生能源使用,为全球用户

0215jiejie | 发布于:2022-10-19 0评论 0赞

严监管时代来临,电子烟“通配”大战走向何方?

针对通配烟弹厂商的一系列诉讼的结果,将对生产通配烟弹的品牌未来在电子烟行业的发展产生深远影响。 10月1日,《电子烟强制性国家标准》正式实施,中国电子烟监管全面生效。而在电子烟行业进入规范化、法治化阶段前夕,一场围绕着通配烟弹的争论在行业里发酵。 “通配”是电子烟从业者约定俗成的概念。换弹式电子烟由烟杆和烟弹组成,“通配”烟弹指的是非品牌商生产、可与品牌烟杆匹配使用的烟弹。多位业内人士表示,被

0215jiejie | 发布于:2022-10-19 0评论 0赞

Bourns 全新大功率分流电阻器

采用金属感应引脚,专用于大电流应用中进行精确测量 全新分流电阻器专为电池管理系统、大电流工业控制和电动汽车充电站 提供高可靠性、高成本效益的解决方案 美国柏恩Bourns全球知名电子组件领导制造供货商,宣布新增12款CSM2F系列功率分流电阻器,扩展其产品组合。全新系列采用铆接通孔金属传感引脚,可满足大电流应用中对电压测试点精确定位日益增长的需求。最新型Bourns?CSM2F系列分流电阻器

0215jiejie | 发布于:2022-10-18 0评论 0赞

请尊重元宇宙“这个筐”

元宇宙是个筐,啥都往里装,但区别在于有的像聚宝盆,有的像垃圾桶。国庆假期刚结束,中青宝“90后”董事长李逸伦便亲自上阵,玩起了元宇宙婚礼。靠着老板首秀和代言,中青宝顺势推出“MetaLove元囍”App,正式进军元宇宙婚礼赛道。 就产品而言,如同其他元宇宙产品,李逸伦的元宇宙婚礼“新奇与吐槽齐飞”:有人说是有趣的尝试,有人则认为像QQ炫舞结婚系统。要知道,QQ炫舞是一款推出了十余年的老游戏。

0215jiejie | 发布于:2022-10-13 0评论 0赞

边缘计算:突围商业模式痛点

截至8月末,中国5G基站总数达210.2万个,中国5G发展已经进入下半场。随着5G加速融入千行百业,互动直播、vCDN、安防监控等场景率先大规模落地,车联网、云游戏、工业互联网、智慧园区、智慧物流等场景也快速走向成熟,这些更大流量、更低时延、更高性能的场景涌现,对边缘计算的刚性需求势必爆发。 GrandViewResearch预测,即使在新型冠状病毒肺炎疫情肆虐全球的背景下,边缘计算和5G网络市

0215jiejie | 发布于:2022-10-13 0评论 0赞

商务部回应美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”

商务部新闻发言人10日就美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”应询答记者问。 有记者问:近日,美国商务部在半导体制造和先进计算等领域对华升级出口管制措施。同时,在将9家中国实体移出“未经验证清单”过程中,又将31家中国实体列入,请问中方对此有何回应? 对此,商务部新闻发言人回应称,中方注意到相关情况。首先,通过中美双方前一阶段共同努力,9家中国实体zui终

0215jiejie | 发布于:2022-10-13 0评论 0赞

TCL华星官宣与奔驰合作:推出全球首款横贯A柱的车载显示屏

今年1月,奔驰带来了VISIONEQSS概念车,其中控台采用了一块完全无缝的47.5英寸曲面显示屏,横贯整个A柱,令人印象深刻。今天,TCL华星正式官宣与奔驰达成合作,并认领了VISIONEQSS上这块全球首款横贯整个A柱曲面的车载显示屏。 根据TCL介绍,这款显示屏采用了完全无缝的超薄一体化设计,将仪表盘、中控与副驾娱乐显示融为一体,并能够与3D实时导航系统相辅相成。 同时,这块显示屏还采用

0215jiejie | 发布于:2022-10-12 0评论 0赞

半导体板块暴跌 谁最受伤

国庆假期后首日开盘,上证综指时隔5个月再次失守3000点,与此同时,半导体板块也再度走低,其中,北方华创、雅克科技等个股跌停。10月11日早盘期间,半导体板块持续下挫,北方华创、雅克科技再度跌停。截至下午收盘,北方华创、雅克科技维持跌停状态,华海清科、拓荆科技-U、盛美上海、清溢光电、海光信息的跌幅则超10%。同日,半导体板块中的119只个股中超五成呈现下跌趋势。 在半导体板块遭遇下挫的同时,北

0215jiejie | 发布于:2022-10-12 0评论 0赞