Antkillerfarm Hacking V7.5

Chip » AI Chip（三）——群雄

2022-09-25 :: 5638 Words

AI Chip

Habana

Habana Labs是一家位于以色列特拉维夫和加州圣何塞的无晶圆厂半导体公司，创立于2016年。

Habana的产品线主要有：

  • 用于Train的Gaudi系列芯片。

  • 用于Inference的Goya系列芯片。这是一个基于PCI接口的板卡，所以还是数据中心的范畴，暂不能用于终端设备。

据说国内的数据中心相关的企业，对它的产品很感兴趣。

官网：

https://habana.ai

2019.12 Habana被Intel收购。稍后，就传出Intel解散Nervana团队的事情。后者是2016年被Intel收购的一家AI芯片公司。

国外类似的企业还有：

  • HAILO
  • blaize

参考：

https://mp.weixin.qq.com/s/cnHQSmM89Sp92gke_F9T2Q

一窥Habana的推理和训练神经处理器

https://zhuanlan.zhihu.com/p/84562992

Goya from Habana Labs芯片与软件栈分析

沐曦

沐曦专注在研发全兼容CUDA及ROCm生态的国产GPU计算卡（面向AIDC和HPC的计算需求），创始团队也是AMD背景。

Expedera

官网：

https://www.expedera.com

其中的partial summation (PSUM)也是近年来针对大模型的一种常见的优化方法。原理有点类似MapReduce，PSUM相当于Reducer，对数据进行初步的收集，再最终汇总到一起。这样效率上要比全局只有一个单元进行summation要高的多。

参考：

https://www.expedera.com/wp-content/uploads/2023/02/Architectural-Considerations-for-Compute-in-Memory-in-AI-Inference-final.pdf

https://www.expedera.com/wp-content/uploads/2021/04/Expedera-Linley-White-Paper.pdf

Huawei

Huawei的AI芯片项目大约启动于2016年底，算是布局比较晚的了，所以初期它们和寒武纪有不少合作。

官网：

https://ascend.huawei.com/home

Model Zoo：

https://github.com/Ascend/models

重要的开源项目：

https://gitee.com/ascend/tensorflow

https://gitee.com/mindspore/graphengine

Ascend(昇腾)芯片主要包括端侧的310系列和用于数据中心的910系列。

MTE(Memory Transfer Engine)

三种计算单元支持的典型操作：

HCCS，即Huawei Cache Coherence System（华为Cache一致性总线）。

英伟达的NVLink可以实现8颗芯片互联，而HCCS目前仅支持4路互联，提供30GB/S带宽。两个组使用PCI-E总线相互通信，提供32GB/S带宽。

这实际上就是NV在DGX1+P100时代，采用过的hybrid cube-mesh结构。

参考：

https://www.zhihu.com/answer/3459186418

华为昇腾芯片跟英伟达的芯片相比，差在哪里？

参考：

https://www.jiqizhixin.com/articles/2019-08-20-4

华为在hotchips详细介绍了达芬奇架构

https://www.hiascend.com/zh/software/cann

CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构

Imagination

Imagination Technologies公司前身是一家名为Video Logic的公司，VideoLogic成立于1985年，主营业务是图形与音频加速等方面。后来选择了与ARM的类似盈利模式——授权IP核，并在1999年更名为Imagination Technologies。

在移动GPU市场上，Imagination的PowerVR GPU一度占有非常高的市场份额。苹果公司设计的各种供苹果手机使用的AP，比如A8、A9、A10等处理器都搭载了Imagination Technologies公司的PowerVR图像处理技术。

但在2017年4月，苹果宣布将不再使用其技术后，Imagination股价当天暴跌60%。后于2017年9月，被有中资背景的Canyon Bridge收购。

其AI Chip主要是：PowerVR Series2NX NNA和PowerVR Series3NX NNA。

Imagination目前主要的客户是：

  • 汽车电子：Renesas

  • 手机：MTK、紫光展锐

除此之外，由于Imagination已经全国资化了，因此很多研究所也对它的产品感兴趣。

从方案来看，Imagination采用的是GPU+NPU的模式。

这种模式的特点主要有：

  • NPU专注NN计算，其实主要是CNN/GEMM计算。

  • GPU作为通用计算的兜底，以应付一些不常见的op。GPU支持各种数学计算，单纯从计算的角度是完全可以替代CPU的。GPU的局限主要在于它没有CPU那样的逻辑控制的能力。

  • GPU的主频一般低于CPU，因此如果算法的并行性很差的话，效果并没有CPU好。但这种情况并不多见。

  • 最近高通和华为CPU的超大核设计，应该对于提升串行运算性能很有帮助。毕竟CPU核再多，还能有GPU/NPU的核多吗？如果碰到就需要单挑能力的场合该怎么办呢？

综上，GPU+NPU的模式可以将NN运算基本承接过来，这样CPU的负载相对就比较小了。

从商业的角度讲，Imagination的核心产品还是GPU，NPU只是一个添头而已。它的目的应该还是利用NPU，来多卖一些GPU。

摩尔线程的GPU是基于Imagination的IMG BXT-32-1024 MC4。

官网：

https://www.imgtec.com/vision-ai/

参考：

https://mp.weixin.qq.com/s/W7GNhEq-em18V0YjCZ7MBw

被苹果抛弃的芯片供应商，现状如何？

https://zhuanlan.zhihu.com/p/436515863

PowerVR系列GPU架构的演进（一）

https://zhuanlan.zhihu.com/p/491131559

PowerVR系列GPU架构的演进（二）

https://zhuanlan.zhihu.com/p/492651331

PowerVR系列GPU架构的演进（三）

https://zhuanlan.zhihu.com/p/493240867

PowerVR系列GPU架构的演进（四）

2020.1

苹果自己研发受阻，重新延续imagination授权。

https://zhuanlan.zhihu.com/p/103597189

挣扎两年苹果重新向Imagination低头：自研GPU究竟难在何处？

Qualcomm

SnapDragon = Kryo CPU + Adreno GPU + Hexagon DSP(include Hexagon Tensor Accelerator, HTA & Hexagon Vector eXtensions, HVX)

参考：

https://zhuanlan.zhihu.com/p/51727365

骁龙855细节曝光：引入张量加速器最亮眼

https://zhuanlan.zhihu.com/p/341328310

聊聊芯片技术趋势

壁仞

https://www.zhihu.com/question/547728200

如何评价壁仞科技发布的最大算力GPGPU BR100？

https://zhuanlan.zhihu.com/p/642431341

壁仞的BR100：来自中国的机器学习GPU

Groq

Groq是Google TPU团队的部分成员创立的AI芯片公司。

官网：

https://groq.com/

参考：

https://zhuanlan.zhihu.com/p/102357412

Groq，“软件定义硬件”概念的背后

https://www.zhihu.com/question/510527941

DSA AI芯片，相对GPGPU，能效上有多大优势？是从哪些方面提升了能效？

Graphcore

Graphcore是一家英国芯片设计企业，成立于2012年。它的产品被称为IPU，主打数据中心的AI训练和推理。

官网：

https://www.graphcore.ai/

文档：

https://docs.graphcore.ai

这里必须表扬一下Graphcore的文档，写的非常好。

Graphcore的Tensorflow支持，使用了XLA接口。

而Pytorch支持，则采用了自研的PopTorch和PopART库。

PopTorch作为pytorch的平替，在建模型的同时，将模型导出为onnx格式。

PopART负责导入onnx格式的模型，并调度硬件执行。

参考：

https://zhuanlan.zhihu.com/p/103963276

深度剖析AI芯片初创公司Graphcore的IPU

https://mp.weixin.qq.com/s/WZQDmyjGgkGMpLjVP5jKlw

Graphcore

https://zhuanlan.zhihu.com/p/31782874

Graphcore AI芯片：更多分析

https://mp.weixin.qq.com/s/7vxJTh4IHeqUsc7IsLFLSA

解密哈萨比斯投资的IPU，他们要分英伟达一杯羹

https://www.cnblogs.com/zuyunfei/p/16349835.html

AI芯片：编程模型和硬件抽象（Nvidia CUDA vs Graphcore Poplar）

寒武纪

官网：

https://www.cambricon.com

文档：

https://developer.cambricon.com/index/document

寒武纪的AI芯片，被称为MLU。

寒武纪7nm训练芯片思元290：这款产品应该训练推理都支持的，int的算力都披露了，但是浮点算力没拿出来show。

估计浮点算力很鸡肋，大概率这是一个标注训练推理芯片的推理芯片吧！

参考：

https://www.zhihu.com/question/41469046

寒武纪神经网络处理器效能如何？

https://zhuanlan.zhihu.com/p/647727663

寒武纪显卡的使用和测试

https://zhuanlan.zhihu.com/p/591827529

寒武纪芯片学习和使用心得汇总

https://www.zhihu.com/answer/3395444932

寒武纪AI芯片

FuriosaAI

FuriosaAI是韩国的一家AI芯片公司。

地平线

地平线主要做智能驾驶领域的AI芯片，和它类似生态位的还有黑芝麻智能。前者于2024.10上市，而后者是2024.8。

行业信息

https://mp.weixin.qq.com/s/vGoWsyaal-gAzsrhPguvFg

深度解读：华为麒麟芯片是如何炼成的！

https://mp.weixin.qq.com/s/8RDHTn6P63otKXUdrHhbjw

一文看懂AI芯片产业生态及竞争格局

https://mp.weixin.qq.com/s/jINnom16KWiEKiug3N-f8g

一文看懂AI芯片：三大门派四大场景146亿美元大蛋糕

https://mp.weixin.qq.com/s/-FwuhibwwG6CFUcZXNBTFA

投资者梳理AI芯片产业，一文秒懂AI芯片生态！

https://zhuanlan.zhihu.com/p/28325678

零基础看懂全球AI芯片：详解“xPU”

https://mp.weixin.qq.com/s/Zng0NTR9P78lnR_vniiM8g

Chris Rowen: 分析全球334家真正的深度学习创业公司，盘点25家AI芯片创业公司

https://zhuanlan.zhihu.com/p/33462550

传统IP Vendor的AI加速器一览

https://mp.weixin.qq.com/s/IaCWZXQI8mYLJQXwDoNQcQ

自动驾驶芯片：GPU的现在和ASIC的未来

https://mp.weixin.qq.com/s/KjQ5BTGd92Y0Mqzk1A5JYg

老兵戴辉讲述海思视频监控芯片从0到1的血泪史！如何一步步成为行业霸主的

https://mp.weixin.qq.com/s/MwZ9j1MIwRBrJK4iWKzRqQ

和AMD有渊源的那些AI创业公司

https://mp.weixin.qq.com/s/FM-0MeXU_g0KCbCzVZruCw

12家AI芯片创企，盯上大模型生意

Antkillerfarm
antkillerfarm@sohu.com

github.com/antkillerfarm

Fork me on GitHub