Chip » 内存, NAND, GPU通信技术, 光通信
2024-07-17 :: 5677 Words内存
2008年，金融危机爆发，DRAM价格再次雪崩，从2.25美元狂跌至0.31美元。
众厂商哀鸿遍野时，已经羽翼丰满的三星，又一次祭出了逆周期投资的看家法宝，将三星电子上一年的总利润的118%，全部用于扩大产能，故意扩大行业的亏损！
2009年，行业排名第三的德国巨头奇梦达资金链断裂，欧洲仅存的内存厂商就此成为历史。
2012年，在日本人苦苦挣扎数年后，尔必达支撑不住，宣布破产。
带宽翻倍原理很简单，DDR内部一次操作预测n倍数据，连续读写是完全能命中的，而随机读写的n-1部分是完全命中不了的。
DRAM颗粒核心频率不变，仅仅提升I/O口频率，这也导致了从DDR1到DDR6内存随机访问延迟没什么变化。
https://www.zhihu.com/question/649546709
内存的起源是哪里？DDR1到DDR6的区别分别是什么？
“4F2”在DRAM Cell Structure中指的是一种存储单元的面积，其中”F”代表晶体管的特征尺寸（Feature size）。在DRAM技术发展中，4F2意味着存储单元的尺寸是特征尺寸的四倍平方。
与传统的8F2和6F2单元相比，4F2 DRAM cell可以分别提高约60%和30%的产量。
DIMM：Dual In-Line Memory Module
RDIMM：Register DIMM
LRDIMM：Load Reduced DIMM
https://zhuanlan.zhihu.com/p/91835185
什么是RDIMM和LRDIMM？
CAS Latency描述了内存控制器发出读取命令（CAS 命令）到内存开始发送数据之间的延迟。在内存规格中，CAS延迟通常与内存的频率一起列出，如”2666MHz CL17”中的”CL17”表示CAS延迟为 17个时钟周期。
https://mp.weixin.qq.com/s/HOhBNZfOf5xQIFLYQ5ntCw
内存的故事
https://mp.weixin.qq.com/s/qhR0St3CLWEYqV_kl_oXAw
Rambus之战
https://mp.weixin.qq.com/s/gh9cL0BPzCQ2JFOoXdtqyg
内存的技术发展
https://mp.weixin.qq.com/s/kHPTZlDtjqtr0Vi-5OWycQ
金士顿的传说
https://zhuanlan.zhihu.com/p/57780996
内存延迟：因与果
https://mp.weixin.qq.com/s/XcC18tulYdnwqlusg2QrxA
嵌入式内存STT-MRAM趋势分析
https://zhuanlan.zhihu.com/p/62234511
DDR3 vs DDR4?为什么说内存是个很傻的设备？DDR5在哪里？
https://zhuanlan.zhihu.com/p/40601422
双通道、四通道内存对游戏重要吗？
https://mp.weixin.qq.com/s/9skWM6yirEupLj2wdpgqkA
带你深入理解内存对齐最底层原理
https://mp.weixin.qq.com/s/Mb7iSXfrOtettVn-Sz8QUA
主板上这家伙，要当CPU和内存的中间商！
https://blog.csdn.net/shiwq1127/article/details/127975179
memory interleaving（内存交织）
https://zhuanlan.zhihu.com/p/675766394
DDR5内存的“组织架构”
https://zhuanlan.zhihu.com/p/675768122
DDR5内存全家照
NAND
NOR Flash & NAND Flash
Flash按照内部存储结构不同，分为两种：NOR Flash和NAND Flash。
NOR Flash使用方便，易于连接，可以在芯片上直接运行代码（eXecute In Place），稳定性出色，传输速率高，在小容量时有很高的性价比，这使其很适合应于嵌入式系统中作为FLASH ROM。
在通信方式上NOR Flash分为两种类型：CFI Flash和SPI Flash。
NAND Flash强调更高的性能，更低的成本，更小的体积，更长的使用寿命。这使NAND Flash很擅于存储纯资料或数据等，在嵌入式系统中用来支持文件系统。NAND Flash存在坏块问题。
桀冈富士雄（Fujio Masuoka）1980年发明了NOR Flash，1986年又发明了NAND Flash。
三星最早提出Norless的概念，在它的CPU on die ROM中固话了NAND Flash的驱动，会把NAND flash的开始一小段拷贝到内存低端作为bootloader,这样昂贵的NOR Flash就被节省下来了，降低了手机主板成本和复杂度。渐渐NOR Flash在手机中慢慢消失了。
参考：
https://mp.weixin.qq.com/s/Coz81Zidz_LaSYkcErJsOQ
NAND Flash与NOR Flash究竟有何不同
https://zhuanlan.zhihu.com/p/26745577
NOR和NAND Flash
SSD
SLC(1Bits/cell) < MLC(2Bits/cell) < TLC(3Bits/cell) < QLC(4Bits/cell) < PLC(5Bits/cell) < HLC(7Bits/cell)
https://zhuanlan.zhihu.com/p/53547723
一篇文章告诉你SLC、MLC、TLC和QLC究竟有啥区别?
https://zhuanlan.zhihu.com/p/92712620
SLC、MLC、TLC、QLC究竟有什么不同
随着硬件设备存储介质的改变和性能不断的提升，存储设备处理IO的能力越来越快，传统的旋转设备HDD单个IO需要几毫秒到十几毫秒不等，而如今的高性能的NVMe SSD已经降低到了微秒级别。
因此也有了一些专门针对SSD硬盘的存储软件框架。
https://mp.weixin.qq.com/s/d8aoAFi_lpFoZZCZsPij_g
SPDK概览
黑片（Black Die/Wafer）是指在生产过程中发现了某些缺陷的NAND闪存芯片，这些缺陷可能影响其性能、耐用性或可靠性。
https://zhuanlan.zhihu.com/p/34858149
128G的固态硬盘为什么有的标120G，有的标100G？固态硬盘容量背后的秘密
https://zhuanlan.zhihu.com/p/71267390
固态硬盘和u盘的区别
https://www.zhihu.com/question/401733153
长江存储的Xtacking技术与英特尔的3D Xpoint技术、SK的4DNAND技术有什么异同点？
GPU通信技术
Die To Die
Universal Chiplet Interconnect Express (UCIE)是一种开放的行业标准互连，可在芯粒（Chiplet）之间提供高带宽、低延迟、节能且具有成本效益的封装连接。由英特尔、AMD、Arm、台积电和三星等众多行业巨头推动。
UCIe从PCIe扩展而来，是个分层协议，协议层支持PCIe 6.0及CXL 2.0/3.0的生态。
Blackwell采用的是一种叫做NV-HBI（High Bandwitdth Interface）的技术，带宽高达10TB/s。
共享数据
共享数据很简单，OpenGL时代的persistent map，让驱动去做同步、做数据搬运，从而给开发者营造“数据随时可得”的假象（当然也可能的确就是随时可得），这就已经达到共享数据的要求了。
共享地址的难度则增加了一些，其目标是为了让你在CPU上跑的链表能直接在GPU等地方使用。x64时代到来使得内存地址扩充到48位，而且CPU上已经全面虚拟地址，GPU也要跟着加上地址转换的能力。
共享物理内存则明确表明，实现了上两者的独显（OpenCL的SVM就是前两个要求）也要被排除。那就基本是核显Only（主机的架构也可以看作是核显）。
https://www.zhihu.com/question/430936274
苹果的统一内存和集成显卡与CPU共用内存有什么区别？
https://www.zhihu.com/question/22233341
CPU与GPU之间是如何通信的？
RDMA
RDMA网卡（Remote Direct Memory Access，这是一种硬件的网络技术，它使得计算机访问远程的内存时无需远程机器上CPU的干预）已经可以提供50~100Gbps的网络带宽和微秒级的传输延迟。
目前许多以深度学习为目标应用的GPU机群都部署了这样的网络。
UCX是一个建立在RDMA等技术之上的用于数据处理和高性能计算的通信框架，RDMA是其底层核心之一。
OpenUCX是UCX的一个开源实现。
RDMA包含Infiniband（IB），RDMA over Converged Ethernet（RoCE）和internet Wide Area RDMA Protocol（iWARP）。三种协议都符合RDMA标准，使用相同的上层接口，在不同层次上有一些差别。
InfiniBand（直译为“无限带宽”技术，缩写为IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。相当于是面向HPC的以太网的替代品。
Mellanox Technologies是一家InfiniBand制造商，于2020年被Nvidia收购。
| 名称 | 时间 | 带宽 |
|---|---|---|
| ConnectX-5 | 2016 | 100Gbps |
| ConnectX-6 | 2020 | 200Gbps |
| ConnectX-7 | 2022 | 400Gbps |
| ConnectX-8 | 2024 | 800Gbps |
官网：
https://www.openucx.org/
参考：
https://mp.weixin.qq.com/s/_xcE8RUs0m4gwk3kxpe9jA
基于HTM/RDMA的可扩展内存事务处理系统
https://www.zhihu.com/column/c_1231181516811390976
一个RDMA方面的专栏
https://www.zhihu.com/question/422501188
什么是InfiniBand，它和以太网的区别在于什么？
https://www.cnblogs.com/allcloud/p/8945544.html
InfiniBand 与Intel Omni-Path Architecture
https://zhuanlan.zhihu.com/p/580035183
RoCE vs Infiniband vs TCP/IP
光通信
光互连是物理距离较远的芯片的首选。隔壁的PCIE系列也类似，PCIE 6将是最后一代使用电线的标准，未来的PCIE 7+也将转向光通信。
OCS是谷歌自研的数据中心光交换机。通常数据中心内数据交换是光电混合网络，设备之间的主要互联通过光缆/铜缆/光电转换器件、以及交换机ASIC/Serdes/PCIE/NVLink等链路实现。与过去在网络层之间多次将信号“从电转换为光，再到电”不同，OCS是一种全光学的连接方案，通过MEMS阵列结合光环路器、波分复用光模块实现光路的灵活切换、以达到直接通过光信号组建交换网络的目的。
SFP（Small Form-factor Pluggable）和QSFP（Quad Small Form-factor Pluggable）是光纤通信中常用的两种光模块接口类型。最近几年还出现了OSFP封装方式。
光模块的单价比较高，通常单个光模块可以到几千甚至几万人民币。由于每个Port都要使用光模块，因此光模块的数量基本与GPU的数量成正比，通常可以达到GPU的4-6倍，因此，仅光模块的成本就很高。
南北向（North-South）流量：指的是来自数据中心外的流量，不仅包含来自或访问互联网的流量，也包含和其他数据中心的流量。
东西向（East-West）流量：指的是来自同一数据中心的流量，比如数据中心中不同Server相互访问的流量。在现在的数据中心中，这一部分流量是大头，通常至少占70%-80%。
有些场景也会使用ToR Switch（Top-of-Rack，柜顶交换机），通常是作为Leaf Switch。因为和Server在一个机柜内，其布线会更加简单。
在DGX SuperPod中，由于数据量巨大，因此存储系统是与计算节点分开的，Storage Rack负责管理前者。
https://mp.weixin.qq.com/s/gFalBUQGzezAuXdJfn1n2A
关于光通信的最强进阶科普
https://zhuanlan.zhihu.com/p/527363951
光通信、光芯片产业链
https://mp.weixin.qq.com/s/zbe2om-czwGbVBkFsPAwGw
万卡GPU集群互联：硬件配置和网络设计
您的打赏，是对我的鼓励
