何以为“堆叠”
与以往的显存形式不同，HBM显存的最大特点在于向“空间”要“空间”。前一个“空间”指的是立体空间，后一个“空间”则指存储空间。传统显存的存储模式以平面分布为基础，所有存储颗粒均分布于二维平面当中，除了使用更大容量的单颗颗粒之外，如果要拓展容量就只能占用更多的平面空间（在PCB上敷设更多颗粒并使用更长的连线）。HBM显存改变了这一传统，将颗粒集中在一起并向“上”进行了空间的延伸，在相同的“占地面积”下，HBM显存能够实现数倍于传统显存的存储容量。
堆叠内存
无论内存、显存或者SSD，甚至是手机/平板电脑的NAND，传统DRAM体系在提升容量时都会受到来自PCB面积的约束，互联线长/带宽以及通讯延迟也会随之增大。相对于传统内存，堆叠显存所做的改进在于将若干片DRAM颗粒垂直叠放在一起，这相当于使用同样的PCB面积布置了比过去多数倍的DRAM颗粒。不仅如此，因为楼房楼层的垂直距离短于平面延伸平房的距离，人与人之间的物理距离也比平房时缩短了许多，沟通更加便利且可以实现更大规模的并行化通讯。所以相对于传统内存，堆叠内存的联线、带宽以及延迟均拥有很大的优势。
堆叠内存结构
HBM显存的出现带来了很多与过去截然不同的存储模式，它将更多颗粒布置在了更小的面积当中，这在提升容量和带宽的同时也导致了新的问题，那就是内存控制器所面临的管理层级和管理范围有了显著的变化。突然激增的内存颗粒和并行存储链路对内存控制器提出了极大的挑战，如果依旧采用传统结构，让全部内存颗粒都去对应单一且统一的内存控制器的话，GPU芯片可能要做到巴掌大。
拥有Base Die的HBM内存（图片源自后藤弘茂blog）
为了解决这一问题，HBM显存在解决内存控制器瓶颈的过程中也引入了一级新的沟通机制，每一簇HBM显存颗粒的最底层都拥有独立的Base Die，其上集成了能够管理整簇堆叠颗粒的芯片，这些芯片将与内存控制器直接沟通，可被用来收集堆叠颗粒当中的数据、并帮助内存控制器对其实施管理。在HBM显存体系当中，内存控制器的规模不仅不会放大，甚至还会出现一定程度的缩减，它只需要面向这些Base Die当中的芯片即可，对每簇颗粒当中各层DRAM的管理将由Base Die完成。
