Sandisk建议HBF替换HBM以在侧面实施AI
发布时间:2025-04-27 10:07
Sandisk Corp.正在寻找3D-NAND闪存中的创新想法,该公司声称为AI推理应用程序代替基于HBM的鼓(高带宽内存)。本文指出:当Sandisk于2025年2月来自Western Digital Data Storage Company时,该公司表示旨在在提供闪存产品的同时追求新兴令人不安的存储技术的开发。在周期前不久的2月11日,在Sandisk投资者日上,即将上任的技术记忆高级副总裁Alper Ilkbahar引入了对带宽Flash的高度记忆以及他所说的3D Matrix Memory。伊尔克巴哈尔(Ilkbahar)在同一演讲中说,通过优化NAND闪存的带宽,而不是芯片区域和成本,该公司提出了一个称为High Bandwidth Flash Memory(HBF)的架构。该过程是将Noby内存阵列分为许多Miniarrays,并访问每行。这些众多的米拉斯可以使用垂直尺寸堆叠Kioxia BICS 3D-NAND技术。 Ilkbahar说,它被用来产生16层的研发记忆,其容量为8至16次,而HBM和相似的价格。伊尔克巴哈尔(Ilkbahar)对投资分析师的观众说:“我们根据主要的AI参与者的意见做到这一点。”他补充说,HBF有可能用GPU数据中心替换HBM,并扩展其对AI支持的智能手机和其他侧面设备的使用。当前,典型的AI-GPU由2个GPU逻辑芯片和8 HBM组成。即将到来的AI-GPU使用这8 HBMS提供192GB鼓。 Ilkbahar说,HBF的使用可以为组件提供4TB的非易失性记忆。伊尔克巴哈尔(Ilkbahar)说,苛刻的现代LLM(例如GPT4)具有1.8万亿个参数,使用16位重量,需要3.6TB。他注意到:“这意味着可以将整个模型放在单个GPU中,以防止多个数据移动。”这种效率对于将文本与音频和视频相结合的即将到来的多模式模型很重要。智能手机上的AI专注于减少LLM大小是由于内存限制,性能和电力消耗而导致的,但结果令人不愉快。伊尔克巴哈尔(Ilkbahar)表示,它推迟了Edge AI的发展。但是,基于专业混合模型的更高级的LLM或LLM可以具有640亿个参数,8位权重,并且需要64GB的内存。 “单芯片芯片可以包括该模型,”伊尔克巴·萨德尔(Ilkbah Saedar)。 Ilkbahar承认,HBF可能不是HBM的直接替换,但建议Sandisk决定基于相同的DE - 电信接口驱动开放标准接口,并使用最小的协议更改。直到今天,Sandisk已经建立了由行业和公司合作伙伴代表中的杰出人士组成的技术顾问委员会。 Ilkbahar没有命名伴侣,也没有为HBF介绍提供时间表。与第一代HBF相比,他显示出路线图,显示双重容量,并读取带宽,并提高能源效率36%。