PANews 11月6日消息,英伟达发文称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。 具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。

作者 Reporter

发表回复