RoMe 论文总结与翻译一、主要内容总结1. 研究背景现代基于HBM（高带宽内存）的存储系统仍采用缓存行粒度访问，为维持该细粒度引入了bank组、伪通道（PC）等结构，导致存储控制器调度复杂度剧增、控制开销加大。而大型语言模型（LLM）的工作负载以连续数据块流（数KB至MB级）为特征，访问模式高度顺序化，传统HBM将这些传输拆分为数百个32B缓存行事务，造成调度低效。2. 核心方案：RoMe存储系统RoMe（Row Granularity Access Memory System）针对LLM的访问特性，提出行粒度访问的存储架构，核心设计包括：行粒度接口：替换列级（缓存行级）访问为行级访问，仅支持RD_row（行读取）和WR_row（行写入）命令，无需列、bank组和伪通道等层级。虚拟bank（VBA）架构：整合多个物理bank形成虚拟bank，单个VBA可提供最大带宽，避免复杂的bank组/伪通道交错调度。命令生成器：在逻辑裸片上实现，将行级命令转换为传统DRAM命令序列，减少命令/地址（C/A）引脚占用。简化存储控制器：仅需维护4种bank状态（Idle、Writing、Reading、Refreshing）和10个时序参数，大幅减少调度逻辑、请求队列规模和有限状态机（FSM）数量。 RoMe: Row Granularity Access Memory System for Large Language Models
RoMe 论文总结与翻译一、主要内容总结1. 研究背景现代基于HBM（高带宽内存）的存储系统仍采用缓存行粒度访问，为维持该细粒度引入了bank组、伪通道（PC）等结构，导致存储控制器调度复杂度剧增、控制开销加大。而大型语言模型（LLM）的工作负载以连续数据块流（数KB至MB级）为特征，访问模式高度顺序化，传统HBM将这些传输拆分为数百个32B缓存行事务，造成调度低效。2. 核心方案：RoMe存储系统RoMe（Row Granularity Access Memory System）针对LLM的访问特性，提出行粒度访问的存储架构，核心设计包括：行粒度接口：替换列级（缓存行级）访问为行级访问，仅支持RD_row（行读取）和WR_row（行写入）命令，无需列、bank组和伪通道等层级。虚拟bank（VBA）架构：整合多个物理bank形成虚拟bank，单个VBA可提供最大带宽，避免复杂的bank组/伪通道交错调度。命令生成器：在逻辑裸片上实现，将行级命令转换为传统DRAM命令序列，减少命令/地址（C/A）引脚占用。简化存储控制器：仅需维护4种bank状态（Idle、Writing、Reading、Refreshing）和10个时序参数，大幅减少调度逻辑、请求队列规模和有限状态机（FSM）数量。 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
