FPGA_ThreeLevelStorage

目标设备：FPGA（本项目采用的是Xilinx Nexy4）
工程软件：Vivado 2018
编程语言：Verilog HDL
本项目包括：
	1. DDR2 读写模块封装，方便移植
	2. SD卡 读写控制模块
	3. 数据和指令Cache
	4. 五级流水线MIPS CPU（非主角）

[toc]

Shortcut
- 想直接view code?
- 想拆出子模块自己用?

1. 项目背景

1.1. 答谢

感谢我的坚实好友林mx（Tongji CS 2016）提供了本项目的SD卡读写模块，感谢Tongji CS 2015的陈z、黄yx、刘tc等大佬的答疑解惑，感谢香哥的真香警告给了我完成的动力。

1.2. 声明

本项目是原创作品，于2018年12月完成，本实验报告被迅速原封不动收录进该课程教材《计算机系统结构实验指导》一书。虽然书没有提到我，我也只是为学弟学妹做一点微小的贡献，但是既然有不止一个网友私信询问情况（说的像是我模仿了教材），特此说明一下我这个是原版。

1.3. 实验描述

本实验是同济大学计算机系《计算机系统结构》专业课的课程设计，16级计科学生作品，成功申优免考。

目前，大多数计算机都采用的Cache（高速缓冲存储器）、主存储器和‘’磁盘存储器（辅存）构成的三级存储系统，这个存储系统可以看成是“Cache-主存”和“主存-辅存”层次组成的系统。

这一设计是为了解决存储容量和速度的矛盾，大大提升计算机系统的性能。其具有如此神奇作用的原因则是程序的局部性原理——包括空间的局部性和时间的局部性。

“Cache-主存”和“主存-辅存”这两个层次的对比如下面的表格：

	“Cache-主存”层次	“主存-辅存”层次
目的	弥补主存速度的不足	弥补主存容量的不足
存储管理的实现	全部由硬件实现	主要由软件实现
访问速度比值	几比一	几万比一
典型块大小	几十~几百字节	几千字节
CPU对第二级的访问方式	可直接访问	均通过第一级
不命中CPU时是否切换	不切换	切换到其他进程

在本次提升实验之中，也遵循这样的设计原则。即“Cache-主存”这一层次对程序员来说是完全透明的，程序员直接给地址访问主存，Cache则默默无闻地工作，完全由硬件实现。

1.4. 总体框架

这是三级存储系统的总框图，是一个较为抽象的概念图，具体实现则需要结合硬件实验环境选取合适的部件。

1.5. 实验环境

硬件环境：

我们本次提升实验的硬件环境为Digilent Nexys4 DDR Artix-7 FPGA Board开发板。这一开发板上带有一块容量为128M DDR2 SDRAM，可以作为我们的主存SDRAM。还有SD的卡槽，可以把SD Flash作为我们的第三级存储（辅存）。

使用Distributed Memory作为Cache。

板上的100 MHz的时钟接入此系统，并通过分频器给每个部件合适的频率。

软件环境：

软件环境为windows10操作系统下的Vivado 2018.2。

1.6. 实验具体要求

SD卡中存放流水线CPU的二进制流，以及用户程序，N4板上电自动完成如下的任务：

1. 采用跳线的方式，FPGA自动从SD卡中获取流水线CPU的二进制流,并运行该二进制流，使FPGA成为CPU。
2. CPU再按照三级存储的方式访问SDRAM，再由SDRAM从SD卡中把用户程序的目标代码调入到SDRAM，再由CPU把SDRAM中的用户程序目标代码调入到片内CACHE加以运行。

2. SOPC系统整体设计

2.1. 系统设计总体模块图

2.2. 三级存储子系统设计

(1) 地址的设计

我将主存地址地址划分为这三个部分。

Cache中的一个块大小为128个字（一个地址对应一个字），所以块内位移的地址位数应该是7位。

Cache中一共有四个块，所以索引位为2位。

其余的高位则作为标识位。 Cache工作的基本原理如图所示。

(2) Cache映射与替换

在本次提升实验中，我选取了直接映像的方式。主存的块大小和Cache块设为一样，都是128个字的大小。映射的规则可以用下面的示意图形象的表示出来。

主存中的每一个块只能被放置到Cache中唯一的一个位置，从主存块到Cache块的对应关系是依次循环分配的。

如果主存块的索引为i，它映射到Cache块的索引为j，设Cache的块数为M，则有下面的对应关系：$$j=i mod M$$

这样我们可以很方便地通过主存块地址的低2位去选择直接映像Cache中的块。为了实现判断是否命中，我在DataBus中设置了一个标识寄存器。

CPU做访存操作的流程大致如下。

如果发现标识寄存器中对应的单元，其最高位为0或者最高位虽然为1但是标识与访存地址的标识不符，则要启动替换（加载过程），将主存SDRAM中的数据块调入Cache中，同时修改标识寄存器，继续刚才的访存操作就会命中取得数据。

2.3. 系统工作数据流说明

三级存储子系统与CPU协调工作。CPU会告诉存储子系统访问的地址，存储子系统会通知CPU工作状态（是否忙）和取出的数据。CPU的工作是高速的，存储子系统是低速的、时常停顿的。因此我在数据总线模块DataBus与CPU的连接上给CPU一个busy、done的信号，当DataBus忙的时候，busy信号有效，CPU的流水线必须通过stall控制器实现暂停等待，当done信号有效的时候说明读写数据完成，CPU可以继续运行。

开发板在上电后，会自动从外存中加载比特流(SOPC.bit)文件下板，使FPGA变成CPU。然后系统会自动地从SD卡的0地址处读出MIPS指令放入SD缓存中，然后DataBus会启动booting过程，将SD缓存中的指令数据搬到DDR SDRAM（主存）。

CPU初始状态会读取0地址，因为一开始Cache中是没有数据的，故标识存储器也是无效状态，读不命中。这时DataBus将会控制SDRAM和Cache，将SDRAM中对应的数据块调入直接映像的CPU中并修改标识存储器，然后发送done信号并将读出的数据送给CPU。程序得以启动。

在运行的过程中，如果发现Cache中数据块有数据但不是对应标识的，也会启动调块过程，将Cache块中的数据替换掉。

3. 具体模块实现方法

3.1. DDR模块

DDR是Nexys4板上的Nexys4板子上的一个资源，容量为128M。DDR的操作非常复杂，需要借助一个IP核Memory Interface Generator，简称MIG（当然用了MIG还是非常复杂，需要多级封装）。

MIG能够封装DDR的物理层信号，用户不需要对物理信号有所了解，只需要关注应用信号。MIG需要按照资料中指导的操作生成。但是由于DDR相较于cpu属于慢速的设备，所以要协调工作的话还要靠下面的MIG控制器。IP核生成后，需要将DDR的物理接口添加到顶层模块，但无需再在XDC文件中配置端口，因为生成过程中已经配置好了。

其中，需要连接到最顶层的物理接口如下：

inout [15:0]			ddr2_dq,
inout [1:0]             ddr2_dqs_n,
inout [1:0]             ddr2_dqs_p,
output [12:0]           ddr2_addr,
output [2:0]            ddr2_ba,
output                  ddr2_ras_n,
output                  ddr2_cas_n,
output                  ddr2_we_n,
output [0:0]            ddr2_ck_p,
output [0:0]            ddr2_ck_n,
output [0:0]            ddr2_cke,
output [0:0]            ddr2_cs_n,
output [1:0]            ddr2_dm,
output [0:0]            ddr2_odt

应用接口及其含义为：

app_addr[26:0]：访问的地址
app_cmd[2:0]:命令类型，000为写入，001为读取
app_en:高位有效信号，表明地址地址和命令已经有效，发出握手信号
app_rdy:高电平代表接口已经准备好接收命令了。若app_en发出后该信号无效，上述信号应重新发送
app_rd_data[63:0]：读出的数据
app_rd_data_valid:高电平代表读出的数据有效
app_wdf_data[63:0]:要写入的数据
app_wdf_end:代表当前的数据是本次写入数据的结尾
app_wdf_mask[7:0]:掩码，用于指定输入数据的哪些位会被写入到DDR中。若都是0的话，则所有位都会被写入。
app_wdf_rdy:高电平代表接口处于准备状态，可以写入数据
app_wdf_wren:高电平有效，写入允许信号。只有当app_wdf_wren和app_wdf_rdy均有效的时候，数据才会被写入到DDR中。

MIG需要再次封装，根据官方手册中读写时序的要求，给出相应的控制信号。

写操作的时序：

读操作的时序：

非工作状态：

令app_en无效，app_wdf_wren和app_wdf_end等信号也无效。该步不应省略，否则可能会出现实际要工作时无法写入等情况。

在实际的实验过程中，出现了很多的问题，MIG的同步性并不好，为了更好地工作，我将MIG改成了同步工作的部件。当给DDR发出一个读/写请求后，DDR控制器会陷入工作状态，置busy为1done为0，维持给MIG的读写请求的一段时间确保读写一定完成，再置busy为0 done为1。这样封装好的DDR部件，我将其命名为sealedDDR.v

经过无数次的实验和仿真，确定了设反复读写次数为256是一定无误的。所以我封装后的DDR的工作周期为100Mhz/256.

封装好的DDR模块可以连接到数据总线DataBus上去，sealedDDr的模块图如下所示：

3.2. Cache模块

Cache块是通过一个Distributed Memory实现的。容量为512个字，和前面对Cache的设计保持一致，4个块每个块128个字，4×128=512。

Cache是可读可写的，所以这里设置Memory Type为Single Port RAM。

3.3. SD模块

SD卡为移动设备提供了安全的，大容量存储解决方法。它本身可以通过两种总线模式进行数据传输，一种是称为SD BUS的4位串行数据模式，另一种就是本次实验采用的4线SPI Bus模式。

初始化操作

SPI模式下的初始化操作有：上电->进入SPI模式（CMD0）->检测当前MCU电压是否符合SD卡的要求（CMD8)->开始初始化(ACMD41)->读取卡类型(CMD58)。

上电

当电压达到SD卡的最小工作电压的后，必须使CS，DI为高电平，输出最少74个时钟脉冲后，才能开始发送第一个命令。

初始化

SD卡上电后处于SD Bus模式，使CS保持为0，并且发送CMD0命令，SD卡就会进入到SPI模式。初始化完成后，通过发送CMD58指令读取卡的类型（OCR寄存器的CCS位[30]), CCS为1表示当前卡的类型为SDXC或者SDHC，为0表示卡的类型为SDSC。

数据读写操作

读取单个数据块

发出读取单个数据块命令CMD17，若SD卡返回响应无错误（返回0），则开始等待数据块起始标识符0xFE, 然后开始读取数据块和CRC校验。

读取多个数据块

读取多个数据块操作和读取单个数据块的相似，先发送命令CMD18，然后开始等待数据块的起始标识符。需要停止读取操作时，发送CMD12命令，返回响应为0表示SD卡处于忙碌状态，只有返回任何不为0的值后，才能发送下一条命令。

SD卡封装

SD模块给出工作状态信号sd_mem_ready，只有有效后才能进入BOOTING状态。

SD卡的数据，每当系统初始或者reset的时候，就会重新读入SD缓存中，为搬入DDR做准备。

3.4. 数据总线DataBus模块

数据总线DataBus模块可以说是整个三级存储的核心部件。虽然叫DataBus，起到构建数据通路，连接存储部件的作用。但是实际上它是三级存储的核心控制器，既负责和CPU配合同步，又负责给出所有存储模块（辅存SD FLASH、主存DDR SDRAM、高速缓存Cache）的读写信号并控制数据流向。

DataBus的模块图如下：

它的连线连接了CPU、SD、DDR和Cache.

DataBus是一个有限状态自动机，总共有4个工作状态：

名称	含义
UNINITIALIZED	未初始化，是系统刚上电或者复位后的状态。由于DDR和SD模块都有一个初始化的过程，所以本状态需要接收DDR和SD的Ready信号后才进入BOOTING状态。
BOOTING	系统正在初始化中，这一个状态是SD中的数据向主存DDR写入的过程。通过两个计数器，用二重循环将DDR中的数据块一个一个写上数据。BOOTING结束后转入READIMEM状态。
READIMEM	读Cache状态：在这里比对地址和标识存储器，判断是否命中，如果Cache命中，Cache中的数据送出DataBus；否则转入DDRTOIMEM状态。
DDRTOIMEM	Cache发生未命中后，DDR中的数据块往Cache中调的过程。掉块结束后将转入READIMEM状态。

3.5. 五级流水线CPU

五级流水线CPU是平时实验完成的内容，这里不再多介绍。

此处对CPU稍做的改造是，向CPU传入DataBus的工作状态，并把工作状态信号传入CPU的暂停控制模块中，将给CPU一个新的暂停的理由，以达到三级存储子系统和CPU协调工作的目的。当DataBus忙的时候，stall信号全1，将CPU所有部件暂停；等待done信号到来继续工作。

4. 运行与验证

4.1. 从U盘下板

使用移动电源供电。比特流在u盘中，应用程序在SD卡中。

黄色的BUSY灯常亮，说明正在下板。

为了便于了解系统的工作状况，我将LED[2:0]这三个接了特殊的信号。LED[0]用于显示系统是否就绪；

LED[1]亮时表示从存储子系统读到了数据；

LED[2]表示存储子系统正忙，可能是正在启动，也可能时因为发生Cache块的装入、替换。除了最开始启动，其他时间一般忙的时间非常短暂，LED[2]只会闪一下。

上图只有LED[2]亮，这是系统刚通电，存储子系统未就绪。

上图LED[0]、LED[1]亮，表示系统就绪并且从存储子系统中读出了数据。

4.2. SD卡写入程序测试

使用

软件，从SD卡0地址开始写入应用程序。

上面写的时系统结构静态流水线CPU的测试程序。

下板执行：

C[12]

C[24]

D[18]

D[26]

下板拨动开关遍历数组，逐一和 Mars 的结果对比，结果一致，说明流水线工作正常。

4.3. 中途更换SD卡测试

不重新下板，更换写着另一个程序的SD卡，按下reset键，板子将跑新的程序。

这里我换上的是《计算机组成原理》课程用于验证CPU功能的测试程序。

下板结果：

下板结果为1~F依次从右边流出，循环往复，符和预期结果，中途替换SD卡成功。

5. 总结

本次实验是我用Vivado以来，写过最难的一个项目。难点不仅在于模块众多、时序复杂、仿真困难，还在于需要查阅大量的资料来实现SD卡和DDR的使用。

万丈高楼，平地升起。做数字系统设计也是如此，我的基本思路是，先做一个整体设计，将大系统划分为子系统，然后逐个模块击破，最后将他们连接起来。具体来说，CPU是之前完成的，那么首先要完成本次实验要用到的存储部件，包括DDR SDRAM、SD卡的读写。接着，要根据《计算机系统结构》课程所学的三级存储的知识，设计合适的地址划分、Cache映射和替换方案，然后写一个三级存储总控制器来控制三级部件的协作。

这次提升实验，我最大的收获，莫过于看了无数的波形，让我深刻体会到下板不如看波形，许多BUG都是我在看波形的时候解决的。这也极大的锻炼了我设计仿真、观察信号和系统工作过程的能力。所谓提升实验，不仅是难度的提升，也是对能力的提升。

6. 源代码与说明

整个Vivado项目中，模块的层次如下图所示。

由于文件过多，这里不在报告中贴出。详细代码请见附件。下面给出源程序文件的说明。

源程序文件可以分为以下三类（仅列出模块文件，未列出仿真文件、波形格式文件、管脚约束文件等）

第一类：三级存储子系统模块

文件名	说明
DataBus.v	三级存储总控制器
ddr_read_control.v	DDR读控制模块
ddr_wr.v	DDR控制器
ddr_write_control.v	DDR写控制模块
labkit.v	SD用户控制模块
SD	SD封装
sd_controller.v	SD物理信号控制器
sealedDDR.v	DDR封装

第二类：动态流水线CPU模块

文件名	说明
io_sel.v	外设编址器
sw_mem_sel.v	开关编址信号控制
ALU.v	算术逻辑运算单元
ControlUnit.v	译码段
CPU.v	CPU封装
ctrl.v	流水暂停控制器
data_ram.v	数据RAM
DIV_m.v	有符号除法器
DIVU.v	无符号除法器
ex.v	执行段
ex_mem.v	执行-访存流水寄存器
hilo_reg.v	hilo寄存器
id_ex.v	译码-执行流水寄存器
if_id.v	取址-译码流水寄存器
MDU.v	乘除法单元
mem.v	访存段
mem_wb.v	访存-写回流水寄存器
mult.v	有符号乘法器
multu.v	无符号乘法器
pc_reg.v	PC寄存器
regfile.v	通用寄存器堆

第三类：顶层模块

文件名	说明
Defination.vh	宏定义文件
seg7x16.v	七段数码管控制器
SOPC.v	系统整体封装顶层文件

KEEPDRIBBLING / FPGA_ThreeLevelStorage

FPGA_ThreeLevelStorage

1. 项目背景

1.1. 答谢

1.2. 声明

1.3. 实验描述

1.4. 总体框架

1.5. 实验环境

1.6. 实验具体要求

2. SOPC系统整体设计

2.1. 系统设计总体模块图

2.2. 三级存储子系统设计

2.3. 系统工作数据流说明

3. 具体模块实现方法

3.1. DDR模块

3.2. Cache模块

3.3. SD模块

3.4. 数据总线DataBus模块

3.5. 五级流水线CPU

4. 运行与验证

4.1. 从U盘下板

4.2. SD卡写入程序测试

4.3. 中途更换SD卡测试

5. 总结

6. 源代码与说明

简介

发行版

贡献者

近期动态

KEEPDRIBBLING / FPGA_ThreeLevelStorage .gitee-modal { width: 500px !important; }

FPGA_ThreeLevelStorage

1. 项目背景

1.1. 答谢

1.2. 声明

1.3. 实验描述

1.4. 总体框架

1.5. 实验环境

1.6. 实验具体要求

2. SOPC系统整体设计

2.1. 系统设计总体模块图

2.2. 三级存储子系统设计

2.3. 系统工作数据流说明

3. 具体模块实现方法

3.1. DDR模块

3.2. Cache模块

3.3. SD模块

3.4. 数据总线DataBus模块

3.5. 五级流水线CPU

4. 运行与验证

4.1. 从U盘下板

4.2. SD卡写入程序测试

4.3. 中途更换SD卡测试

5. 总结

6. 源代码与说明

简介

发行版

开源评估指数源自 OSS-Compass 评估体系，评估体系围绕以下三个维度对项目展开评估：

贡献者

近期动态

搜索帮助

KEEPDRIBBLING / FPGA_ThreeLevelStorage