Zynq-linux PL与PS通过DMA数据交互 转载
一、目标
在米尔科技的z-turn板上，采用AXI DMA 实现zynq的PS与PL数据交互。
二、分析
①PS数据传PL
驱动中的测试程序中给出一堆数据，通过DMA传输到AXI4-Stream Data FIFO ,PL端从DATA FIFO中把数据读出来。
②PL数据传PS
将PS传入PL的数据回传，在PS端显示出数据，最后将数据乘2再送入DMA。
③PL端代码思路
1）读数据
在加上DATA FIFO的情况下，PL从DATA FIFO中读取数据。将DATA -FIFO的M_AXIS端引出，得到下面的信号。
信号名称 作用 方向
m_axis_tvalid 主机向从机发数据的信号声明，置1表示主机有数据要发向从机。 输出
m_axis_tready 主机判断从机是否准备好接收数据，当为1时表示从机准备好接收数据。 输入
m_axis_tdata 主机将要发送的数据。 输出
m_axis_tkeep 主机发送数据时需拉高。 输出
m_axis_tlast 表示主机发送是否是最后一个数据，置1时表示主机正在发送最后一个数据。 输出
从上表可以看出，DATA FIFO接收完数据后，想要从FIFO中读取数据，靠的就是上面5根线，FIFO作主机，PL端作从机。所以FIFO会自动将m_axis_tvalid置1，表明可以从主机中读取数据。PL只需要给出回应m_axis_tready置1，便可以在时钟上升沿来临时读取数据。
同时，AXI-DMA将PS数据传输完成后有完成标志mm2s_introut置1。通过这个标准来确定是否从FIFO中读取数据。所以这个信号用于PL中断的触发信号。
2）写数据
将PL读取出来的数据进行乘2，再传入PS，PS再将数据打印出来。PL端接的是AXI-DMA的S_AXIS_S2MM端口。其信号如下：
信号名称 作用 方向
s_axis_s2mm_tdata 从机接收数据线 输入
s_axis_s2mm_tkeep 数据有效信号线 输入
s_axis_s2mm_tlast 是否最后一个数据 输入
s_axis_s2mm_tready 从机准备是否准备好接收数据 输出
s_axis_s2mm_tvalid 主机是否有数据发向从机 输入
从信号列表可以看出，此时DMA端口是作从机，PL端口作主机向DMA端口发送数据。PL端想发送数据，通过s_axis_s2mm_tvalid表明有数据发往从机。等待从机响应s_axis_s2mm_tready信号，响应过后便可以发送数据。发送数据时需要将s_axis_s2mm_tkeep拉高，同时当传到最后一个数据时，需要将s_axis_s2mm_tlast置1。
3）整体架构
局部放大图：
三、代码实现
①pl_read.v
module pl_read(
clk,
rst,
m_axis_tvalid,
m_axis_tdata,
m_axis_tkeep,
m_axis_tlast,
m_axis_tready,
m_ready,
m_data,
m_datavalid,
m_datalast
);
input clk;
input rst;
input m_axis_tvalid;
input [31:0]m_axis_tdata;
input [3:0]m_axis_tkeep;
input m_axis_tlast;
output m_axis_tready;
input m_ready;
output [31:0]m_data;
output m_datavalid;
output m_datalast;
reg m_axis_tready;
reg [31:0]m_data;
reg m_datavalid;
reg m_datalast;
always@(posedge clk or negedge rst)
begin
if(!rst)
begin
m_axis_tready <= 0;
m_data <= 0;
m_datavalid <= 0;
m_datalast <= 0;
end
else
begin
if(m_ready==1)
begin
m_axis_tready <= 1;
if(m_axis_tvalid==1&&m_axis_tkeep==4'b1111)
begin
m_data <= m_axis_tdata;
m_datavalid <= 1;
if(m_axis_tlast==1) m_datalast <= 1;
else m_datalast <= 0;
end
else
begin
m_data <= m_data;
m_datavalid <= 0;
m_datalast <= 0;
end
end
else
begin
m_axis_tready <= 0;
m_data <= m_data;
m_datavalid <= 0;
m_datalast <= 0;
end
end
end
endmodule
②pl_write.v
module pl_write(
clk,
rst,
s_data,
s_datavalid,
s_datalast,
s_ready,
s_axis_tdata,
s_axis_tkeep,
s_axis_tlast,
s_axis_tready,
s_axis_tvalid
);
input clk;
input rst;
input[31:0] s_data;//data stream
input s_datalast;//data last flag
input s_datavalid;//input data valid flag
output s_ready;//数据可以写入标志
input s_axis_tready;
output[31:0] s_axis_tdata;
output[3:0]s_axis_tkeep;
output s_axis_tlast;
output s_axis_tvalid;
reg [31:0] s_axis_tdata;
reg [3:0]s_axis_tkeep;
reg s_axis_tlast;
reg s_axis_tvalid;
reg s_ready;
always@(posedge clk or negedge rst)
begin
if(!rst)
begin
s_axis_tkeep <= 4'b0000;
s_axis_tvalid <= 0;
s_axis_tdata <= 0;
s_axis_tlast<=0;
s_ready <= 0;
end
else
begin
if(s_axis_tready==1)
begin
if(s_datavalid==1)
begin
s_axis_tvalid <= 1;
s_axis_tkeep <= 4'b1111;
s_axis_tdata <= s_data;
if(s_datalast)s_axis_tlast <= 1;
else s_axis_tlast <= 0;
end
else
begin
s_axis_tvalid <= 0;
s_axis_tkeep <= 4'b0000;
s_axis_tdata <= s_axis_tdata;
s_axis_tlast<=0;
end
s_ready <= 1;
end
else
begin
s_axis_tkeep <= 4'b0000;
s_axis_tvalid <= 0;
s_axis_tdata <= s_axis_tdata;
s_axis_tlast<=0;
s_ready <= 0;
end
end
end
endmodule
③top.v
module top(
);
wire clk;
wire rst;
wire m_axis_tvalid;
wire [31:0]m_axis_tdata;
wire [3:0]m_axis_tkeep;
wire m_axis_tlast;
wire m_axis_tready;
wire m_ready;
wire [31:0]m_data;
wire m_datavalid;
wire m_datalast;
wire s_axis_tready;
wire[31:0] s_axis_tdata;
wire[3:0]s_axis_tkeep;
wire s_axis_tlast;
wire s_axis_tvalid;
pl_write u1(
.clk(clk),
.rst(rst),
.s_data(m_data),
.s_datalast(m_datalast),
.s_datavalid(m_datavalid),
.s_ready(m_ready),
.s_axis_tready(s_axis_tready),
.s_axis_tdata(s_axis_tdata),
.s_axis_tkeep(s_axis_tkeep),
.s_axis_tlast(s_axis_tlast),
.s_axis_tvalid(s_axis_tvalid)
);
pl_read u2(
.clk(clk),
.rst(rst),
.m_data(m_data),
.m_datalast(m_datalast),
.m_datavalid(m_datavalid),
.m_ready(m_ready),
.m_axis_tready(m_axis_tready),
.m_axis_tdata(m_axis_tdata),
.m_axis_tkeep(m_axis_tkeep),
.m_axis_tlast(m_axis_tlast),
.m_axis_tvalid(m_axis_tvalid)
);
system_wrapper u3(
.FCLK_CLK0(clk),
.peripheral_aresetn(rst),
.s_axis_aclk(clk),
.s_axis_aclk_1(clk),
.s_axis_aresetn(rst),
.s_axis_aresetn_1(rst),
.s_axis_tready(s_axis_tready),
.s_axis_tdata(s_axis_tdata),
.s_axis_tkeep(s_axis_tkeep),
.s_axis_tlast(s_axis_tlast),
.s_axis_tvalid(s_axis_tvalid),
.m_axis_tready(m_axis_tready),
.m_axis_tdata(m_axis_tdata),
.m_axis_tkeep(m_axis_tkeep),
.m_axis_tlast(m_axis_tlast),
.m_axis_tvalid(m_axis_tvalid)
);
endmodule
④dma驱动代码
#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/fs.h>
#include <linux/device.h>
#include <asm/io.h>
#include <linux/init.h>
#include <linux/platform_device.h>
#include <linux/miscdevice.h>
#include <linux/ioport.h>
#include <linux/of.h>
#include <linux/uaccess.h>
#include <linux/interrupt.h>
#include <asm/irq.h>
#include <linux/irq.h>
#include <asm/uaccess.h>
#include <linux/dma-mapping.h>
/**
*DMA驱动程序
*
*
*
*
*
*
*`
*
* **/
//DMA 基地址
#define DMA_S2MM_ADDR 0X40400000
#define DMA_MM2S_ADDR 0X40410000
//DMA MM2S控制寄存器
volatile unsigned int * mm2s_cr;
#define MM2S_DMACR 0X00000000
//DMA MM2S状态控制寄存器
volatile unsigned int * mm2s_sr;
#define MM2S_DMASR 0X00000004
//DMA MM2S源地址低32位
volatile unsigned int * mm2s_sa;
#define MM2S_SA 0X00000018
//DMA MM2S传输长度（字节）
volatile unsigned int * mm2s_len;
#define MM2S_LENGTH 0X00000028
//DMA S2MM控制寄存器
volatile unsigned int * s2mm_cr;
#define S2MM_DMACR 0X00000030
//DMA S2MM状态控制寄存器
volatile unsigned int * s2mm_sr;
#define S2MM_DMASR 0X00000034
//DMA S2MM目标地址低32位
volatile unsigned int * s2mm_da;
#define S2MM_DA 0X00000048
//DMA S2MM传输长度（字节）
volatile unsigned int * s2mm_len;
#define S2MM_LENGTH 0X00000058
#define DMA_LENGTH 524288
dma_addr_t axidma_handle;
volatile unsigned int * axidma_addr;
static irqreturn_t dma_mm2s_irq(int irq,void *dev_id)
{
printk("\nPs write data to fifo is over! irq=%d\n",irq);
iowrite32(0x00001000,mm2s_sr);
return IRQ_HANDLED;
}
static irqreturn_t dma_s2mm_irq(int irq,void *dev_id)
{
iowrite32(0x00001000,s2mm_sr);
printk("\nps read data from fifo is over! irq=%d\n",irq);//读出了FIFO里的数据触发中断
return IRQ_HANDLED;
}
int major;
static struct class *dma_class = NULL;
static int dma_init(void);
static int dma_exit(void);
static int dma_open(struct inode *inode,struct file *file);
static int dma_write(struct file *file,const char __user *buf, size_t count,loff_t *ppos);
static int dma_read(struct file *file,char __user *buf,size_t size,loff_t *ppos);
/*
*file_operations 结构数据，沟通内核与操作系统桥梁
*
* */
static struct file_operations dma_lops=
{
.owner = THIS_MODULE,
.read = dma_read,
.open = dma_open,
.write = dma_write,
};
/*
* 初始化，用于module init
*
* */
static int dma_init(void)
{
major=register_chrdev(0,"dma_dev",&dma_lops);
dma_class= class_create(THIS_MODULE,"dma_dev");
device_create(dma_class,NULL,MKDEV(major,0),NULL,"dma_dev");
printk("major dev number= %d",major);
mm2s_cr = ioremap(DMA_MM2S_ADDR+MM2S_DMACR, 4);
mm2s_sr = ioremap(DMA_MM2S_ADDR+MM2S_DMASR, 4);
mm2s_sa = ioremap(DMA_MM2S_ADDR+MM2S_SA, 4);
mm2s_len = ioremap(DMA_MM2S_ADDR+MM2S_LENGTH,4);
s2mm_cr = ioremap(DMA_S2MM_ADDR+S2MM_DMACR, 4);
s2mm_sr = ioremap(DMA_S2MM_ADDR+S2MM_DMASR, 4);
s2mm_da = ioremap(DMA_S2MM_ADDR+S2MM_DA, 4);
s2mm_len = ioremap(DMA_S2MM_ADDR+S2MM_LENGTH,4);
return 0;
}
/*
*退出 用于 module exit
*
* */
static int dma_exit(void)
{
unregister_chrdev(major,"dma_dev");
device_destroy(dma_class,MKDEV(major,0));
class_destroy(dma_class);
free_irq(dma_mm2s_irq,NULL);
free_irq(dma_s2mm_irq,NULL);
dma_free_coherent(NULL,DMA_LENGTH,axidma_addr,axidma_handle);
iounmap(mm2s_cr);
iounmap(mm2s_sr);
iounmap(mm2s_sa);
iounmap(mm2s_len);
iounmap(s2mm_cr);
iounmap(s2mm_sr);
iounmap(s2mm_da);
iounmap(s2mm_len);
return 0;
}
/*
*open 接口函数
*
* */
static int dma_open(struct inode *inode,struct file *file)
{
int err;
printk("DMA open\n");
axidma_addr = dma_alloc_coherent(NULL,DMA_LENGTH,&axidma_handle,GFP_KERNEL);
err = request_irq(61,dma_mm2s_irq,IRQF_TRIGGER_RISING,"dma_dev",NULL);
printk("err=%d\n",err);
err = request_irq(62,dma_s2mm_irq,IRQF_TRIGGER_RISING,"dma_dev",NULL);
printk("err=%d\n",err);
return 0;
}
/*
* write 接口函数
*
* */
static int dma_write(struct file *file,const char __user *buf, size_t count,loff_t *ppos)
{
unsigned int mm2s_status = 0;
printk("dma write start !\n");
if(count>DMA_LENGTH)
{
printk("the number of data is too large!\n");
return 0;
}
memcpy(axidma_addr,buf,count);
iowrite32(0x00001001,mm2s_cr);
iowrite32(axidma_handle,mm2s_sa);
iowrite32(count,mm2s_len);
mm2s_status = ioread32(mm2s_sr);
while((mm2s_status&(1<<1))==0)
{
mm2s_status = ioread32(mm2s_sr);
}
printk("mm2s_status =0x%x\n",mm2s_status);
printk("dma write is over!\n");
return 0;
}
/*
* read 接口函数
*DMA读取数据是按照32bit读取的
* */
static int dma_read(struct file *file,char __user *buf,size_t size,loff_t *ppos)
{
unsigned int s2mm_status=0;
printk("dma read start!\n");
if(size>DMA_LENGTH)
{
printk("the number of data is not enough!\n");
return 1;
}
iowrite32(0x00001001,s2mm_cr);
iowrite32(axidma_handle,s2mm_da);
iowrite32(size,s2mm_len);
s2mm_status=ioread32(s2mm_sr);
while((s2mm_status&(1<<1))==0)
{
s2mm_status=ioread32(s2mm_sr);
}
printk("s2mm_sr=0x%x\n",s2mm_status);
memcpy(buf,axidma_addr,size);
printk("\ndma read is over!\n");
return 0;
}
module_init(dma_init);
module_exit(dma_exit);
MODULE_AUTHOR("TEST@dma");
MODULE_DESCRIPTION("dma driver");
MODULE_ALIAS("dma linux driver");
MODULE_LICENSE("GPL");
⑤测试代码
#include <fcntl.h>
#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
void delay(void)
{
int i,j;
for(i=0;i<20000;i++)
for(j=0;j<10000;j++);
}
unsigned int readarray[10001];
int main(int argc , char ** argv)
{
int fd;
int i=0;
fd = open("/dev/dma_dev",O_RDWR);
if(fd<0) {printf("can not open file\n");while(1);}
else printf("open file sucuss\n");
delay();
for(i=0;i<4000;i++)
{
readarray[i]=i+1;
}
while(1)
{
write(fd,readarray,4000*4);
if(read(fd,readarray,4000*4)==0)
{
for(i=0;i<4000;i++)
{
printf(" %d",readarray[i]);
readarray[i]=readarray[i]*2;
}
printf("\n=====================================\n");
printf("======================================\n");
}
delay();delay();
}
return 0;
}
⑥Makefile文件
KDIR = /home/python/Hard_disk_21G/04-Linux_Source/Kernel/linux-xlnx
PWD := $(shell pwd)
CC = $(CROSS_COMPILE)gcc
ARCH =arm
MAKE =make
obj-m:=dma_driver.o
modules:
$(MAKE) -C $(KDIR) ARCH=$(ARCH) CROSS_COMPLE=$(CROSS_COMPLE) M=$(PWD) modules
clean:
make -C $(KDIR) ARCH=$(ARCH) CROSS_COMPLE=$(CROSS_COMPLE) M=$(PWD) clean
⑦运行结果
可以看见程序运行结果，符合预期值。
四、调试
在调试数据交互的过程中，遇到了很多坑。
第一个大坑就是在DATA-FIFO中。数据位宽设置的8bit，PL将测试数据写入DMA，PS端读出数据，发现数据变得大而且只有前面部分数据不为0，后面数据全是0，后来发现是PS端读DMA是按照字节进行读取的，而PS端读取的数据放在整形数组里面，结果导致是PL端的4个数据合成了PS端一个数据，最后导致PL端发送200个数据，结果PS端只有前50个数据有值，后面全是0。后面将PL的位宽设置为32bit，PS端读出数据就正缺了。
第二大坑就是忽略了tlast信号。这块问题找了很久，最后通过慢慢测试发现了。当时在PL端发送10万个数据，PS端一次性读取10万个数据没问题，然后想测试读取少一点，结果读取一千，两千，一万个数据都可以，同时数据是正确的。到了第二次循环是就出现问题了，第二次读取的数据还是同第一次读取的数据一样。通过读取DMA状态寄存器的值，打印出来是0x4011，判断出DMA内部错误。后来调试出问题是：在传输期间没有tlast信号，所以报出DMA内部错误。再次调试，设置一万个数据给个tlast，读取2万个数据，最后发现只能读取出前面1万个数据，后面全是0，第二轮还是一样，只有前面1万个有数据，后面全是0。最后明白了DMA传输中在一次传输过程中，只能且必须有一次tlast信号，也不能读出tlast信号后的数据。
第三个坑就是在模块设计时，报DMA的S_AXIS_S2MM与FIFO的M_AXIS时钟不匹配，还以为是哪儿没弄对，看别人的都没问题。后来把器件全删了，先把fifo与DMA联接起来，在进行自动连线，问题就解决了。
第四个坑就在PL端的例化，连线上。在仿真fifo的时候，先编写一个模块与fifo对应，同时在模块里面对fifo的S_AXIS端连线，在simulation文件中将fifo的M_AXIS连线，功能仿真想观察波形，结果咋调，波形都是xxxx，AXI时序修改了又修改，还是出问题。后来发现是出现了两个fifo，一个是模块里连线的fifo，另一个是simulation里的fifo，所以就出现了波形是xxxx的情况。后面改成了，增加一个top.v在top里面进行各个模块的连线，时钟也不要在单独例化在底层模块里，全部在top里面连线，例化。
五、总结
①每次进行DMA传输是，读取DMA状态寄存器，根据状态寄存器的值，判断是否发生DMA错误。如果发生DMA内部错误，则是由于DMA传输过程中没有收到tlast信号。
②PS是按字节进行读取或写入DMA的，要注意存放数据的数组的变量类型，即整形数组和字符型数组和PL端的位宽匹配好
————————————————
版权声明：本文为CSDN博主「天使之猜」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/hello_jinjin/article/details/102058119
