(原創) 如何設計一個數位相框? (SOC) (Quartus II) (SOPC Builder) (Nios II) (TRDB-LTM) (DE2-70)

Abstract
在上一篇blog，我們學會了將wav檔放在SD卡上，實做出一個SD卡wav player，第一次體會出軟硬體設計的威力。由於FAT16格式的讀取，必須牽涉到軟體的動作，所以必須引入Nios II與Avalon Bus，不能再靠純硬體的方式設計。這次我們將圖片放在SD卡上，在DE2-70實做出一個簡易的數位相框。

Introduction
使用環境：Quartus II 8.1 + Nios II EDS 8.1 + DE2-70 (Cyclone II EP2C70F896C6N) + TRDB-LTM

這4篇原本是設計在一起的lab，適合初學者從0開始慢慢熟悉Quartus II、SOPC Builder、Nios II EDS、Avalon Bus Slave、Avalon Bus Master。

(原創) 如何自己用SOPC Builder建立一個能在DE2-70上跑μC/OS-II的Nios II系統? (SOC) (Quartus II) (SOPC Builder) (Nios II) (μC/OS-II) (DE2-70)
(原創) 如何設計一個七段顯示器Controller? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)
(原創) 如何設計一個SD卡Wav Player? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)
(原創) 如何設計一個數位相框? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)

面臨的挑戰
要在DE2-70設計一個數位相框，面臨了幾個挑戰：
1.因為圖片是放在SD卡上，用的是FAT16格式，無論開檔、讀檔都必須透過軟體，關於SD卡使用與FAT16的讀取，在Lab 3我們已經學會，所以已經解決。

2.Altera並沒有提供LTM (touch panel) controller，所以我們必須依照Homework 2的model自己開發一個LTM Controller，這也是本次Lab的重點。

『在DE2-70 CD的範例中，是否有接近的範例可以參考而加以修改呢?』

在DE2_70_D5M_LTM範例中，提供了一個相近的範例，不過他的input是500萬像素cmos，而不是SD卡。

SDRAM之前屬於CMOS部分，與本Lab無關，可以不用理他，SDRAM為frame buffer，影像就是存在這裡。LTM Controller與Data Request就是LCD Timing Generator部分，這部分可以保留下來繼續用。

由於讀取SD卡與FAT16需要軟體配合，勢必加上Nios II CPU與Avalon Bus，此時這裡的Multi-Port SDRAM Controller與LTM Controller就很尷尬了，因為他是個純硬體的Controller，無法掛在Avalon Bus上，所以必須將這2個controller換掉。

Altera有提供SDRAM Controller可用，在Lab1 ~ Lab3我們都使用過Altera SOPC版的SDRAM Controller，但Altera並沒有提供SOPC版的LTM Controller，這就得靠我們自己寫了。最後架構如下圖所示：

系統架構圖

 

Master Interface
Slave Interface已經在Lab 2 七段顯示器Controller練習過，主要提供C語言透過Nios II對controller設定register。LTM Controller雖也提供slave interface，但主要的影像傳輸使用的是Master Interface。

為什麼要使用Master Interface呢?
由於影像放在SDRAM，當成LTM的frame buffer，LTM必須以33MHz不斷對SDRAM要資料，對LTM做掃描顯示，在Lab 2我曾經說過，master與slave的差別在於Master能夠自己發起傳輸，Slave則必須由Master控制而被動的發起傳輸，若影像傳輸使用Slave Interface，則Nios II CPU必須不斷的介入，命令資料從SDRAM搬到LTM，如此Nios II CPU將非常忙碌，所以比較理想的方式是LTM Controller支援Master Interface，這樣LTM Controller就能主動地讀取SDRAM，不需Nios II CPU介入。

硬體部分
Step 1：
使用lab4_files.7z內的DE2_70_LTM_NIOS project

將DE2_70_LTM_NIOS複製到c:\DE2-70下

Step 2：
使用Lab4_files.zip內的LTM_Controller

將LTM_Controller複製到c:\DE2-70\DE2_70_LTM_NIOS\ip目錄下

Step 3：
開發LTM_Controller.v

57行，請補上FIFODEPTH參數，這是設定FIFO的大小
59行，請補上FIFOFULLVALUE參數，這是設定當FIFO還剩下多少時，就認為FIFO已經滿了。
109行，請補上fifo_full的條件。

最後完整程式如下所示：
LTM_Controller.v / Verlilog

/* 
(C) OOMusou 2008 http://oomusou.cnblogs.com

Filename    : LTM_Controller.v
Compiler    : Quartus II 8.1
Description : LTM Controller for Avalon Bus
Release     : 12/18/2008 1.0
 */

`default_nettype none

 module LTM_Controller (
  // Avalon clock interface siganals
   input                        csi_clockreset_clk,        // avalon-mm clk
   input                        csi_clockreset_reset_n,    // avalon-mm reset_n
  // Signals for Avalon-MM master port
   output [DATAWIDTH-1:0]       avm_m1_address,            // avalon-mm master address
   output [BYTEENABLEWIDTH-1:0] avm_m1_byteenable,         // avalon-mm master byteenable
   output                       avm_m1_read,               // avalon-mm master read
   input                        avm_m1_readdatavalid,      // avalon-mm master readdatavalid
   input  [DATAWIDTH-1:0]       avm_m1_readdata,           // avalon-mm master readdata
  input                        avm_m1_waitrequest,        // avalon-mm master waitrequest
  // Signals for Avalon-MM slave port
  input  [ADDRWIDTH-1:0]       avs_s1_address,            // avalon-mm slave address
  input  [BYTEENABLEWIDTH-1:0] avs_s1_byteenable,         // avalon-mm slave byteenable
  input                        avs_s1_write,              // avalon-mm slave write
  input  [DATAWIDTH-1:0]       avs_s1_writedata,          // avalon-mm slave writedata
  input                        avs_s1_read,               // avalon-mm slave read
  output [DATAWIDTH-1:0]       avs_s1_readdata,           // avalon-mm slave readdata
  // LTM couduit input
  input                        coe_ltm_export_iCLK_50,    // 50MHz
  input                        coe_ltm_export_iRST0,      // reset delay 0
  input                        coe_ltm_export_iRST2,      // reset delay 2
  // LTM couduit output 
  output                       coe_ltm_export_oLTM_CLK,   // ltm clk
  output [LTM_DATAWIDTH-1:0]   coe_ltm_export_oR,         // ltm R
  output [LTM_DATAWIDTH-1:0]   coe_ltm_export_oG,         // ltm G
  output [LTM_DATAWIDTH-1:0]   coe_ltm_export_oB,         // ltm B
  output                       coe_ltm_export_oHD,        // ltm h.sync
  output                       coe_ltm_export_oVD,        // ltm v.sync
  output                       coe_ltm_export_oDEN,       // ltm data enable
  output                       coe_ltm_export_oSCLK,      // ltm I2S clk
  inout                        coe_ltm_export_ioSDAT,     // ltm I2S data
  output                       coe_ltm_export_oSCEN,      // ltm I2S clk enable
  output                       coe_ltm_export_oFIFO_FULL, // for debug use only (ltm fifo empty)
  output                       coe_ltm_export_oFIFO_EMPTY // for debug use only (ltm fifo full)
);

// LTM parameter
parameter LTM_DATAWIDTH   = 8;                // ltm data width

// Avalon-MM parameter
parameter DATAWIDTH       = 32;               // width of databus
parameter BYTEENABLEWIDTH = 4;                // width of byteenable
parameter ADDRESSBASE     = 32'h0080_0000;    // SDRAM frame buffer start address
parameter LENGTH          = 800 * 480;        // LTM width : 800, height = 480
parameter FIFODEPTH       = 8192;             // FIFO depth : number of words
parameter FIFODEPTHLOG2   = 13;               // FIFO width of depth
parameter FIFOFULLVALUE   = 195;               // FIFO full value
parameter ADDRWIDTH       = 3;                // avalon-mm slave address width

localparam FIFOALMOSTFULL = FIFODEPTH - FIFOFULLVALUE; // FIFO almost full value

// LTM wire
wire ltm_nclk; // ltm clk
wire read;     // sdram read request

// fifo wire
wire                       fifo_wrclk;  // fifo write clk
wire                       fifo_aclr;   // fifo asynchronous clk
wire                       fifo_wrreq;  // fifo write request
wire [DATAWIDTH-1:0]       fifo_wrdata; // fifo write data
wire                       fifo_rdclk;  // fifo read clk
wire                       fifo_rereq;  // fifo read request
wire [DATAWIDTH-1:0]       fifo_rddata; // fifo read data
wire                       fifo_empty;  // fifo empty
wire                       fifo_full;   // fifo full
wire [FIFODEPTHLOG2-1:0]   fifo_used;   // fifo data used

// internal logic
reg  [DATAWIDTH-1:0]       address;              // address of sdram
wire [DATAWIDTH-1:0]       end_address;          // end address of sdram
wire                       is_address_sload;     // is sload of address?
wire                       is_increment_address; // is increment address of sdram?
reg  [FIFODEPTHLOG2-1:0]   reads_pending;        // pending reads

// master output
assign avm_m1_address            = address;      // avalon-mm master address
assign avm_m1_byteenable         = 4'b1111;      // avalon-mm master byteenable (32 bit)
assign avm_m1_read               = (!fifo_full); // avalon-mm master read

// export output
assign coe_ltm_export_oLTM_CLK    = ltm_nclk;   // ltm clk
assign coe_ltm_export_oFIFO_FULL  = fifo_full;  // for debug use only (ltm fifo full)
assign coe_ltm_export_oFIFO_EMPTY = fifo_empty; // for debug use only (ltm fifo empty)

// fifo input
assign fifo_wrclk                = csi_clockreset_clk;      // fifo write clk
assign fifo_aclr                 = ~csi_clockreset_reset_n; // fifo asynchronous clear
assign fifo_wrreq                = avm_m1_readdatavalid;    // fifo write request
assign fifo_wrdata               = avm_m1_readdata;         // fifo write data
assign fifo_rdclk                = ltm_nclk;                // fifo read clk
assign fifo_rereq                = read;                    // fifo read request

// internal logic
assign end_address               = ADDRESSBASE + LENGTH * BYTEENABLEWIDTH; // end address of sdram
assign is_address_sload          = (address == end_address);               // is sload of address?
assign is_increment_address      = (!fifo_full) && (!avm_m1_waitrequest);  // is increment address of sdram?
assign fifo_full                 = (fifo_used + reads_pending) > (FIFOALMOSTFULL); // is fifo full

// address register
always@(posedge csi_clockreset_clk, negedge csi_clockreset_reset_n) begin
  if (!csi_clockreset_reset_n)
    address <= 0;
  else begin
    if (address == 0)              // initailize
      address <= ADDRESSBASE;
    else if (is_address_sload)     // is sload of address?
      address <= ADDRESSBASE;
    else if (is_increment_address) // is increment address of sdram?
      address <= address + BYTEENABLEWIDTH;
  end
end

// reads_pending register
always@(posedge csi_clockreset_clk, negedge csi_clockreset_reset_n) begin
  if (!csi_clockreset_reset_n)
    reads_pending <= 0;
  else begin
    if (is_increment_address) begin // is increment address of sdram?
      if (!avm_m1_readdatavalid)
        reads_pending <= reads_pending + 1'b1;
    end
    else begin
      if (avm_m1_readdatavalid) // read data valid
        reads_pending <= reads_pending - 1'b1;
    end
  end
end

// ltm clk
ltm_pll ltm_pll0 (
  .inclk0(coe_ltm_export_iCLK_50), // 50MHz
  .c0(ltm_nclk)                    // 33MHz
);

// I2S ltm config
lcd_3wire_config wire0 (
  // Host Side
  .iCLK(coe_ltm_export_iCLK_50),       // 50MHz
  .iRST_n(coe_ltm_export_iRST0),       // reset delay 0
  // 3 wire Side
  .o3WIRE_SCLK(coe_ltm_export_oSCLK),  // I2S clk
  .io3WIRE_SDAT(coe_ltm_export_ioSDAT),// I2S data
  .o3WIRE_SCEN(coe_ltm_export_oSCEN)   // I2s clk enable
);

// tcon controller
touch_tcon tcon0 (
  .iCLK(ltm_nclk),               // 33MHz
  .iRST_n(coe_ltm_export_iRST2), // reset delay 2
  // sdram side
  .iREAD_DATA1({1'b0, fifo_rddata[15:11], fifo_rddata[7:0], 2'b00}),         // G[9:5]B[9:0]
  .iREAD_DATA2({1'b0, fifo_rddata[10:8], 2'b00, fifo_rddata[23:16], 2'b00}), // G[4:0]R[9:0]
  .oREAD_SDRAM_EN(read),         // sdram read request
  // lcd side
  .oLCD_R(coe_ltm_export_oR),    // ltm R
  .oLCD_G(coe_ltm_export_oG),    // ltm G
  .oLCD_B(coe_ltm_export_oB),    // ltm B
  .oHD(coe_ltm_export_oHD),      // ltm h. sync
  .oVD(coe_ltm_export_oVD),      // ltm v.sync
  .oDEN(coe_ltm_export_oDEN)     // ltm data enable
);

// ltm fifo
dcfifo # (
  .lpm_width(DATAWIDTH),     // data width of fifo
  .lpm_numwords(FIFODEPTH),  // fifo depth of fifo
  .lpm_widthu(FIFODEPTHLOG2) // fifo width of depth
) fifo0 (
  .wrclk(fifo_wrclk),        // fifo write clk
  .aclr(fifo_aclr),          // fifo asynchronous clear
  .wrreq(fifo_wrreq),        // fifo write request
  .data(fifo_wrdata),        // fifo write data
  .rdclk(fifo_rdclk),        // fifo read clk
  .rdreq(fifo_rereq),        // fifo read request
  .q(fifo_rddata),           // fifo read data
  .rdempty(fifo_empty),      // fifo empty
  .wrusedw(fifo_used)        // fifo used data
);

endmodule

LTM Controller使用的是效率較佳的Master Pipelined Read Transfer

(1) 此時Master開始對Avalon Bus做讀取的動作，因此對Avalon Bus發出addr1信號並將read信號拉high。此時剛好碰到Avalon Bus給master的waitrequest為high，表示Avalon Bus正在忙碌中，因此addr1與read必須再多delay 1個clk。

(2) 此時Avalon Bus已經不忙碌，所以Avalon Bus將waitrequest拉low，此時Avalon Bus接受了Master所發出的addr1與read信號。

(3) 此時Avalon Bus不忙碌，所以Avalon Bus的waitrequest為low，此時Avalon Bus接受了下一筆Master所發出的addr2與read信號。在此同時，Avalon Bus發給Master的readdatavalid為high信號，表示Master可從Avalon Bus去讀取addr1的數據data1。

(4) 此時Avalon Bus不忙碌，所以Avalon Bus的waitrequest為low，此時Avalon Bus接受了下一筆Master所發出的addr3與read信號，所以在此時已經有兩筆數據pending在Avalon Bus還未傳輸。

(5) 此時Avalon Bus發給Master的readdatavalid為high，所以Master從Avalon Bus讀取數據 (data2)。

(6) 此時Avalon Bus發給Master的readdatavalid為low，所以Master無法從Avalon Bus讀取數據。在此同時，Master對Avalon Bus發出addr1、read與flush為high信號，告訴Avalon Bus讀取第4筆數據並且放棄讀取pending在Avalon Bus而尚未讀取的數據(data3)

(7) 此時Avalon Bus發給Master的readdatavalid為high，所以Master從Avalon Bus讀取數據(data4)，因為data3以前被放棄。

Step 4：
開發HAL

目前僅提供一個HAL，就是讓C語言可以指定x, y座標與該pixel的RGB，如此才能將讀取的bmp圖片寫進SDRAM frame buffer。

第9行，請補上offset的計算方式。

最後完整程式如下所示：

ltm.c / C

/* 
(C) OOMusou 2008 http://oomusou.cnblogs.com

Filename    : ltm.c
Compiler    : Nios II 8.1
Description : LTM API for LTM Controller
Release     : 12/18/2008 1.0
*/

#include "alt_types.h" // alt_u32, alt_u8
#include "ltm.h"
#include "ltm_regs.h"  // register map of ltm controller

void ltm_write_rgb_to_pixel(alt_u32 base, alt_u16 x, alt_u16 y, alt_u8 r, alt_u8 g, alt_u8 b) {
  alt_u32 offset;
  alt_u32 data;
  
  offset = ((y * LTM_WIDTH)+(x)) * BYTEENABLEWIDTH;
  
  data = g & 0xff;
  data = (data << 8) | (r & 0xff);
  data = (data << 8) | (g & 0xff);
  data = (data << 8) | (b & 0xff);
  
  IOWR_LTM_RGB(base + offset, data);
}

Step 5：
使用SOPC Builder將IP打包

在Lab 2我們已經學會將七段顯示器controller打包的方法，使用相同的方式將LTM controller打包成ip。唯一不同的是，因為LTM Controller的module較多，所以必須加入多個.v檔。注意Top Level Module是LTM_Controller.v

 

建立成功會在左上角顯示LTM_Controller。

 

Step 6：
加入Pipeline Bridge

在Quartus II 7.1之後，提出了Pipeline Bridge架構，可以將master與slave間的address、write、writedata、read、readdata等信號加上pipeline stage，可以提高整個系統的Fmax，更詳細的解釋請參考： (原創) 如何使用Pipeline Bridge增進Nios II系統的Fmax? (SOC) (Quartus II) (Nios II) (SOPC Builder) (DE2-70)

Step 7：
加入LTM Controller

接受原來LTM_Controller.v預設的parameter即可。

由於ltm是透過pipeline_bridge與sdram相連。所以將

ltm的master與pipeline_bridge_ltm的slave相連。
pipeline_bridge_ltm的master與sdram的slave相連。
ltm的slave與CPU的data_master相連。

設定LTM Controller的Bus Arbitration Rule
由於LTM的更新速度很快(33MHz)，所以LTM Contoller需要不斷的對SDRAM要資料顯示，因此預設的bus佔有率已經無法滿足LTM的正常顯示，必須加以調整。

顯示Arbitration

將Arbitration Rule調85，表示LTM將占據SDRAM 85%的頻寬。

事實上，LTM要能穩定的顯示，有三個重要的參數彼此影響：

1.LTM Controller的Bus Arbitration Rule
2.LTM Controller的FIFO depth
3.LTM Controller的FIFO almost full value

我花了很多時間去tune這三個參數讓LTM的顯示穩定，若3個參數沒調好，可能會造成LTM影像上下shift或者上下左右不斷的輪播..等等問題。

最後Auto-Assign Base Address，解決address overlap的錯誤。

按Generate開始產生SOPC System。

Step 8：
Quartus II編譯與Programmer燒入

top module部分我就沒要求同學修改，Quartus II直接編譯即可，不過還是建議同學花時間看看top module是怎麼寫的。

軟體部分
Step 9：
Import hello_world_0與hello_world_0_syslib
Run As Hardware

整個程式的架構與Lab 3的DE2_70_SD_Card_Audio_Player類似，只是Wav Lib改成Bmp Lib，Audio HAL改成LTM HAL。程式難度不高，同學可自行研究。

唯一要同學加上的是140行，使用我們自己寫的ltm_write_rgb_to_pixel()將RGB載入SDRAM。

最後完整程式如下所示：

hello_world.c / C

/* 
(C) OOMusou 2008 http://oomusou.cnblogs.com

Filename    : hello_world.c
Compiler    : Nios II 8.1
Description : main() for photo frame
Release     : 12/18/2008 1.0
*/
#include <stdio.h>
#include "my_includes.h"
#include "my_types.h"
#include "FatFileSystem.h"  // FAT16 lib
#include "SDCardDriver.h"   // SDCard HAL
#include "bitmap.h"         // bmp lib
#include "ltm.h"            // LTM HAL

#define WAITING_SEC 5
// bmp file list parameter
#define MAX_FILE_NUM 128  // maximum file number in file list
#define FILENAME_LEN 32   // length of file name

typedef struct {
  int  filenum;
  char filename[MAX_FILE_NUM][FILENAME_LEN];
} BmpFileList;

static BmpFileList bmp_file_list;

// bmp parameter
#define BMP_WIDTH 800
#define BMP_HEIGHT 480
#define BMP_RGB_OFST 54
#define NUM_RGB 3
#define OFST_R 2
#define OFST_G 1
#define OFST_B 0

// wait sdcard insert into socket
void wait_sdcard_insert(void) {
  bool bFirstTime2Detect = TRUE;
  
  while(!SD_card_init()) {
    if (bFirstTime2Detect){
      printf("Please insert SD card.\n");
      bFirstTime2Detect = FALSE;
    }
  }
  
  printf("Find SD card.\n");
}

// build bmp file list
int build_bmp_play_list(void) {
  int filecnt = 0;                   // number of bmp 
  FAT_BROWSE_HANDLE hFileBrowse;     // FAT browse handle
  FAT_DIRECTORY Directory;           // FAT directory
  FAT_FILE_HANDLE hFile;             // FAT file handle
  alt_u8 header[BMP_RGB_OFST]; 
  char filename[FILENAME_LEN];

  bmp_file_list.filenum = 0;
  
  // FatFileSystem.h
  if (!Fat_FileBrowseBegin(&hFileBrowse)){
    printf("browse file fail.\n");
    return 0;
  }

  // FatFileSystem.h
  while (Fat_FileBrowseNext(&hFileBrowse, &Directory)) {
    // only bmp in file list
    if (strncmpi(Directory.Extension, "BMP", 3))
      continue;
    
    // compose filename  
    Fat_ComposeFilename(&Directory, filename);

    // fopen() (FatFileSystem.h)
    if (!Fat_FileOpen(&hFile, filename)) {
      printf("bmp file open fail.\n");
      continue;
    }

    // fread() (FatFileSystem.h)
    if (!Fat_FileRead(&hFile, header, sizeof(header))) {
      printf("bmp file read fail.\n");
      continue;
    }

    // fclose() (FatFileSystem.h)
    Fat_FileClose(&hFile);
      
    // convert to bmp header (bitmap.h)
    BitmapHeader *bmp_header = get_bmp_header(header);

    // check valid bmp format
    if (!chk_valid_bmp(bmp_header)) {
      printf("%s is invalid bmp for DE2-70 LTM.\n", filename);
      continue;
    }

    // copy filename into file list      
    strcpy(bmp_file_list.filename[filecnt], filename);
    filecnt++;
  } // while
    
  bmp_file_list.filenum = filecnt;
  
  return filecnt;
}

// play bmp by filename
bool play_bmp(char *filename){
  FAT_FILE_HANDLE hFile; // FAT file handle
  
  // fopen() (FatFileSystem.h)
  if (!Fat_FileOpen(&hFile, filename)){
    printf("Fat_FileOpen fail.\n");
    return FALSE;
  }
  
  printf("BMP file name is %s.\n", filename);
  
  if (!Fat_FileSeek(&hFile, FILE_SEEK_BEGIN, BMP_RGB_OFST)) {
    printf("Fat_FileSeek fail.\n");
    return FALSE;
  }
    
  // bmp RGB array    
  alt_u8 buff_bmp[BMP_WIDTH * BMP_HEIGHT * NUM_RGB];

  // fread() (FatFileSystem.h)
  if (!Fat_FileRead(&hFile, buff_bmp, sizeof(buff_bmp))) {
    printf("Fat_FileRead fail.\n");
    return FALSE;
  }
        
  // move to sdram frame buffer
  int x, y;
  for(x=0; x < BMP_WIDTH; x++) {
    for(y=0; y < BMP_HEIGHT; y++) {
      // get RGB
      int r = buff_bmp[(y * BMP_WIDTH + x) * NUM_RGB + OFST_R];
      int g = buff_bmp[(y * BMP_WIDTH + x) * NUM_RGB + OFST_G];
      int b = buff_bmp[(y * BMP_WIDTH + x) * NUM_RGB + OFST_B];
  
      // write rgb to sdram frame buffer (ltm.h)          
      ltm_write_rgb_to_pixel(SDRAM_BASE, x,y, r, g, b);
    }
  }
                
  printf("Finsh reading FAT16\n");
  // file close
  Fat_FileClose(&hFile);
  
  return TRUE;
}

int main() {
  int play_index = 0;
  alt_u8 filename[FILENAME_LEN];
  
  // check SD card
  wait_sdcard_insert();
  
  // Mount SD-CARD
  if (!Fat_Mount(FAT_SD_CARD)) {
    printf("SD card mount fail.\n");
    return -1;
  }
  
  // build wave list in gWavePlayList
  if (build_bmp_play_list() == 0) {
    printf("There is no bmp file in the root directory of SD card.\n");
    return -1;
  }
  
  while(1) {
    strcpy(filename, bmp_file_list.filename[play_index]);
    
    if (!play_bmp(filename)){
      printf("bmp play fail.\n");
      return -1;
    }
        
    play_index++;
    
    // repeat
    if (play_index >= bmp_file_list.filenum)
      play_index = 0;
  
    // waiting 5 sec between bmp
    printf("Waiting %d sec...\n", WAITING_SEC);    
    usleep(WAITING_SEC * 1000 * 1000);
  }

  return 0;
}

lab4_files.7z提供了3張bmp圖檔，請將這3個圖檔copy到SD卡根目錄，即可開始測試。每張照片中顯示會間格5秒鐘。

希志あいの

 

七海なな

瑤瑤

若你要使用自己的bmp也可以，但有幾個限制：
1.使用24位元的bmp且不能壓縮。
2.大小為800 * 480，配合LTM的解析度。

Step 10：
將軟體與硬體存到Flash

從Lab 1到Lab 3，每次要執行Nios II程式，一定得經過Quartus II燒入sof，並且用Nios II EDS Run As Hardware，才能將elf載入到SDRAM或SRAM執行，對於一個完整的嵌入式產品，不可能每次都要靠PC將軟體與硬體傳入DE2-70。所幸DE2-70提供了兩個Flash，儘管斷電之後，資料仍然存在，如此只要一Power on後，就可以執行Nios II程式，不需要PC的介入。

接下來我們會將硬體sof放到epcs_flash，將軟體elf放到cfi_flash，這樣以後只要電源按鈕按下，就可以執行我們的數位相框，不再需要PC了。

Step 11：
使用Nios II EDS的Flash Programmer

Nios II EDS
Tools -> Flash Programmer

新增一個configuration

若成功會出現以下訊息： 

#!/bin/sh
#
# This file was automatically generated by the Nios II IDE Flash Programmer.
#
# It will be overwritten when the flash programmer options change.
#

cd C:/DE2-70/DE2_70_LTM_NIOS/software/hello_world_0/Debug

# Creating .flash file for the FPGA configuration
"$SOPC_KIT_NIOS2/bin/sof2flash" --epcs --input="C:/DE2-70/DE2_70_LTM_NIOS/DE2_70
.sof" --output="DE2_70.flash" 
Info: *******************************************************************
Info: Running Quartus II Convert_programming_file
Info: Command: quartus_cpf --no_banner --convert --device=EPCS128 --option=DE2_7
0.opt C:/DE2-70/DE2_70_LTM_NIOS/DE2_70.sof DE2_70.pof
Info: Quartus II Convert_programming_file was successful. 0 errors, 0 warnings
    Info: Peak virtual memory: 72 megabytes
    Info: Processing ended: Wed Dec 24 01:00:31 2008
    Info: Elapsed time: 00:00:03
    Info: Total CPU time (on all processors): 00:00:03
Info: *******************************************************************
Info: Running Quartus II Convert_programming_file
Info: Command: quartus_cpf --no_banner --convert DE2_70.pof DE2_70.rpd
Info: Quartus II Convert_programming_file was successful. 0 errors, 0 warnings
    Info: Peak virtual memory: 66 megabytes
    Info: Processing ended: Wed Dec 24 01:00:33 2008
    Info: Elapsed time: 00:00:02
    Info: Total CPU time (on all processors): 00:00:02

# Programming flash with the FPGA configuration
"$SOPC_KIT_NIOS2/bin/nios2-flash-programmer" --epcs --base=0x09000000 --sidp=0x0
90008a8 --id=1669606734 --timestamp=1230048124  "DE2_70.flash"
Using cable "USB-Blaster [USB-0]", device 1, instance 0x00
Resetting and pausing target processor: OK
Reading System ID at address 0x090008A8: verified

              : Checksumming existing contents          

00000000      : Verifying existing contents             

00010000      : Verifying existing contents             

00020000      : Verifying existing contents             

00030000      : Verifying existing contents             

00040000      : Verifying existing contents             

00050000      : Verifying existing contents             

00060000      : Verifying existing contents             

00070000      : Verifying existing contents             

00080000      : Verifying existing contents             

00090000      : Verifying existing contents             

00000000      : Reading existing contents               

00010000      : Reading existing contents               

00020000      : Reading existing contents               

00030000      : Reading existing contents               

00040000      : Reading existing contents               

00050000      : Reading existing contents               

00060000      : Reading existing contents               

00070000      : Reading existing contents               

00080000      : Reading existing contents               

00090000      : Reading existing contents               

Checksummed/read 640kB in 15.4s                                        

00000000 ( 0%): Erasing                                 

00010000 (10%): Erasing                                 

00020000 (20%): Erasing                                 

00030000 (30%): Erasing                                 

00040000 (40%): Erasing                                 

00050000 (50%): Erasing                                 

00060000 (60%): Erasing                                 

00070000 (70%): Erasing                                 

00080000 (80%): Erasing                                 

00090000 (90%): Erasing                                 

Erased 640kB in 5.9s (108.4kB/s)                       

00000000 ( 0%): Programming                             

00010000 (10%): Programming                             

00020000 (20%): Programming                             

00030000 (30%): Programming                             

00040000 (40%): Programming                             

00050000 (50%): Programming                             

00060000 (60%): Programming                             

00070000 (70%): Programming                             

00080000 (80%): Programming                             

00090000 (90%): Programming                             

Programmed 589KB +51KB in 13.5s (47.4KB/s)                 
Did not attempt to verify device contents
Leaving target processor paused

# Creating .flash file for the project
"$SOPC_KIT_NIOS2/bin/elf2flash" --base=0x0a800000 --end=0xaffffff --reset=0xa800
000 --input="hello_world_0.elf" --output="cfi_flash.flash" --boot="C:/altera/81/
ip/altera/nios2_ip/altera_nios2/boot_loader_cfi.srec"

# Programming flash with the project
"$SOPC_KIT_NIOS2/bin/nios2-flash-programmer" --base=0x0a800000 --sidp=0x090008a8
--id=1669606734 --timestamp=1230048124  "cfi_flash.flash"
Using cable "USB-Blaster [USB-0]", device 1, instance 0x00
Resetting and pausing target processor: OK
Reading System ID at address 0x090008A8: verified

              : Checksumming existing contents          

00000000      : Verifying existing contents             

00002000      : Verifying existing contents             

00004000      : Verifying existing contents             

00006000      : Verifying existing contents             

00008000      : Verifying existing contents             

0000A000      : Verifying existing contents             

0000C000      : Verifying existing contents             

0000E000      : Verifying existing contents             

00010000      : Verifying existing contents             

Checksummed/read 81kB in 1.9s                                        
Erase not required

00000000 ( 0%): Programming                             

00002000 ( 0%): Programming                             

00004000 ( 0%): Programming                             

00006000 ( 0%): Programming                             

00008000 ( 0%): Programming                             

0000A000 ( 0%): Programming                             

0000C000 ( 0%): Programming                             

0000E000 ( 0%): Programming                             

00010000 ( 0%): Programming                             

Programmed 81KB in 0.0s                                    
No change to device contents
Leaving target processor paused

重新Power On，就可以看到數位相框自動執行了!!

 

完整程式碼下載
lab4_files.7z (一個未完成的半成品，可以根著本文一步一步完成)
DE2_70_LTM_NIOS.7z (最後完整的結果)

Question
(這是我當時給學生的homework，各位有興趣可以自己自做做看)

1.雖然設定每張圖片間隔5秒鐘顯示，為什麼實際執行時，圖片與圖片的間格時間超過5秒鐘呢?

2.目前LTM controller的SDRAM base address使用的是Verilog的parameter，請改用register的方式，讓Nios II的C語言可以透過Slave Interface動態更改SDRAM的base address。

3.目前每一次都要重新從SD卡讀取像片至SDRAM，很花時間，請試著改成只有第一次需從SD卡讀取相片至SDRAM，以後就不必從SD卡讀取。(有很多種方法，請發揮你的創意)。

4.請結合(原創) 如何設計一個SD卡Wav Player? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)並搭配μC/OS-II，讓DE2-70可以同時當數位像框，並可播放音樂。

Conclusion
很多人想將原本純硬體的設計加上Nios II CPU變成HW/SW Co-Design，最常見的問題就是SDRAM要怎麼讓軟硬體共用，若你還是一直執著於使用SDRAM_Control_4Port那條路，將永遠無法解決，既然打算掛上Nios II CPU，就要引進Avalon Bus概念，我歸納出3點：

1.使用Avalon Bus將整個系統的Nios II CPU與SDRAM切開。

2.使用Altera為Avalon Bus所提供的SDRAM Controller，而不要使用SDRAM_Control_4Port。

3.為你自己的硬體週邊寫Master或Slave Controller。

如此整個系統才會變成SOPC Enable，整體的效能才會好，當然所付出的代價就是你要去了解Avalon-MM Interface Specification ，並且慢慢的調試。

See Also
(原創) 如何自己用SOPC Builder建立一個能在DE2-70上跑μC/OS-II的Nios II系統? (SOC) (Quartus II) (SOPC Builder) (Nios II) (μC/OS-II) (DE2-70)
(原創) 如何設計一個七段顯示器Controller? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)
(原創) 如何設計一個SD卡Wav Player? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)
(原創) 如何設計一個數位相框? (SOC) (Quartus II) (SOPC Builder) (Nios II) (DE2-70)
(原創) 如何使用Pipeline Bridge增進Nios II系統的Fmax? (SOC) (Quartus II) (Nios II) (SOPC Builder) (DE2-70)

Reference
Avalon-MM Interface Specification