内存映射文件

内存映射文件

1.概览

(1)什么是内存映射文件

内存映射文件是由一个文件到一块内存的映射,使进程虚拟地址空间的某个区域与磁盘上某个文件的部分或全部内容的建立映射。

建立映射后，通过该区域可以直接对被映射的磁盘文件进行访问.而不必执行文件I/O操作也无需对文件内容进行缓冲处理。

就好像整个被映射的文件都加载到了内存一样，因此内存文件映射非常适合于用来管理大文件。

注：与虚拟内存使用的是Page file不同,内存映射使用的是磁盘上的用户指定的文件。

(2)3种用途

系统用内存映射文件加载和执行EXE,DLL文件。既节省了Page file的空间，又加快了程序的执行。

用内存映射文件机制访问文件遮蔽了对文件I/O操作和文件内容的缓存操作

它是最有效的进程间通信机制，其它的进程间通信机制都是基于内存映射文件的。

2.内存映射文件的用法

使用前：

(1)创建一个文件内核对象，指向磁盘上要做为内存映射的文件

(2)创建一个文件映射内核对象，并告诉系统文件的大小及如何访问这个文件(读、写)

(3)告诉系统把文件映射对象的部分和全部映射到进程的地址空间中。

使用后

(1)告诉系统从你的进程的地址空间中撤消文件映射内核对象的映像

(2)关闭文件映射内核对象

(3)关闭文件内核对象。

3.内存映射与一致性　

1.仅使用内存映射

多个进程可以同时对一个文件进行映射。当其中一个进程修改文件的内容时，被修改的内容会同时反映到其它进程中。

这是因为文件在内存中只有一份实例，进程只是对这块内存做了映射并没有创建副本。

2.内存映射与WriteFile操作

若一个进程A用内存映射对文件进行操作，另一个进程B用文件操作函数WriteFile对同一文件进行操作

A对文件的修改不会反应到B中，反之亦然。因为内存映射永远也不要在网络文件中使用。

在本地可以通过独占打开文件避名文件操作的不一致性。

4.Common API:

CreateFileMapping MapViewOfFile OpenFileMapping

UnmapViewOfFile FlushViewOfFile、

5、相关函数说明

一、CreateFileMapping 为指定文件创建一个有名或无名的文件映象；
HANDLE CreateFileMapping(
HANDLE hFile,              // 映射文件的句柄
LPSECURITY_ATTRIBUTES lpFileMappingAttributes,
                             // 安全描述符指针
DWORD flProtect,           // 对映射对象的保护
DWORD dwMaximumSizeHigh,   // 对象最大长度的高32位
DWORD dwMaximumSizeLow,    // 对象最大长度的低32位
LPCTSTR lpName             // 文件内存映射对象的名字
);

注意：
hFile：映射文件的句柄，文件的打开模式必须与flProtect参数指定的相一致；如果这个参数值为0xFFFFFFFF，那么必须在dwMaximumSizeHigh和dwMaximumSizeLow参数中指定映射对象的大小。并且将在操作系统虚拟内存页面替换文件中创建文件映射对象，而不是使用磁盘文件，同时必须给出这个映射对象的大小。文件映射对象通过副本，遗传或名字来共享。
lpFileMappingAttributes：安全描述符指针，决定返回句柄是否能被子进程继承，如果是NULL，那么子进程不能继承。WinNt中，如果是NULL，那么文件映射对象得到一个默认的安全描述符。
flProtect：为得到的文件试图指定保护模式，可以被设置为下列值：
PAGE_READONLY ：只读属性，并且hFile对应的文件必须以GENERIC_READ形式打开。
PAGE_READWRITE：可读可写属性，并且hFile对应的文件必须以GENERIC_READ 和 GENERIC_WRITE形式打开。
PAGE_WRITECOPY：对可写区域复制后操作，并且hFile对应的文件必须以GENERIC_READ 和 GENERIC_WRITE形式打开。
dwMaximumSizeHigh，dwMaximumSizeLow：如果这两个参数为0，则文件映射对象的最大长度等于hFile指定的文件长度。
lpName：文件映射对象的名字，如果这个名字已存在，则按照flProtect指定的来处理映射对象。如果此参数为空，则创建一个无名字的文件映射对象。如果此参数的名字与系统事件的名字相同，则函数执行失败，GetLastError返回 ERROR_INVALID_HANDLE；

返回值：函数调用成功返回文件映射对象的句柄，如果文件映射对象已经存在则返回原有映射对象的句柄，GetLastError返回ERROR_ALREADY_EXISTS。函数执行失败返回Null。

二、FlushViewOfFile 把文件映射视图中的修改的内容或全部写回到磁盘文件中
BOOL FlushViewOfFile(
LPCVOID lpBaseAddress, // 修改内容的起始地址
DWORD dwNumberOfBytesToFlush // 修改的字节数目
);
函数执行成功返回非零。

三、MapViewOfFile 在调用进程的地址空间映射一个文件视图
LPVOID MapViewOfFile(
HANDLE hFileMappingObject, // 已创建的文件映射对象句柄
DWORD dwDesiredAccess,      // 访问模式
DWORD dwFileOffsetHigh,     // 文件偏移的高32位
DWORD dwFileOffsetLow,      // 文件偏移的低32位
DWORD dwNumberOfBytesToMap // 映射视图的大小
);
注意：
hFileMappingObject：由CreateFileMapping 或 OpenFileMapping 返回的文件映射对象句柄。
dwDesiredAccess：映射视图的访问模式，与创建文件映射对象的保护模式flProtect有关，可以被设置为下列值：
FILE_MAP_WRITE：一个可读写属性的文件视图被创建，保护模式为PAGE_READWRITE
FILE_MAP_READ ：一个只读属性的文件视图被创建，保护模式为PAGE_READWRITE 或 PAGE_READONLY
FILE_MAP_ALL_ACCESS：与FILE_MAP_WRITE模式相同
FILE_MAP_COPY：保护模式为PAGE_WRITECOPY时，得到一个视图文件，当你对视图文件写操作时，页面自动交换，并且你所做的修改不会损坏原始数据资料。
dwNumberOfBytesToMap：映射文件部分的大小，如果为0，则映射整个文件。
返回值：
如果成功返回返回映射视图的起始地址，如果失败返回NULL。

四、MapViewOfFileEx 在调用进程的地址空间映射一个文件视图，并且允许调用进程为映射视图指定特殊的内存地址
LPVOID MapViewOfFileEx(
HANDLE hFileMappingObject, // 文件映射对象的句柄
DWORD dwDesiredAccess,      // 访问模式
DWORD dwFileOffsetHigh,     // 文件偏移的高32位
DWORD dwFileOffsetLow,      // 文件偏移的低32位
DWORD dwNumberOfBytesToMap, // 映射视图的大小
LPVOID lpBaseAddress        // 指定映射视图的其实内存地址
);
注意：
与MapViewOfFile用法相同，但是如果指定的内存地址空间大小不够，则函数执行失败。
五、OpenFileMapping 打开一个已命名的文件映射对象
HANDLE OpenFileMapping(
DWORD dwDesiredAccess, // 访问模式
BOOL bInheritHandle,    // 继承标志
LPCTSTR lpName          // 文件映射对象名指针
);
注意：
dwDesiredAccess：访问模式与MapViewOfFile中的访问模式相同。
bInheritHandle：继承标志，是否可以被一个新的进程继承使用，如果为TRUE，就可以被一个新进程继承句柄。
返回值：
成功返回一个已命名的文件映射对象，失败返回NULL。

六、UnmapViewOfFile 删除文件的映射视图
BOOL UnmapViewOfFile(
LPCVOID lpBaseAddress // 映射视图起始地址
);
注意：
lpBaseAddress：映射视图起始地址，由 MapViewOfFile 函数 MapViewOfFileEx产生。
返回值：
如果调用成功返回非零，并且所有指定地址内的脏页面会被写入硬盘。调用失败返回零。

七、例子

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.IO;
using System.Runtime.InteropServices;
using System.Windows.Forms;

namespace Zhouyz
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
        [DllImport("kernel32.dll")]
        public static extern IntPtr CreateFileMapping(IntPtr hFile,
            IntPtr lpFileMappingAttributes, uint flProtect,
            uint dwMaximumSizeHigh,
            uint dwMaximumSizeLow, string lpName);

        [DllImport("kernel32.dll")]
        public static extern IntPtr MapViewOfFile(IntPtr hFileMappingObject, uint
            dwDesiredAccess, uint dwFileOffsetHigh, uint dwFileOffsetLow,
            IntPtr dwNumberOfBytesToMap);

[DllImport("kernel32.dll")]
public static extern bool UnmapViewOfFile(IntPtr lpBaseAddress);

[DllImport("kernel32.dll")]
public static extern bool CloseHandle(IntPtr hObject);

        [DllImport("kernel32.dll")]
        public static extern IntPtr CreateFile(string lpFileName,
            int dwDesiredAccess, FileShare dwShareMode, IntPtr securityAttrs,
            FileMode dwCreationDisposition, int dwFlagsAndAttributes, IntPtr hTemplateFile);

[DllImport("kernel32.dll")]
public static extern uint GetFileSize(IntPtr hFile, IntPtr lpFileSizeHigh);

        public const int GENERIC_READ = -2147483648; //0x80000000
        public const int GENERIC_WRITE = 0x40000000;
        public const int GENERIC_EXECUTE = 0x20000000;
        public const int GENERIC_ALL = 0x10000000;
        public const int FILE_ATTRIBUTE_NORMAL = 0x80;
        public const int FILE_FLAG_SEQUENTIAL_SCAN = 0x8000000;
        public const int INVALID_HANDLE_VALUE = -1;

        public const int PAGE_NOACCESS = 1;
        public const int PAGE_READONLY = 2;
        public const int PAGE_READWRITE = 4;

        public const int FILE_MAP_COPY = 1;
        public const int FILE_MAP_WRITE = 2;
        public const int FILE_MAP_READ = 4;

        private void button1_Click(object sender, EventArgs e)
        {
            IntPtr vFileHandle = CreateFile(@"c:\test.txt",
                GENERIC_READ | GENERIC_WRITE, FileShare.Read | FileShare.Write,
                IntPtr.Zero, FileMode.Open,
                FILE_ATTRIBUTE_NORMAL | FILE_FLAG_SEQUENTIAL_SCAN, IntPtr.Zero);
            if (INVALID_HANDLE_VALUE != (int)vFileHandle)
            {
                IntPtr vMappingHandle = CreateFileMapping(
                    vFileHandle, IntPtr.Zero, PAGE_READWRITE, 0, 0, "~MappingTemp");
                if (vMappingHandle != IntPtr.Zero)
                {
                    IntPtr vHead = MapViewOfFile(vMappingHandle,
                        FILE_MAP_COPY | FILE_MAP_READ | FILE_MAP_WRITE, 0, 0, IntPtr.Zero);
                    if (vHead != IntPtr.Zero)
                    {
                        uint vSize = GetFileSize(vFileHandle, IntPtr.Zero);
                        for (int i = 0; i <= vSize / 2; i++)
                        {
                            byte vTemp = Marshal.ReadByte((IntPtr)((int)vHead + i));
                            Marshal.WriteByte((IntPtr)((int)vHead + i),
                                Marshal.ReadByte((IntPtr)((int)vHead + vSize - i - 1)));
                            Marshal.WriteByte((IntPtr)((int)vHead + vSize - i - 1), vTemp);
                        }

                        //添加测试开始*********************************************************************************
                        byte[] contentbyte = new byte[vSize];
                        for (int i = 0; i <vSize; i++)
                        {
                            byte vTemp =Marshal.ReadByte((IntPtr)((int)vHead + i));
                            contentbyte[i] = vTemp;
                        }
                        ASCIIEncoding encoding = new ASCIIEncoding( );
                        MessageBox .Show (encoding .GetString (contentbyte ));

                        Encoding ascii = Encoding.ASCII;
                        Encoding unicode = Encoding.Unicode;
                        byte[] unicodeBytes = Encoding.Convert(ascii, unicode, contentbyte);
                        string content = FromUnicodeByteArray(unicodeBytes);
                        //string content = Convert.ToBase64String(unicodeBytes);
                        MessageBox.Show(content);
                        //添加测试完*********************************************************************************

                        UnmapViewOfFile(vHead);
                    }
                    CloseHandle(vMappingHandle);
                }
                CloseHandle(vFileHandle);
            }
        }
        //将一个包含ASCII编码字符的Byte数组转化为一个完整的String，可以使用如下的方法：
        public static string FromASCIIByteArray(byte[] characters)
        {
            ASCIIEncoding encoding = new ASCIIEncoding( );
            string constructedString = encoding.GetString(characters);
            //或 string[] times = ASCIIEncoding.Default.GetString(buff).Split(',');
            return (constructedString);
        }
        //将一个包含Unicode编码字符的Byte数组转化为一个完整的String，可以使用如下的方法：
        public static string FromUnicodeByteArray(byte[] characters)
        {
            UnicodeEncoding encoding = new UnicodeEncoding( );
            string constructedString = encoding.GetString(characters);
            return (constructedString);
        }