MD5骨骼动画模型加载(一)
前面我们分析了静态模型OBJ格式，桢动画模型MD2，这篇主要分析骨骼动画MD5的一些概念并且实现。
混合桢动画有计算简单，容易实现等优点，但是在需要比较细致的效果时，则需要更多的关键桢，每桢都添加相同的顶点，如果模型再细分一些，则比较恐怖了。在这基础上，则发展出了骨骼动画模型，原理说起来很简单，比如我们人类，做的各种动作具体都是由几个关节点来控制，比如你抬腿，你只把你大腿的骨骼调动起来，而大腿的肌肉跟着骨骼向上。由些我们只需要保存每桢的骨骼变动，然后再上面蒙上表皮。因此大量简单了顶点存储，并且，我们能方便的对骨骼实时改动就能添加不同的动画，但是因为骨骼的改变都是针对父骨骼来的，而蒙皮操作又是针对骷髅节点来做的，这些操作需要大量的运算。
下面我们来解析MD5骨骼模型中，一些基本的概念与实现，在MD5，除去纹理图片，有二个比较主要的文件，一个是后缀为md5mesh的文件，一个是后缀为md5anim的文件，二个文件如他们的后缀名所表达的意思一样，前者和OBJ模型里的描述比较类似，主要包含每部分的顶点，面，纹理组成，不同于OBJ模型的的，这些元素是变化的，因此在OBJ模型有一些新的元素，如顶点不是单独的顶点，而是由一个或多个权重点构成，每个权重点关联着对应着骨骼节点，这样骨骼节点的改变能引起权重点的改变，而权重点的改变又引起了顶点的改变，至于为什么要用到权重点来连接骨骼和顶点，而不是直接用骷髅和顶点关联，首先拿我们来说，我们身上有些位置并不是只和一个骨骼节点有关，更多是和多个节点有关，这样能让动画更真实，也避免在关节点产生重合和断裂的现象。
首先我们来解析md5mesh文件里的信息，在这个文件里，主要有二大元素，一个是骨骼节点信息，一个是多个部位蒙皮信息，下面我简化了一个md5mesh，实际肯定不可能这样，主要是用来说明各节点用的。
在文件中我都加了注释，简单来说，第一行是版本信息，下面写的解析也是针对这个10的版本，然后是命令行，骨骼节点数，蒙皮组件数，然后是骨骼节点的具体信息，在这里包含每个骨骼的父索引，顶点位置，四元数(包含旋转信息).在这里特别说下，这个骨骼节点的顺序暗含他们自己的索引，还有特别一点，在md5mesh文件中，骨骼的顶点位置与旋转信息是针对模型空间的，后面我们会看到在md5anim也有骨骼节点下的顶点位置与旋转信息，但是那是针对父骨骼节点坐标来的。然后就是蒙皮各个部分的详细信息，包含纹理坐标位置，顶点数，面的信息，权重信息，如前面所说，一个面包含3个顶点，每个顶点包含多个权重，每个权重关联一个或多个骨骼信息。下面根据上面各个部位来定义我们代码里各个类：
1 type ArrayList<'T> = System.Collections.Generic.List<'T> 2 let filtLine (line:string) = not (String.IsNullOrEmpty(line)) && line <> "(" && line <> ")" 3 let getLineData (line:string) = line.Split(' ','\t','\"') |> Array.filter filtLine 4 let getFloat str = snd (System.Single.TryParse(str)) 5 let getInt str = snd (System.Int32.TryParse(str)) 6 let getw x y z = 1.0f - x*x - y*y - z*z |> fun p -> if p < 0.f then 0.f else float32 (-Math.Sqrt(float p)) 7 8 //--------mesh里用的结构 9 type Md5Joint() = 10 member val Name = "" with get,set 11 member val Index = -2 with get,set 12 //位移 13 member val Position = Vector3.Zero with get,set 14 //旋转 15 member val Quat = Quaternion.Identity with get,set 16 member val ParentIndex = -2 with get,set 17 member this.SetValue(line:string,ind:int) = 18 let ls = getLineData line// line.Split(' ','\t') |> Array.filter (fun p -> not (String.IsNullOrEmpty(p)))//&& p <> @"\t" && p.Length > 0) 19 let pos,quat = 20 let gf str = snd (System.Single.TryParse(str)) 21 let x,y,z,a,b,c = (gf ls.[2]),(gf ls.[3]),(gf ls.[4]),(gf ls.[5]),(gf ls.[6]),(gf ls.[7]) 22 let d = getw a b c 23 Vector3(x,y,z),Quaternion(a,b,c,d) 24 this.Name <- ls.[0] 25 this.ParentIndex <- snd (System.Int32.TryParse(ls.[1])) 26 this.Position <- pos 27 this.Quat <- quat 28 this 29 30 //Vert包含纹理坐标，以及关联的权重，根据权重求顶点 31 type Md5Vert() = 32 member val Index = -1 with get,set 33 member val Texcoord = Vector2.Zero with get,set 34 member val WeightStart = 0 with get,set 35 member val WeightCount = 0 with get,set 36 //经过权重求顶点实际位置 37 member val Position = Vector3.Zero with get,set 38 member val Normal = Vector3.Zero with get,set 39 member this.SetValue(line:string) = 40 let ls =getLineData line// line.Split(' ','\t') |> Array.filter (fun p -> not (String.IsNullOrEmpty(p))) 41 let gf str = snd (System.Single.TryParse(str)) 42 this.Index <- snd (System.Int32.TryParse(ls.[1])) 43 this.Texcoord <- Vector2(gf ls.[2],gf ls.[3]) 44 this.WeightStart <- snd (System.Int32.TryParse(ls.[4])) 45 this.WeightCount <- snd (System.Int32.TryParse(ls.[5])) 46 this 47 member this.DataArray with get() =[| this.Texcoord.X;this.Texcoord.Y;this.Position.X;this.Position.Y;this.Position.Z|] 48 49 //三角形(包含Vert的索引) 50 type Md5Tri() = 51 member val Index = -1 with get,set 52 member val VertorIndexs = Array.create 3 0 with get,set 53 member this.SetValue(line:string) = 54 let ls = getLineData line // line.Split(' ','\t') |> Array.filter (fun p -> not (String.IsNullOrEmpty(p))) 55 let gi str = snd (System.Int32.TryParse(str)) 56 this.Index <- gi ls.[1] 57 this.VertorIndexs <- [|gi ls.[2];gi ls.[3];gi ls.[4]|] 58 this 59 60 //权重，(权重顶点用于计算Md5Vert,权重的JointIndex用于得到对应joint的四元数） 61 type Md5Weight() = 62 member val Index = -1 with get,set 63 member val JointIndex = -1 with get,set 64 member val Bias = 0.f with get,set 65 member val Position = Vector3.Zero with get,set 66 member this.SetValue(line:string) = 67 let ls = line.Split(' ','\t') |> Array.filter (fun p -> not (String.IsNullOrEmpty(p))) 68 let gf str = snd (System.Single.TryParse(str)) 69 this.Index <- snd (System.Int32.TryParse(ls.[1])) 70 this.JointIndex <- snd (System.Int32.TryParse(ls.[2])) 71 this.Bias <- gf ls.[3] 72 this.Position <- Vector3(gf ls.[5],gf ls.[6],gf ls.[7]) 73 this 74 75 type Md5Mesh() = 76 let mutable vbo,ebo = 0,0 77 member val TexID = 0 with get,set 78 member val ShaderPath = "" with get,set 79 member val Verts = ArrayList<Md5Vert>() with get,set 80 member val Faces = ArrayList<Md5Tri>() with get,set 81 member val Weights = ArrayList<Md5Weight>() with get,set 82 member this.ElementCount with get() = this.Faces.Count * 3
这里的类与文件里各个描述部分差不多都是一一对应，很好理解，因元组在F#编译器级别的默认支持，使我们不用想尽办法组织结构，让结构和原始文件保持一致就行，然后要用到的时候因函数式操作相关便利性，很少的代码就能拿到需要组合的数据。
在下面，我们具体处理如何加载md5mesh文件。
1 let file = new StreamReader(fileName) 2 while not file.EndOfStream do 3 let str = file.ReadLine() 4 match str with 5 | StartsWith "joints" true -> 6 let mutable isJoint = true 7 while isJoint do 8 let joint = file.ReadLine() 9 isJoint <- not (joint.Contains("}")) 10 if isJoint then this.Joints.Add(Md5Joint().SetValue(joint,this.Joints.Count)) 11 | StartsWith "mesh" true -> 12 let mutable isMesh = true 13 let md5mesh = Md5Mesh() 14 this.Meshs.Add(md5mesh) 15 while isMesh do 16 let mesh = file.ReadLine() 17 match mesh with 18 | StartsWith "shader" true -> 19 let dict = Path.GetDirectoryName(fileName) 20 let fileName = (getLineData mesh).[1]// mesh.Split(' ','\t') |> Array.filter (fun p -> not (String.IsNullOrEmpty(p))) |> fun p -> p.[1].Trim('\"') 21 md5mesh.ShaderPath <- Path.Combine(dict,fileName) 22 | StartsWith "vert" true -> 23 md5mesh.Verts.Add(Md5Vert().SetValue(mesh)) 24 | StartsWith "tri" true -> 25 md5mesh.Faces.Add(Md5Tri().SetValue(mesh)) 26 | StartsWith "weight" true -> 27 md5mesh.Weights.Add(Md5Weight().SetValue(mesh)) 28 | StartsWith "}" true -> 29 isMesh <- false 30 | _ -> printfn "%s" ("---------"+str) 31 | _ -> printfn "%s" str 32 file.Close()
在这里，差不多就把蒙皮文件里的所有信息处理完毕。其实如果只是md5mesh，他就相当于一个复杂了些，包含了权重的OBJ模型，组织方式都大同小异，不信请看下面。我们记的在md5mesh前面骨骼也包含了顶点位置与四元数信息，根据这个，可以求得默认的权重点具体位置，然后就能得到顶点的具体位置，然后得到面，然后绘制，下面这段代码可以在没有md5anim文件里，绘制一个静态的，相当于OBJ模型一样功能的模型。
1 //先求得顶点的实际数据 2 this.Meshs.ForEach(fun mesh -> 3 mesh.Verts.ForEach(fun vert -> 4 for i in [vert.WeightStart .. vert.WeightStart + vert.WeightCount - 1] do 5 let weigth = mesh.Weights.[i] 6 let joint = this.Joints.[weigth.JointIndex] 7 vert.Position <- vert.Position + (joint.Position + Vector3.Transform(weigth.Position,joint.Quat)) * weigth.Bias 8 ) 9 ) 10 this.Meshs.ForEach(fun mesh -> mesh.CreateVBO())
这段代码比较简单，就是上面所说，求面中的顶点，顶点根据权重求，权重根据骨骼当前状态来得到，还是和上面一样说明下，md5mesh里的骨骼节点是模型坐标系下的，所以骨骼节点不需要做转化。
这里说下四元数，在3D中，我们表示旋转一般有矩阵，欧拉角，四元数，平常我们所用都是矩阵与欧拉角，四元数用到复数，理解起来比较麻烦，我现在也只是记着一些四元数的特性，能实现平滑插值，点p用四元数旋转后得到点p1=ap(a的逆).四元数和矩阵一样，满足结合律，但是不满足交换律。四元数的有向量部分v(x,y,z)和一个分量w,几何意义可以描述为对于一个向量n,旋转@角，四元数就是[w=cos(@/2),sin(@/2)*n]=[w=cos(@/2),sin(@/2)*nx,sin(@/2)*ny,sin(@/2)*nz],根据这个定义，可以推导出一些四元数的特性，如四元数的共轭和四元数代表相反的角位移，上面的p1=ap(a的逆).
如果没有md5anim文件，MD5文件也就和OBJ文件一样，只是一个静态的模型，下面让我们来分析md5anim的相关格式。下面一样给出一个简化了的样式。
各信息我给出了基本标注，比较重要的每秒多少桢，桢的具体信息，这个顺序与前面md5mesh是对应的，父索引也是一样的，不同的是，后面二个整数，一个表示应该读frame的那些数据，一个表示读的位置的起点。给出对应的代码格式。
1 type Md5JointInfo() = 2 member val Name = "" with get,set 3 member val Index = -2 with get,set 4 member val ParentIndex = -2 with get,set 5 member val Flags = 0 with get,set 6 member val StartIndex = 0 with get,set 7 member this.SetValue(line:string,ind:int) = 8 let ls = getLineData line 9 this.Name <- ls.[0] 10 this.ParentIndex <- getInt ls.[1] 11 this.Index <- ind 12 this.Flags <- getInt ls.[2] 13 this.StartIndex <- getInt ls.[3] 14 this 15 16 type Md5BaseFrame() = 17 member val Index = -2 with get,set 18 //位移 19 member val Positions = ArrayList<Vector3>() with get,set 20 //旋转 21 member val Quats = ArrayList<Quaternion>() with get,set 22 member this.SetValue(line:string) = 23 let ls = getLineData line 24 let pos,quat = 25 let gf str = snd (System.Single.TryParse(str)) 26 let x,y,z,a,b,c = (gf ls.[0]),(gf ls.[1]),(gf ls.[2]),(gf ls.[3]),(gf ls.[4]),(gf ls.[5]) 27 let d = getw a b c 28 Vector3(x,y,z),Quaternion(a,b,c,d) 29 this.Positions.Add(pos) 30 this.Quats.Add(quat) 31 32 type Md5Frame() = 33 member val Index = -2 with get,set 34 member val Points = ArrayList<float32>() with get,set 35 member this.SetValue(line:string) = 36 let ls = getLineData line 37 let ds = ls |> Array.map (fun p -> getFloat p) 38 this.Points.AddRange(ds) 39 40 //桢动画计算得出如下内容 41 type Md5SkeletonJoin() = 42 member val ParentIndex = -2 with get,set 43 //位移 44 member val Position = Vector3.Zero with get,set 45 //旋转 46 member val Quat = Quaternion.Identity with get,set 47 type Md5FrameSkeleton = ArrayList<Md5SkeletonJoin>
分别定义了，Md5JointInfo，Md5BaseFrame，Md5Frame，大家可以看出多了Md5SkeletonJoin与Md5FrameSkeleton，没有与文件里的信息对应，这里就是要大家前面老注意的一个地方，在md5mesh文件，给的骨骼节点坐标已经是模型坐标系下的，而md5anim给出的骨骼节点坐标只是针对父骨骼节点里的，Md5SkeletonJoin与Md5FrameSkeleton就是Md5Frame根据父骨骼节点求出的在模型坐标系下的坐标。
下面首先是加载md5anim信息的代码：
1 let path = Path.Combine(Path.GetDirectoryName(fileName),animName.Value) 2 let animFile = new StreamReader(path) 3 while not animFile.EndOfStream do 4 let str = animFile.ReadLine() 5 match str with 6 | StartsWith "frameRate" true -> 7 this.Animation.FrameRate <- getFloat (getLineData str).[1] 8 | StartsWith "hierarchy" true -> 9 let mutable isJoinHierarchy = true 10 while isJoinHierarchy do 11 let joint = animFile.ReadLine() 12 isJoinHierarchy <- not (joint.Contains("}")) 13 if isJoinHierarchy then this.Animation.JointInfos.Add(Md5JointInfo().SetValue(joint,this.Animation.JointInfos.Count)) 14 | StartsWith "bounds" true -> 15 let mutable isbound = true 16 while isbound do 17 let bound = animFile.ReadLine() 18 isbound <- not (bound.Contains("}")) 19 if isbound then 20 let data = getLineData bound 21 let a,b,c,x,y,z = getFloat data.[0],getFloat data.[1],getFloat data.[2],getFloat data.[3],getFloat data.[4],getFloat data.[5] 22 this.Animation.Bounds.Add(Vector3(a,b,c),Vector3(x,y,z)) 23 | StartsWith "baseframe" true -> 24 let mutable isFrame = true 25 let mf = this.Animation.BaseFrame 26 while isFrame do 27 let frameLine = animFile.ReadLine() 28 isFrame <- not (frameLine.Contains("}")) 29 if isFrame then mf.SetValue(frameLine) 30 | StartsWith "frame" true -> 31 let mutable isFrame = true 32 let mf = Md5Frame() 33 mf.Index <- getInt (getLineData str).[1] 34 this.Animation.Frames.Add(mf) 35 while isFrame do 36 let frameLine = animFile.ReadLine() 37 isFrame <- not (frameLine.Contains("}")) 38 if isFrame then mf.SetValue(frameLine) 39 | _ -> printfn "%s" str 40 animFile.Close() 41 //把骨骼动画中,各节点由父骨骼节点坐标转化成模型坐标 42 this.Animation.CreateFrameSkeleton() 43 //生成纹理 44 this.Meshs.ForEach(fun mesh -> if mesh.TexID = 0 && File.Exists mesh.ShaderPath then mesh.TexID <- TexTure.Load(mesh.ShaderPath)) 45
这部分代码也是一些IO操作，把读到的信息都放入Md5Animation里去，这个类主要做二件事，一是得到正确的Md5SkeletonJoin与Md5FrameSkeleton，就是得到Md5Frame根据父骨骼节点求出的在模型坐标系下的坐标。然后一些，就是根据当前时间，当前桢率得到正确的插值，这部分和MD2插值差不多。请看主要代码：
1 type Md5Animation() = 2 let mutable currentTime = 0.f 3 member val FrameRate = 24.f with get,set 4 //JointInfos集合对象的索引就是本身在文件中的位置，他们本身的顺序就是正序加1 5 member val JointInfos = ArrayList<Md5JointInfo>() with get,set 6 member val Bounds = ArrayList<Vector3*Vector3>() with get,set 7 member val Frames = ArrayList<Md5Frame>() with get,set 8 member val BaseFrame = Md5BaseFrame() with get,set 9 member val FrameSkeletonList = ArrayList<Md5FrameSkeleton>() with get,set 10 //二个目标,一是转化Frames里的数据成对应一桢的所有骨骼节点信息 11 //二是把所有骨骼节点在父骨骼坐标系中的位置转化成模型坐标系 12 member this.CreateFrameSkeleton() = 13 for frame in this.Frames do 14 let md5FrameSkeleton = Md5FrameSkeleton() 15 for jointInfo in this.JointInfos do 16 //skeleton的顺序因为JointInfos的特殊性，也是正序加1 17 let skeleton = Md5SkeletonJoin() 18 md5FrameSkeleton.Add(skeleton) 19 skeleton.ParentIndex <- jointInfo.ParentIndex 20 let position = this.BaseFrame.Positions.[jointInfo.Index] 21 let quat = this.BaseFrame.Quats.[jointInfo.Index] 22 let setFlags index = 23 let flag = int (Math.Pow(float 2,float index)) 24 if jointInfo.Flags &&& flag = flag then frame.Points.[jointInfo.StartIndex + index] 25 else 26 match index with 27 | 0 -> position.X 28 | 1 -> position.Y 29 | 2 -> position.Z 30 | 3 -> quat.X 31 | 4 -> quat.Y 32 | 5 -> quat.Z 33 | _ -> quat.W 34 let x,y,z,a,b,c = setFlags 0,setFlags 1,setFlags 2,setFlags 3,setFlags 4,setFlags 5 35 let w = getw a b c 36 //currentPos,currentQuat都是针对父骨骼来的坐标，要转化得到模型坐标 37 let currentPos,currentQuat=Vector3(x,y,z),Quaternion(a,b,c,w) 38 skeleton.Position <- currentPos 39 skeleton.Quat <- currentQuat 40 if skeleton.ParentIndex >= 0 then 41 let parentSkeleton = md5FrameSkeleton.[skeleton.ParentIndex] 42 //先得到currentPos经过父骨骼四元数旋转后的值 43 let pos = Vector3.Transform(currentPos,parentSkeleton.Quat) 44 //模型坐标示下的点 45 skeleton.Position <- parentSkeleton.Position + pos 46 //模型坐标系下的四元数 47 skeleton.Quat <- Quaternion.Normalize(parentSkeleton.Quat * skeleton.Quat) 48 this.FrameSkeletonList.Add(md5FrameSkeleton) 49 member this.CurrentTime 50 with get() = 51 if currentTime > float32 this.Frames.Count/this.FrameRate then currentTime <- 0.f 52 currentTime 53 and set value = currentTime <- value 54 member this.GetCurrentFrameSkeleton() = 55 //得到当前的时间所在动画循环的位置 56 let current = this.CurrentTime * this.FrameRate 57 //得到所在位置的当前桢索引,与运动到下一桢的位置 58 let currentFrame,currentStep= int (Math.Floor(float current)),current - float32 (Math.Floor(float current)) 59 //得到下一桢索引,到桢尾就从头开始 60 let nextFrame = if currentFrame < this.Frames.Count - 1 then currentFrame + 1 else 0 61 //得到当前桢,下一桢具体信息 62 let currentSkeleton,nexSkeleton = this.FrameSkeletonList.[currentFrame],this.FrameSkeletonList.[nextFrame] 63 let joints = ArrayList<Md5Joint>() 64 for i in [|0 .. this.JointInfos.Count - 1|] do 65 //根据当前桢位置求得对应四元数与顶点的插值 66 let lerpPosition = Vector3.Lerp(currentSkeleton.[i].Position,nexSkeleton.[i].Position,currentStep) 67 let slerpQuat = Quaternion.Slerp(currentSkeleton.[i].Quat,nexSkeleton.[i].Quat,currentStep) 68 joints.Add(Md5Joint(Index = i,Position = lerpPosition,Quat = slerpQuat)) 69 joints
关键部分我都写了注释，应该容易看明白，如上面所说，二件事，一是CreateFrameSkeleton，这个首先根据flag与startIndex读取文件，然后把在父骨骼坐标系中的点转化成模型坐标系下的点。二是GetCurrentFrameSkeleton，分别得到所在时间的当前桢与下一桢，然后根据在这桢之间的位置插值得到各骨骼节点正确的坐标。渲染部分在这里，考虑到因为一个MD5模型本来包含几部分Mesh,然后每部分Mesh又包含各桢的情况，再想用MD2中关键桢顶点信息做VBO不现实，故直接用VA来输出渲染。
1 type Md5Model(fileName:string,?animName:string) = 2 member this.Render()= 3 //生成骨骼节点的信息 4 let joints = this.Animation.GetCurrentFrameSkeleton() 5 //根据骨骼节点生成顶点.也就是蒙皮 6 this.Meshs.ForEach(fun mesh -> 7 mesh.Verts.ForEach(fun vert -> 8 vert.Position <- Vector3.Zero 9 for i in [vert.WeightStart .. vert.WeightStart + vert.WeightCount - 1] do 10 let weigth = mesh.Weights.[i] 11 let joint = joints.[weigth.JointIndex] 12 vert.Position <- vert.Position + (joint.Position + Vector3.Transform(weigth.Position,joint.Quat)) * weigth.Bias 13 ) 14 ) 15 //顶点绘制 16 this.Meshs.ForEach(fun mesh -> mesh.Render()) 17 18 type Md5Mesh() = 19 member this.Render() = 20 let vboData = Array2D.init this.ElementCount 5 (fun i j -> 21 let a,b = i/3,i%3 22 this.Verts.[this.Faces.[a].VertorIndexs.[b]].DataArray.[j] 23 ) 24 GL.InterleavedArrays(InterleavedArrayFormat.T2fV3f,0,vboData) 25 if this.TexID > 0 then 26 GL.Enable(EnableCap.Texture2D) 27 GL.BindTexture(TextureTarget.Texture2D,this.TexID) 28 GL.DrawElements(BeginMode.Triangles,this.ElementCount,DrawElementsType.UnsignedInt,[|0..this.ElementCount - 1|]) 29
到此，整个过程就差不多了，下面给出效果图：
代码：源码与执行文件 https://files.cnblogs.com/zhouxin/MD5Load.zip 其中\bin\Release\CgTest.exe为可执行文件
其中EDSF前后左右移动，鼠标右键加移动鼠标控制方向，空格上升，空格在SHIFT下降。再发现，整个工程中，去掉OBJ，MD2模型后，加上DLL一共27M，压缩下才5M，能上传上来，前面每次都分开上传给大家造成不便了，其中为了突出MD5的重点，相应的法线没有自动生成，相关方法可以看前面OBJ，MD2里的，计算过程一样。
CPU和GPU各应该执行的操作让我的理解应该是，一次计算很久变一次应该交给CPU，而在渲染过程快速，大量执行的代码应该交给GPU来算，下一步目标，改进里面关于骨骼位置的计算，以及相应蒙皮的操作应该交给GPU，也就是放到着色器中去处理。
