山东大学 机器学习 实验报告 实验1 模式分类 上机练习
作业：P64，2.5节，4：
考虑上机题2中的3个类别，设p（wi）=1/3 （a）以下各测试点与上机练习2中各类别均值间的Mahalanobis距离分别是多少： （1，2，1）t，（5，3，2）t，（0，0，0）t，（1，0，0）t （b）对以上各点进行分类。 （c）若设p（w1）=0.8，p（w2）=p（w3）=0.1，再对以上测试点进行分类。
这道题的思路完全与P35的例1一样，所以会做例1，这道题就会做了。
我以以例题1的数据，测试了[0,0]，[3,8]分类正确。
另外，我不会python的= =，然后，我做完后才知道可以用java(╬▔皿▔)凸，这代码是憋出来的，至今为止依然不会用自带的矩阵乘法、转置balabala，只能自己实现……。
这两道题花了我二天半的时间（中途心态崩溃导致买买买导致错过deadline，我正在写博客的现在……qwq还在等老师的联系方式……老天保佑）。
事实证明，如果只为了赶快交作业的话，就算你没去上课，你也不用看书。 去做例1把，那里什么都有，如果遇到不懂的，就顺着它的思路往前去找，比如说书才买的我，看不懂例1，就从第二章开始找u、sigma的定义，再盲猜例1中u、sigma的计算方式，才看懂例1。
（最新补充，我发现了，协方差矩阵的算法在P72第二行，注意x、u均为列向量）
（a）：
1、用式（40）计算出均值向量
2、用式（41）计算出协方差矩阵，
3、遍历测试点和样本数据
4、实现并获得（x-u）、（x-u）.T
5、代入sqrt( (x-μ)'Σ^(-1)(x-μ) ) 计算Mahalanobis距离
（b）：
1、输入样本数据，得到u、sigma矩阵
2、遍历测试点，对每个测试点，计算其分别属于类i的判别函数值，选出最大的，判定为类i（判别函数方程对应《模式分类第二版》P32 （66）~（69））
（注意样本数据和测试数据的格式和书上保持一直）
1 # a.py 2 import numpy 3 4 5 # 输入：x0[i]第i个测试点，x[i]第i个样本数据，group类总数，len0维度（描述一个类的元素总数） 6 # 输出：dis[i][j]表示第i个测试点和第j个类的均值向量的距离 7 def mahalanobis(x0, x, group, len0): 8 dis = list() 9 u = getU(x, group, len0) 10 11 for i in range(len(x0)): 12 xx = numpy.array(x0[i]) 13 sigma = getSigma(x, group, len0) 14 dis.append([]) 15 for j in range(len(u)): 16 u[j] = numpy.array(u[j]) 17 18 # sqrt( (x-μ)'Σ^(-1)(x-μ) ) 计算Mahalanobis距离 19 t = [xx - u[j]] 20 t1 = myMult(t, numpy.linalg.inv(sigma[j])) 21 t2 = myMult(t1, rowToCol(xx - u[j])) 22 23 dis[i].append(t2[0][0]) 24 25 return dis 26 27 28 # 输入：（同上） 29 # 输出：u[i]是类i的均值向量 30 def getU(x, group, len0): 31 u = list() 32 for i in range(group): 33 t = list() 34 for j in range(len(x)): 35 t.append([]) 36 for z in range(i * len0, i * len0 + len0): 37 t[j].append(x[j][z]) 38 u.append(numpy.mean(t, 0)) 39 return u 40 41 42 # 输入：（同上） 43 # 输出：返回值sigma[i]表示第i类的协方差矩阵 44 def getSigma(x, group, len0): 45 sigma = list() 46 u = getU(x, group, len0) 47 48 for i in range(group): 49 sigma.append([]) 50 51 for i in range(group): 52 # t对所有样本数据，只保留类i的列 53 t = list() 54 for j in range(len(x)): 55 t.append([]) 56 for z in range(i * len0, i * len0 + len0): 57 t[j].append(x[j][z]) 58 t[j] = t[j] - u[i] 59 sigma[i] = covariance(t) 60 return sigma 61 62 63 # 输入：x对所有样本数据，只保留某个类的列 64 # 输出：某个类的协方差矩阵 65 def covariance(x): 66 all = covariance0(x[len(x) - 1]) 67 for i in range(len(x) - 1): 68 add(covariance0(x[i]), all) 69 70 for i in range(len(all)): 71 for j in range(len(all[0])): 72 all[i][j] /= len(x) 73 74 return all 75 76 # 输入：a一个单独的样本数据，并且只保留某个类的列 77 # 输出：a的协方差矩阵 78 def covariance0(a): 79 aa = [] 80 for i in range(len(a)): 81 aa.append([a[i]]) 82 83 ans = [] 84 for i in range(len(aa)): 85 t = [] 86 for j in range(len(aa)): 87 t.append(aa[i][0] * a[j]) 88 ans.append(t) 89 return ans 90 91 92 # ---------------------工具方法------------------------------ 93 94 95 # 行向量转置为列向量 96 def rowToCol(x): 97 t = list(); 98 for i in range(len(x)): 99 t.append([]) 100 101 for i in range(len(x)): 102 t[i].append(x[i]) 103 return t 104 105 106 # 利用副作用，把矩阵a加到矩阵all里 107 def add(a, all): 108 for i in range(len(a)): 109 for j in range(len(a[0])): 110 all[i][j] += a[i][j] 111 112 113 # 矩阵乘法 114 def myMult(a, b): 115 ans = list() 116 for i in range(len(a)): 117 ans.append([]) 118 119 for i in range(len(a)): 120 for j in range(len(b[0])): 121 ii = 0 122 jj = 0 123 ans[i].append(0) 124 while ii < len(a[0]): 125 ans[i][j] = ans[i][j] + (a[i][ii] * b[jj][j]) 126 ii = ii + 1 127 jj = jj + 1 128 return ans 129 130 131 # 样本数据 132 x = [ 133 numpy.array([-5.01, -8.12, -3.68, -0.91, -0.18, -0.05, 5.35, 2.26, 8.13]), 134 numpy.array([-5.43, -3.48, -3.54, 1.30, -2.06, -3.53, 5.12, 3.22, -2.66]), 135 numpy.array([1.08, -5.52, 1.66, -7.75, -4.54, -0.95, -1.34, -5.31, -9.87]), 136 numpy.array([0.86, -3.78, -4.11, -5.47, 0.50, 3.92, 4.48, 3.42, 5.19]), 137 numpy.array([-2.67, 0.63, 7.39, 6.14, 5.72, -4.85, 7.11, 2.39, 9.12]), 138 numpy.array([4.94, 3.29, 2.08, 3.60, 1.26, 4.36, 7.17, 4.33, -0.98]), 139 numpy.array([-2.51, 2.09, -2.59, 5.37, -4.63, -3.65, 5.75, 3.97, 6.65]), 140 numpy.array([-2.25, -2.13, -6.94, 7.18, 1.46, -6.66, 0.77, 0.27, 2.41]), 141 numpy.array([5.56, 2.86, -2.26, -7.39, 1.17, 6.30, 0.90, -0.43, -8.71]), 142 numpy.array([1.03, -3.33, 4.33, -7.50, -6.32, -0.31, 3.52, -0.36, 6.43]), 143 ] 144 145 # 测试点 146 x0 = [ 147 numpy.array([1, 2, 1]), 148 numpy.array([5, 3, 2]), 149 numpy.array([0, 0, 0]), 150 numpy.array([1, 0, 0]), 151 ] 152 153 ans = mahalanobis(x0, x, 3, 3) 154 155 for i in range(len(ans)): 156 print(ans[i])
1 # b.py 2 import numpy 3 4 5 # 输入：x0[i]第i个测试点，x[i]样本i，p[i]类i的先验概率，group类别总数，len0维度 6 # 输出：cla[i]第i个测试点的类别 7 def classify(x0, x, p, group, len0): 8 sigma = getSigma(x, group, len0) 9 u = getU(x, group, len0) 10 cla = list() 11 12 for i in range(len(x0)): 13 cla.append([]) 14 15 for i in range(0, len(x0)): 16 max = -100000000 17 # 根据最大的函数判断值归类 18 # 判别函数方程对应《模式分类第二版》P32 （66）~（69） 19 for g0 in range(0, group): 20 gg = g(x0[i], u[g0], sigma[g0], p[g0]) 21 if gg > max: 22 cla[i] = g0 + 1 23 max = gg 24 25 return cla 26 27 28 # 输入：x测试点，u某个类的均值向量，sigma某个类的协方差矩阵，p某个类的先验概率 29 # 输出：x的判别函数值（方程对应《模式分类第二版》P32 （66）~（69）） 30 def g(x, u, sigma, p): 31 Wi = myMult2(-0.5, numpy.linalg.inv(sigma)) 32 t1 = myMult([x], Wi) 33 t2 = myMult(t1, rowToCol(x - u))[0][0] 34 35 wi = myMult(numpy.linalg.inv(sigma), rowToCol(u)) 36 t3 = myMult([colToRow(wi)], rowToCol(x))[0][0] 37 38 t4 = myMult([u], numpy.linalg.inv(sigma)) 39 t5 = myMult(t4, rowToCol(u)) 40 t6 = myMult2(-0.5, t5)[0][0] 41 t6 = t6 - 0.5 * numpy.log(numpy.linalg.det(sigma)) + numpy.log(p) 42 43 return t2 + t3 + t6 44 45 46 # ---------------------下列函数已经出现在a.py中---------------------------- 47 48 def getU(x, group, len0): 49 u = list() 50 for i in range(group): 51 t = list() 52 for j in range(len(x)): 53 t.append([]) 54 for z in range(i * len0, i * len0 + len0): 55 # print(j, z) 56 t[j].append(x[j][z]) 57 u.append(numpy.mean(t, 0)) 58 return u 59 60 61 def getSigma(x, group, len0): 62 sigma = list() 63 u = getU(x, group, len0) 64 65 for i in range(group): 66 sigma.append([]) 67 68 for i in range(group): 69 t = list() 70 for j in range(len(x)): 71 t.append([]) 72 for z in range(i * len0, i * len0 + len0): 73 t[j].append(x[j][z]) 74 t[j] = t[j] - u[i] 75 sigma[i] = covariance(t) 76 return sigma 77 78 79 def covariance(x): 80 all = covariance0(x[len(x) - 1]) 81 for i in range(len(x) - 1): 82 add(covariance0(x[i]), all) 83 84 for i in range(len(all)): 85 for j in range(len(all[0])): 86 all[i][j] /= len(x) 87 88 return all 89 90 91 def covariance0(a): 92 aa = [] 93 for i in range(len(a)): 94 aa.append([a[i]]) 95 96 aa 97 ans = [] 98 for i in range(len(aa)): 99 t = [] 100 for j in range(len(aa)): 101 t.append(aa[i][0] * a[j]) 102 ans.append(t) 103 return ans 104 105 106 # ------------------工具方法------------------ 107 108 109 # 利用副作用，把a加到all里 110 def add(a, all): 111 for i in range(len(a)): 112 for j in range(len(a[0])): 113 all[i][j] += a[i][j] 114 115 116 # 行向量转置为列向量 117 def rowToCol(x): 118 t = list(); 119 for i in range(len(x)): 120 t.append([]) 121 122 for i in range(len(x)): 123 t[i].append(x[i]) 124 return t 125 126 127 # 列向量转置为行向量 128 def colToRow(x): 129 t = list() 130 for i in range(len(x)): 131 t.append(x[i][0]) 132 return t 133 134 135 # 矩阵乘法 136 def myMult(a, b): 137 ans = list() 138 for i in range(len(a)): 139 ans.append([]) 140 141 for i in range(len(a)): 142 for j in range(len(b[0])): 143 ii = 0 144 jj = 0 145 ans[i].append(0) 146 while ii < len(a[0]): 147 ans[i][j] = ans[i][j] + (a[i][ii] * b[jj][j]) 148 ii = ii + 1 149 jj = jj + 1 150 return ans 151 152 153 # 常数*矩阵 154 def myMult2(n, x): 155 ans = list() 156 for i in range(len(x)): 157 ans.append([]) 158 for j in range(len(x[0])): 159 ans[i].append([]) 160 ans[i][j] = x[i][j] * n 161 return ans 162 163 164 a = [ 165 numpy.array([-5.01, -8.12, -3.68, -0.91, -0.18, -0.05, 5.35, 2.26, 8.13]), 166 numpy.array([-5.43, -3.48, -3.54, 1.30, -2.06, -3.53, 5.12, 3.22, -2.66]), 167 numpy.array([1.08, -5.52, 1.66, -7.75, -4.54, -0.95, -1.34, -5.31, -9.87]), 168 numpy.array([0.86, -3.78, -4.11, -5.47, 0.50, 3.92, 4.48, 3.42, 5.19]), 169 numpy.array([-2.67, 0.63, 7.39, 6.14, 5.72, -4.85, 7.11, 2.39, 9.12]), 170 numpy.array([4.94, 3.29, 2.08, 3.60, 1.26, 4.36, 7.17, 4.33, -0.98]), 171 numpy.array([-2.51, 2.09, -2.59, 5.37, -4.63, -3.65, 5.75, 3.97, 6.65]), 172 numpy.array([-2.25, -2.13, -6.94, 7.18, 1.46, -6.66, 0.77, 0.27, 2.41]), 173 numpy.array([5.56, 2.86, -2.26, -7.39, 1.17, 6.30, 0.90, -0.43, -8.71]), 174 numpy.array([1.03, -3.33, 4.33, -7.50, -6.32, -0.31, 3.52, -0.36, 6.43]), 175 ] 176 177 a0 = [ 178 numpy.array([1, 2, 1]), 179 numpy.array([5, 3, 2]), 180 numpy.array([0, 0, 0]), 181 numpy.array([1, 0, 0]), 182 ] 183 184 # p = numpy.array([1 / 3, 1 / 3, 1 / 3]) 185 p = numpy.array([0.8, 0.1, 0.1]) 186 187 c = classify(a0, a, p, 3, 3) 188 print(c)
