机器学习第一次个人作业

1、对课程的学习心得做一个小结，也可以是学习笔记

• 第一章我们学习了模式识别与机器学习的基本概念

    1.1根据任务，模式识别可以划分为"分类”和“回归”两种形式。
    模式识别:根据已有知识的表达，针对待识别模式，判别决策其所属的类别或者预测其对应的回归值。由此可见，模式识别本质上是一-种推理(inference) 过程。
    1.2数学解释:模式识别可以看做一种函数映射f(x), 将待识别模式x从输入空间映射到输出空间。函数f(x)是关于已有知识的表达。
    1.3特征向量的相关性：由于每个特征向量代表一个模式， 所以度量特征向量两两之间的相关性是识别模式之间是否相似的基础。特征向量点积、投影、残差向量、欧式距离。
    1.4机器学习基本概念：拿什么学？——训练样本。学什么？——模型的参数和结构。怎么学？——样本量VS模型估计量。
    1.5模型的泛化能力：泛化能力——训练得到的模型不仅要对训练样本具有决策能力，也要对新的(训练过程中未看见)的模式具有决策能力。提高泛化能力——模型选择，正则化，调参。
    1.6评估方法与性能指标：评估方法——留出法(Hold-out)、K折交叉验证( K-Folds Cross Validation )留一验证( leave-one-out cross-validation )
    性能指标：准确度(Accuracy) :将阳性和阴性综合起来度量识别正确的程度。精度(Precision) :预测为阳性样本的准确程度。召回率(Recall) :也称作敏感度(sensitivity) ，全部阳性样本中被预测为阳性的比例。
  

• 第二章我们学习了基于距离的分类器。

    2.1MED分类器：基于距离的决策——定义:把测试样本到每个类之间的距离作为决策模型，将测试样本判定为与其距离最近的类。
    MED分类器——最小欧式距离分类器(MinimumEuclidean Distance Classifier) 存在问题——MED分类器采用欧氏距离作为距离度量，没有考虑特征变化的不同及特征之间的相关性。
    2.2特征白化：目的——将原始特征映射到一个新的特征空间，使得在新空间中特征的协方差矩阵为单位矩阵，从而去除特征变化的不同及特征之间的相关性。
    2.3MICD分类器：最小类内距离分类器(Minimum Intra-class Distance Classifier )是基于马氏距离的分类器。马氏距离的属性。缺陷——会选择方差较大的类。
  

• 第三章——贝叶斯决策与学习

    3.1贝叶斯决策与MAP分类器。基于距离的决策——仅考虑每个类别各自观测到的训练样本的分布情况，例如,均值(MED分类器)和协方差(MICD分类器)没有考虑类的分布等先验知识，例如，类别之间样本数量的比例，类别之间的相互关系。
    后验概率:用于分类决策。基于贝叶斯规则(Bayes rule) ，已知先验概率和观测概率，模式x属于类C后验概率的计算公式为:p(C;x)=p(x|C)p(C) /p(x)。
    MAP分类器——最大后验概率(Maximum posterior probability, MAP)分类器:将测试样本决策分类给后验概率最大的那个类。
    3.2、MAP分类器:高斯观测概率。MAP分类器偏向于先验较大可能性的类、分布较为紧致的类。
    3.3、决策风险与贝叶斯分类器。在MAP分类器基础上，加入决策风险因素，得到贝叶斯分类器(Bayes classifier)——给定一个测试样本x，贝叶斯分类器选择决策风险最小的类。
    3.4、最大似然估计。定义——待学习的概率密度函数记作p(x|), θ是待学习的参数。给定的N个训练样本都是从p(x|0)采样得到的、且都符合iid条件,
    则所有样本的联合概率密度为: p(x1, x2,... xN|) = Πn=1 p(xn|0)。该函数称为似然函数(L ikelihood function)。学习参数θ的目标函数可以设计为:使得该似然函数最大。
    3.5、最大似然的估计偏差。如果一个参数的估计量的数学期望是该参数的真值，则该估计量称作无偏估计(unbiased estimates)。
    在实际计算中，可以通过将训练样本的协方差乘以N/(N- 1)来修正协方差的估计值。
    3.6、贝叶斯估计(1)。贝叶斯估计——给定参数0分布的先验概率以及训练样本，估计参数分布的后验概率。
    参数后验概率:分析——当Ni;足够大时，样本均值m就是参数的无偏估计。
    贝叶斯估计具备不断学习的能力——它允许最初的、基于少量训练样本的、不太准的估计。随着训练样本的不断增加，可以串行的不断修正参数的估计值，从而达到该参数的期望真值。
    3.7、贝叶斯估计(2)。贝叶斯估计vs最大似然估计——样本个数逐渐增大时，贝叶斯估计越来越能代表真实的观测似然分布。最大似然估计有明确的目标函数，通过优化技术来求取0ML。
    3.8、KNN估计。如果概率分布形式未知，可以通过无参数(non- parametric)技术来实现概率密度估计。
    K近邻(k-nearest neighbor, KNN) 估计:给定x,找到其对应的区域R使其包含k个训练样本，以此计算p(x)。训练样本个数N越大，k取值越大，概率估计的越准确。
    KNN——优点:可以自适应的确定x相关的区域R的范围。缺点:KNN概率密度估计不是连续函数。不是真正的概率密度表达，概率密度函数积分是∞而不是1。
    3.9、直方图与核密度估计。直方图估计: 优缺点——优点：固定区域R:减少由于噪声污染造成的估计误差。不需要存储训练样本。
    缺点——固定区域R的位置:如果模式x落在相邻格子的交界区域，意味着当前格子不是以模式x为中心，导致统计和概率估计不准确。固定区域R的大小:缺乏概率估计的自适应能力，导致过于尖锐或平滑。
  

2、检索一些文献或者网页资讯，记录机器学习等人工智能领域的前沿技术介绍、展望、应用，了解我们国家的先进或不足，存在的卡脖子技术等（选取一种技术方向即可）

人工智能现在备受大家关注，各个国家的科技团队都开始并致力于钻研人工智能，人工智能产品层出不出，让我们大呼惊奇。在美国，人工智能的发展处于顶尖状态，而我国的人工智能也已经位于第一梯队，不管是从融资规模和新增企业数量上，中国排名仅位于美国之后位居第二。那么我们当前的人工智能的发展状况是什么样的呢？下面我们就给大家介绍一下这个问题。
可以说中国的人工智能领域在世界排名第二，这是由于在人工智能领域的国际科技论文发表量和发明专利授权量已居世界第二，依托于庞大的网络和用户，国内拥有先进的语音、视觉、传感等人工智能相关领域的技术优势。中国人工智能的产业十分的发达，并且有极大的优势可以发展人工智能。但是中国的人工智能还是存在着很多的瓶颈问题，这些问题包括人工智能原创性理论基础不强，重大原创成果不足；在基础理论、核心算法以及关键设备、高端芯片、重大产品与系统、基础材料、元器件、软件与接口等方面，与以美国的人工智能发达国家相比还存在较大差距。当然，人工智能产业结构布局还不完善，人工智能人才队伍，特别是尖端人才不能满足发展需求等。可以用一个词来总结中国的人工智能，那就是大而不强。
而中国的人工智能开始被很多国家限制，这是因为中国的人工智能发展前景十分好，好的让这些国家眼红，而美国政府正在考虑采取类似的措施，原因也是出于对中国可能获得珍贵的人工智能知识的担忧。中国对机器人和人工智能的兴趣尤其令人担忧，并扬言要对中国投资技术企业进行立法上的限制。
在这里需要给大家说明的是，人工智能中的10%在于算法，20%在于技术，70%在于应用场景和落地。这一推断没错，但是如果在前面30%失去技术优势，后面的70%就没有了什么意义。因此，增强人工智能基础，必须在大数据分析、深度学习、自主协同等方面进行学科理论梳理和研究，开展类脑智能计算、生物仿真等基础技术的研究，以实验室和研究院等形式专注研究成果的产品转化。
当然我们需要意识到一个问题，那就是基础理论是根本，基础技术是主干，应用是枝叶。只有根底深厚庞大，主干强劲，人工智能产业才能日益兴荣昌盛。目前人工智能共享技术包括知识计算引擎技术、自然语言处理技术、群体智能关键技术、自主无人系统智能技术、虚拟现实智能建模技术，以及智能计算芯片与系统等。中国人工智能的未来前景还是比较乐观的，但是这些乐观还是多少有一点悲观的，不过相信我们的国家会解决这些问题。
来源

http://mini.eastday.com/bdmip/170708202246814.html#
https://blog.csdn.net/yywan1314520/article/details/51142342/
https://wenku.baidu.com/view/f8b5d948640e52ea551810a6f524ccbff021ca1d.html
https://zhidao.baidu.com/question/1802164900036087427.html