随笔分类 - python
1
摘要：np.newaxis的功能是插入新维度，看下面的例子：a=np.array([1,2,3,4,5])print a.shapeprint a输出结果(5,)[1 2 3 4 5]可以看出a是一个一维数组,x_data=np.linspace(-1,1,300)[:,np.newaxis]a=np.array([1,2,3,4,5])b=a[np.newaxis,:]print a.shape,b....
阅读全文
摘要：模型评估与参数调优实战基于流水线的工作流一个方便使用的工具：scikit-learn中的Pipline类。它使得我们可以拟合出包含任意多个处理步骤的模型，并将模型用于新数据的预测。加载威斯康星乳腺癌数据集1.使用pandas从UCI网站直接读取数据集import pandas as pddf=pd.read_csv('https://archive.ics.uci.edu/ml/machine-l...
阅读全文
摘要：数据可视化matplotlib绘图入门为了使用matplotlib来绘制基本图像，需要调用matplotlib.pyplot子库中的plot()函数import matplotlib.pyplot as pltimport numpy as npx=np.linspace(0,20)plt.plot(x,.5+x)plt.plot(x,1+2*x,'--')plt.show()对数图所谓对数图，实...
阅读全文
摘要：数据的检索、加工与存储1.利用Numpy和pandas对CSV文件进行写操作对CSV文件进行写操作，numpy的savetxt()函数是与loadtxt()相对应的一个函数，他能以诸如CSV之类的区隔型文件格式保存数组：np.savetxt('np.csv',a,fmt='%.2f',delimiter=',',header="#1,#2,#3,#4")上面的函数调用中，我们规定了用以保存数组的文...
阅读全文
摘要：通过降维压缩数据在前面已经介绍了几种不同的特征选择技术对数据集进行降维的方法。另一种常用于降维的特征选择方法就是特征抽取。数据压缩也是机器学习领域中的一个重要内容。数据压缩技术可以帮助我们对数据及逆行存储和分析。这里主要涵盖三个主题：1.无监督数据压缩——主成分分析（PCA）2.基于类别可分最大化的监督降维技术——线性判别分析（LDA）3.通过核主成分分析进行非线性降维无监督数据降维技术——主成分...
阅读全文
摘要：Pandaspandas是一个流行的开源Python项目，其名称取panel data(面板数据)与Python data analysis(Python 数据分析)之意。pandas有两个重要的数据结构：DataFrame和Seriespandas数据结构之DataFramepandas的DataFrame数据结构是一种带标签的二维对象，与Excel的电子表格或者关系型数据表非常相似。可以用下列...
阅读全文
摘要：不同色彩空间的转换当前，在计算机视觉中有三种常用的色彩空间：灰度、BGR以及HSV1.灰度色彩空间是通过去除彩色信息来将其转换为灰阶，灰度色彩空间对中间处理特别有效，比如人脸检测2.BGR,即蓝绿红色彩空间，每一个像素点都由一个三元组来表示3.HSV,H(Hue)是色调，S(Saturation)是饱和度，V(value)表示黑暗的程度(或光谱另一端的明亮程度)傅里叶变换Numpy里有快速傅里叶变...
阅读全文
摘要：统计学与线性代数用Numpy进行简单的描述性统计计算import numpy as npfrom scipy.stats import scoreatpercentiledata=np.loadtxt("mdrtb_2012.csv",delimiter=',',usecols=(1,),skiprows=1,uppack=True)#加载数据print("Max method",data.max...
阅读全文
摘要：Numpy数组 1.Numpy数组对象 Numpy中的多维数组称为ndarray,他有两个组成部分。 1.数据本身 2.描述数据的元数据 2.Numpy的数值类型 bool: 布尔型 inti：其长度取决于平台的整数（通常为int32或int64） int8:字节类型 int16：整型 int32：
阅读全文
摘要：Python数据分析与挖掘所需的Pandas常用知识前言Pandas基于两种数据类型：series与dataframe。一个series是一个一维的数据类型，其中每一个元素都有一个标签。series类似于Numpy中元素带标签的数组。其中，标签可以是数字或者字符串。一个dataframe是一个二维的表结构。Pandas的dataframe可以存储许多种不同的数据类型，并且每一个坐标轴都有自己的标签...
阅读全文
摘要：数据预处理——构建好的训练数据集机器学习算法最终学习结果的优劣取决于两个主要因素：数据的质量和数据中蕴含的有用信息的数量。缺失数据的处理在实际应用过程中，样本由于各种原因缺少一个或多个值得情况并不少见。其原因主要有：数据采集过程中出现了错误，常用得度量方法不适用于某些特征，或者在调查过程中某些数据未被填写等等。通常我们见到得缺失值是数据表中得空值，或者是类似于NaN的占位符。如果我们忽略这些缺失值...
阅读全文
摘要：使用scikit-learning 实现机器学习分类算法 分类算法的选择 没有免费的午餐理论：没有任何一种分类器可以在所有可能的应用场景下都有良好的表现。 实践证明，只有比较了多种学习算法的性能，才能为特定问题挑选出最合适的模型。这些模型针对不同数量的特征或样本、数据集中噪声的数量，以及类别是否线性
阅读全文
摘要：机器学习分类算法本章将介绍最早以算法方式描述的分类机器学习算法：感知器（perceptron）和自适应线性神经元。人造神经元——早期机器学习概览MP神经元生物神经元和MP神经元模型的对应关系如下表：这个结构非常简单，如果你还记得前面所讲的M-P神经元的结构的话，这个图其实就是输入输出两层神经元之间的简单连接单层感知器的局限性虽然单层感知器简单而优雅，但它显然不够聪明——它仅对线性问题具有分类能力。...
阅读全文
摘要：python: numpy--函数 shape用法shape函数是numpy.core.fromnumeric中的函数，它的功能是查看矩阵或者数组的维数。举例说明：建立一个3×3的单位矩阵e, e.shape为（3，3），表示3行3列,第一维的长度为3，第二维的长度也为3>>> e = eye(3) >>> e array([[ 1., 0., 0.], [ 0., 1....
阅读全文
摘要：赋予计算机学习数据的能力涵盖：1.机器学习的一般概念2.机器学习方法的三种类型和基本术语3.成功构建机器学习系统所需的模块机器学习的三种不同方法1.监督学习2.无监督学习3.强化学习通过监督学习对未来事件进行预测监督学习的主要目的是使用有类标的训练数据构建模型，我们可以使用训练得到的模型对未来数据进行预测。此外，术语监督是指训练数据集中的每个样本均有一个已知的输出项（类标label）1.利用分类对...
阅读全文
摘要：报错是因为要安装PIL库，库名现在为Pillow，在命令行上安装即可：pip3 install Pillow
阅读全文
摘要：单个下划线（_）通常有三种用法：在python解释器: 单个下划线代表上次在交互解释期对话中(控制台)执行的结果.这种情况在标准的CPython解释器中首次被实现，接下来这种习惯也被保持下来：>>> _ Traceback (most recent call last): File "", line 1, in NameError: name '_' is not defined >...
阅读全文
摘要：#hello.pydef sayHello(): str="hello" print(str);if __name__ == "__main__": print ('This is main of module "hello.py"') sayHello()python作为一种脚本语言，我们用python写的各个module都可以包含以上那么一个累死c中的main函数，只不...
阅读全文
摘要：NumPy的random子库np.random.*np.random.rand()np.random.randn()np.random.randint()import numpy as npa=np.random.rand(3,4,5)aOut[83]: array([[[ 0.08662874, 0.82948848, 0.68358736, 0.85925231, 0.18250681...
阅读全文
摘要：原因分析：Python导入模块的方法有两种： import module 和 from module import 区别是前者所有导入的东西使用时需加上模块名的限定，而后者则不需要 例： >>>import pprint >>>pprint.pprint(people) OR >>>from ppr
阅读全文
1
