01 2018 档案
摘要：统计学与线性代数用Numpy进行简单的描述性统计计算import numpy as npfrom scipy.stats import scoreatpercentiledata=np.loadtxt("mdrtb_2012.csv",delimiter=',',usecols=(1,),skiprows=1,uppack=True)#加载数据print("Max method",data.max...
阅读全文
摘要：Numpy数组 1.Numpy数组对象 Numpy中的多维数组称为ndarray,他有两个组成部分。 1.数据本身 2.描述数据的元数据 2.Numpy的数值类型 bool: 布尔型 inti：其长度取决于平台的整数（通常为int32或int64） int8:字节类型 int16：整型 int32：
阅读全文
摘要：基本I/O脚本 读/写图像文件 OpenCV的imread函数和imwrite函数能支持各种静态图像文件格式。不同系统支持的文件格式不一样，但都支持BMP格式，通常还应该支持PNG、JPEG和TIFF格式。 大多数常用的opencv函数都在cv2模块中。可能也会遇到其他基于cv或cv2.cv模块的o
阅读全文
摘要：1.稀疏学习学什么稀疏学习的任务主要是有稀疏编码、字典学习。关于稀疏信号的定义，这里给出4种形式：严格k稀疏信号，可压缩信号、稀疏基下的稀疏信号、稀疏基下的可压缩信号（1）严格k稀疏信号：考虑一个有限长信号x属于Rn，如果x至多有k个非零元素，即||x||0≤k，则称信号x为严格k稀疏信号，（2）可压缩信号：如果信号可以用一个k稀疏向量来近似表示，则称这样的信号为可压缩信号。（3）稀疏基下的稀疏信...
阅读全文
摘要：Tensorflow为张量从流图的一端流动到另一端的计算过程，Tensorflow也可以看成是将复杂的数据结构传输至人工智能神经网络中进行分析和处理的系统。张量概念是矢量概念的推广，矢量是一阶张量。张量是一个可用来表示一些矢量、标量和其他张量之间的线性关系的多线性函数。一阶张量来表示向量，如v=[1,2,3,4,5]；用二阶张量表示矩阵，如m=[[1,2,3],[4,5,6],[7,8,9]]在介...
阅读全文
摘要：第一章概述 推荐系统（RS）是向用户建议有用物品的软件工具和技术 1.1简介 “物品”是用来表示系统向用户推荐内容的总称。一个推荐系统通常专注于一个特定类型的物品（如CD或新闻），因此它的设计、图形用户界面以及用于生成建议的核心的推荐技术都是为特定类型的物品提供有用和有效的建议而定制的。 推荐系统主
阅读全文
摘要：Python数据分析与挖掘所需的Pandas常用知识前言Pandas基于两种数据类型：series与dataframe。一个series是一个一维的数据类型，其中每一个元素都有一个标签。series类似于Numpy中元素带标签的数组。其中，标签可以是数字或者字符串。一个dataframe是一个二维的表结构。Pandas的dataframe可以存储许多种不同的数据类型，并且每一个坐标轴都有自己的标签...
阅读全文
摘要：数据预处理——构建好的训练数据集机器学习算法最终学习结果的优劣取决于两个主要因素：数据的质量和数据中蕴含的有用信息的数量。缺失数据的处理在实际应用过程中，样本由于各种原因缺少一个或多个值得情况并不少见。其原因主要有：数据采集过程中出现了错误，常用得度量方法不适用于某些特征，或者在调查过程中某些数据未被填写等等。通常我们见到得缺失值是数据表中得空值，或者是类似于NaN的占位符。如果我们忽略这些缺失值...
阅读全文
摘要：多层感知机（mxnet）from mxnet import gluonfrom mxnet import ndarray as ndfrom mxnet import autograddef transform(data, label): return data.astype('float32') / 255, label.astype('float32')def SGD(params, l...
阅读全文
摘要：多类逻辑回归from mxnet import gluonfrom mxnet import ndarray as nddef SGD(params, lr): for param in params: param[:] = param - lr * param.graddef transform(data, label): return data.astype('flo...
阅读全文
摘要：实现一个简单的线性回归(mxnet)from mxnet import ndarray as ndfrom mxnet import autogradimport matplotlib.pyplot as pltimport randomnum_input=2#变量数num_examples=1000#1000个样例true_w=[2,-3.4]#真实的系数Wtrue_b=4.2#真实的偏倚bX=...
阅读全文
摘要：Latex排版全解 http://blog.csdn.net/langb2014/article/details/51354238
阅读全文
摘要：使用scikit-learning 实现机器学习分类算法 分类算法的选择 没有免费的午餐理论：没有任何一种分类器可以在所有可能的应用场景下都有良好的表现。 实践证明，只有比较了多种学习算法的性能，才能为特定问题挑选出最合适的模型。这些模型针对不同数量的特征或样本、数据集中噪声的数量，以及类别是否线性
阅读全文
摘要：分类本章介绍分类的基本概念，讨论诸如模型的过拟合等关键问题，并提供评估和比较分类技术性能的方法。尽管本章主要关注一种称作决策树归纳的技术，但是本章讨论的大部分内容也适用于其他的分类技术。预备知识分类任务的输入数据是记录的集合。每条记录称作实例或样例，用元组（x，y）表示，其中x是属性的集合，而y是一个特殊的属性，指出样例的类标号（也称为分类属性或目标属性）。类标号必须是离散属性，这正是区别分类与回...
阅读全文
摘要：平时看书经常看到“图1.2”这样的编号，含义是第1章的第2幅插图；或者“图1.1.2”，含义是第1章第1节的第2幅插图。而在LaTeX中如果直接插图的话只会显示“图2”这样的编号，有没有办法在LaTeX的图表序号中加入章节序号呢？办法肯定是有的，下面就是一种办法。在插入图表之前（比如导言区）加入以下两行代码：\renewcommand {\thetable} {\thechapter{}.\ara...
阅读全文
摘要：LaTeX插入参考文献，可以使用BibTex，也可以不使用BibTex。方法一：不使用BibTeX先在文章文章末尾写好需要插入的参考文献，逐一写出，例如：\begin{thebibliography}{99} \bibitem{ref1}Zheng L, Wang S, Tian L, et al., Query-adaptive late fusion for image search and...
阅读全文
摘要：机器学习分类算法本章将介绍最早以算法方式描述的分类机器学习算法：感知器（perceptron）和自适应线性神经元。人造神经元——早期机器学习概览MP神经元生物神经元和MP神经元模型的对应关系如下表：这个结构非常简单，如果你还记得前面所讲的M-P神经元的结构的话，这个图其实就是输入输出两层神经元之间的简单连接单层感知器的局限性虽然单层感知器简单而优雅，但它显然不够聪明——它仅对线性问题具有分类能力。...
阅读全文
摘要：python: numpy--函数 shape用法shape函数是numpy.core.fromnumeric中的函数，它的功能是查看矩阵或者数组的维数。举例说明：建立一个3×3的单位矩阵e, e.shape为（3，3），表示3行3列,第一维的长度为3，第二维的长度也为3>>> e = eye(3) >>> e array([[ 1., 0., 0.], [ 0., 1....
阅读全文
摘要：Latex插图的命令是\includegraphics[选项]{文件} 这里的选项在表 7.1, 7.2, 7.3 中列出。 因为 \includegraphics 不会结束 当前段落，所以它能够在文本中放置图形如 和 。 下面的命令将以 file.eps 的自然大小插入到 LATEX 文档中： \
阅读全文
摘要：赋予计算机学习数据的能力涵盖：1.机器学习的一般概念2.机器学习方法的三种类型和基本术语3.成功构建机器学习系统所需的模块机器学习的三种不同方法1.监督学习2.无监督学习3.强化学习通过监督学习对未来事件进行预测监督学习的主要目的是使用有类标的训练数据构建模型，我们可以使用训练得到的模型对未来数据进行预测。此外，术语监督是指训练数据集中的每个样本均有一个已知的输出项（类标label）1.利用分类对...
阅读全文
摘要：探索数据 数据探索有助于选择合适的数据预处理和数据分析技术。它甚至可以处理一些通常由数据挖掘解决的问题，例如，有时可以通过对数据进行直观检查来发现模式。此外数据探索中使用的某些技术（如可视化）可以用于理解和解释数据挖掘结果。 本章包括三个主题：汇总统计、可视化和联机分析处理（OLAP）. 汇总统计（
阅读全文
摘要：插入图片\documentclass{article} \usepackage{graphicx} \usepackage{Ctex} \title{插入图片} \author{yif}\begin{document} \maketitle \includegraphics[width=4.00in,height=3.00in]{figure1.jpg} \...
阅读全文
摘要：第一个文档打开WinEdt，建立一个新文档，将以下内容复制进入文档中，保存，保存类型选择为UTF-8。\documentclass{article}标题、作者和注释\documentclass{article} \usepackage{Ctex}\author{yif} \title{我是标题} \begin...
阅读全文
摘要：数据本章讨论一些与数据相关的问题，他们对于数据挖掘的成败至关重要。1.数据类型2.数据的质量3，使数据适合挖掘的预处理步骤：处理一方面是要提高数据的质量，另一方面要让数据更好地适应特定的数据挖掘技术和工具。4.根据数据联系分析数据：数据分析的异种方法是找出数据对象之间的联系，之后使这些联系而不是数据对象本身来进行其余的分析数据类型数据集可以看作数据对象的集合。数据对象：记录、点、向量、模式、事件、...
阅读全文
摘要：绪论 什么是数据挖掘 数据挖掘是再大型数据存储库中，自动地发现有用信息的过程。（发现先前未知的有用模式，还可以预测未来观测结果） 并非所有的信息发现都视为数据挖掘，例使用数据库查找个别的记录或通过因特网查找特定的Web页面，则是信息检索。尽管如此，人们也在利用数据挖掘技术增强信息检索系统的能力。 数
阅读全文
摘要：tensorflow功能函数 tf.abs 计算张量的绝对值 定义在：tensorflow/python/ops/math_ops.py。 参考指南：数学>基本数学函数 计算张量的绝对值。 给定一个实数的张量 x，该操作返回一个包含每个元素的绝对值的张量 x。例如，如果 x 是输入元素，y 是输出元
阅读全文
摘要：简介最近AlphaGo Zero又火了一把，paper和各种分析文章都有了，有人看到了说不就是普通的Reinforcement learning吗，有人还没理解估值网络、快速下子网络的作用就放弃了。实际上，围棋是一种零和、信息对称的combinatorial game，因此AlphaGo用的是蒙特卡罗树搜索算法的一种，在计算树节点Q值时使用了ResNet等神经网络模型，只是在论文中也归类为增强学习...
阅读全文
摘要：一、强化学习问题需要描述那些内容 强化学习中最主要的两类对象是“个体”和“环境”，其次还有一些像“即时奖励”、“收获”、“状态”、“行为”、“价值”、“策略”、“学习”、“控制”等概念。这些概念把个体和环境联系起来。通过理论学习，我们知道： 1. 环境响应个体的行为。当个体执行一个行为时，它需要根据
阅读全文
摘要：在DeepLearning的文章中有看到end2end一次，作者们似乎都比较喜欢这个end2end learning的方式。那么到底啥是end2end？找了一下相关论文，没找到专门讲这个概念的，看来应该不是很严格定义的一个说法。那就搬运一下Quora上的提问和回答吧。问题：https://www.quora.com/What-is-end-to-end-learning-in-machine-le...
阅读全文
摘要：报错是因为要安装PIL库，库名现在为Pillow，在命令行上安装即可：pip3 install Pillow
阅读全文
摘要：tf.estimator模块 定义在：tensorflow/python/estimator/estimator_lib.py 估算器（Estimator）： 用于处理模型的高级工具。 export 模块：用于导出估算器的实用方法。 inputs 模块：用于创建简单的 input_fns 的实用方法
阅读全文
摘要：tf.contrib模块 tf.contrib 模块是一个比较复杂的模块。 contrib细节： tf.contrib.bayesflow.entropy 香农信息论 tf.contrib.bayesflow.monte_carlo Monte Carlo integration 蒙特卡洛积分 tf
阅读全文
摘要：在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子
阅读全文
摘要：浅谈KL散度 一、第一种理解 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非
阅读全文
摘要：Tensorflow的基本使用TensorFlow 的特点：使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 tensor 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.TensorFlow 综述Ten...
阅读全文
摘要：tf.InteractiveSession():它能让你在运行图的时候，插入一些计算图，这些计算图是由某些操作(operations)构成的。这对于工作在交互式环境中的人们来说非常便利，比如使用IPython。tf.Session():需要在启动session之前构建整个计算图，然后启动该计算图。意思就是在我们使用tf.InteractiveSession()来构建会话的时候，我们可以先构建一个s...
阅读全文
摘要：在学习深度网络框架的过程中，我们发现一个问题，就是如何输出各层网络参数，用于更好地理解，调试和优化网络？针对这个问题，TensorFlow开发了一个特别有用的可视化工具包：TensorBoard，既可以显示网络结构，又可以显示训练和测试过程中各层参数的变化情况。本博文分为四个部分，第一部分介绍相关函数，第二部分是代码测试，第三部分是运行结果，第四部分介绍相关参考资料。一. 相关函数TensorBo...
阅读全文
摘要：本文对自编码器（Auto-Encoder）算法及其相关变种算法进行简要介绍，其中包括 Regularized Auto-Encoder、Sparse Auto-Encoder、Denoising Auto-Encoder 和 Contractive Auto-Encoder，重点讨论各算法的基本思想
阅读全文
摘要：今天我们会来聊聊用神经网络如何进行非监督形式的学习. 也就是 autoencoder, 自编码. 压缩与解压 有一个神经网络, 它在做的事情是 接收一张图片, 然后 给它打码, 最后 再从打码后的图片中还原. 太抽象啦? 行, 我们再具体点. 假设刚刚那个神经网络是这样, 对应上刚刚的图片, 可以看
阅读全文
摘要：卷积神经网络《Notes on Convolutional Neural Networks》(http://blog.csdn.net/zouxy09)一、介绍这个文档讨论的是CNNs的推导和实现。CNN架构的连接比权值要多很多，这实际上就隐含着实现了某种形式的规则化。这种特别的网络假定了我们希望通过数据驱动的方式学习到一些滤波器，作为提取输入的特征的一种方法。本文中，我们先对训练全连接网络的经典...
阅读全文
摘要：TensorFlow基本操作 os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' 这是log日志级别设置 a = tf.placeholder(tf.int16) b = tf.placeholder(tf.int16) 这里a,b是作变量处理。tf.placehold
阅读全文
摘要：一、Tensorflow 扩展功能1.自动求导2.子图的执行3.计算图控制流4.队列/容器Tensorflow 自动求导当计算tensor C关于tensor W的梯度时，会先寻找从W到C的正向路径，然后从C回溯到W，对这条回溯路径上的每一个节点增加一个对应的求解梯度的节点，根据链式法则计算总的梯度。这就是反向传播算法。这些新增的节点会计算梯度函数，比如[db,dW,dx]=tf.gradient...
阅读全文
摘要：看这个模型很久了，可能一直深入的不够，现把自己的一点愚见不断的贴上来，一起交流，共同进步。 贝叶斯非参数模型是一种定义在无限维参数空间上的贝叶斯模型。其大概的意思是说非参数模型的大小可以随着模型内数据的增大或减小而自适应模型的变化，可以根据数据的多少选择参数来确定模型（这一定义的直观解释参考PRML figure 2.5）。正如天下没有免费的午餐一样，非参数模型也需要假设参数的，跟以往参数模型...
阅读全文
摘要：初步介绍 Google 于2011年推出人工深度学习系统——DistBelief。通过DistBelief，Google能够扫描数据中心数以千计的核心，并建立更大的神经网络。Google 的这个系统将Google 应用中的语音识别率提高了25%，以及在Google Photos中建立了图片搜索，并驱
阅读全文
摘要：单个下划线（_）通常有三种用法：在python解释器: 单个下划线代表上次在交互解释期对话中(控制台)执行的结果.这种情况在标准的CPython解释器中首次被实现，接下来这种习惯也被保持下来：>>> _ Traceback (most recent call last): File "", line 1, in NameError: name '_' is not defined >...
阅读全文
摘要：#hello.pydef sayHello(): str="hello" print(str);if __name__ == "__main__": print ('This is main of module "hello.py"') sayHello()python作为一种脚本语言，我们用python写的各个module都可以包含以上那么一个累死c中的main函数，只不...
阅读全文
摘要：包含如下几个部分： 1.面向机器学习初学者的 MNIST 初级教程 2.面向机器学习专家的 MNIST 高级教程 3.TensorFlow 使用指南 4.卷积神经网络 5.单词的向量表示（word embedding） 6.循环神经网络 (Recurrent Neural Network, 简称 R
阅读全文
摘要：WinEdt 是目前我发现最好的LaTeX编辑器，但是在国内支付不便，且学生许可需$40，只能出此下策，望有余力者尽量购买正版。 WinEdt 的旧版本的破解方法众所周知，只需定时删除HKCU\SoftWare\WinEdt 7\Inst这个注册表键值即可（这个注册表键记录了安装的时间，以分钟为单位
阅读全文
摘要：什么是超参数 所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。深度学习和神经网络模型，有很多这样的参
阅读全文
摘要：一晚上什么事都没做，就一直在查找tensorflow1.4缺少cudnn64_6的错误。最后发现自己一直用的是cudnn64_7，即使改成cudnn64_6仍不可行。主要受实验室大佬安装的cudnn64_7的影响，估计它用的是cuda9。最后重新下载安装了cudnn64_6后代码跑成功了。撒花！！！附上错误语句I tensorflow/core/common_runtime/gpu/gpu_dev...
阅读全文
摘要：感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度模拟，所以引起了广泛的关注。简单感知器简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。其结构如下图所示感知器处理单元对n个输入进行加权和操作v即：其中，Wi为第i个输入...
阅读全文
摘要：简介Adam 是一种可以替代传统随机梯度下降（SGD）过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文（Adam: A Method for Stochastic Optimization）中提出的。「Adam」，其并不是首字母缩写，也不是人名...
阅读全文
摘要：NumPy的random子库np.random.*np.random.rand()np.random.randn()np.random.randint()import numpy as npa=np.random.rand(3,4,5)aOut[83]: array([[[ 0.08662874, 0.82948848, 0.68358736, 0.85925231, 0.18250681...
阅读全文
摘要：变分对于普通的函数f(x)，我们可以认为f是一个关于x的一个实数算子，其作用是将实数x映射到实数f(x)。那么类比这种模式，假设存在函数算子F，它是关于f(x)的函数算子，可以将f(x)映射成实数F(f(x)) 。对于f(x)我们是通过改变x来求出f(x)的极值，而在变分中这个x会被替换成一个函数y(x)，我们通过改变x来改变y(x),最后使得F(y(x))求得极值。变分:指的是泛函的变分。打个比...
阅读全文
摘要：介绍 OpenAI Gym是一款用于研发和比较强化学习算法的工具包，它支持训练智能体（agent）做任何事——从行走到玩Pong或围棋之类的游戏都在范围中。 OpenAI Gym 是一个用于开发和比较RL 算法的工具包，与其他的数值计算库兼容，如tensorflow 或者theano 库。现在主要支
阅读全文
摘要：强化学习基本介绍 强化学习是一种不同于监督学习和无监督学习的在线学习技术,基本模型图一所示。它把学习看作是一个“试探一评价”的过程,首先学习系统称为智能体感知环境状态,采取某一个动作作用于环境,环境接受该动作后状态发生变化,同时给出一个回报奖励或惩罚反馈给强化学习系统,强化学系统根据强化信号和环境的
阅读全文
摘要：简述梯度下降法又被称为最速下降法(Steepest descend method)，其理论基础是梯度的概念。梯度与方向导数的关系为：梯度的方向与取得最大方向导数值的方向一致，而梯度的模就是函数在该点的方向导数的最大值。现在假设我们要求函数的最值，采用梯度下降法，如图所示：梯度下降的相关概念 在详细了解梯度下降的算法之前，我们先看看相关的一些概念。 1. 步长（Learning rate...
阅读全文
