随笔分类 - python
摘要：一、这里的案例相对比较简单，主要就是通过学习验证码的识别来认识深度学习中我们一般在工作中，需要处理的东西会存在哪些东西。 二、因为我没有数据集，没有关系，这里自己写了一个数据集，来做测试，为了方便我把这个数据集，写成了*.tfrecords格式的文件。 三、生成数据集 1）生成验证码图片 说明：我这
阅读全文
摘要：一、卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 [1-2] 。卷积神经网络具有表征学习（repre
阅读全文
摘要：一、TensorFlow为什么要存在变量收集的过程，主要目的就是把训练过程中的数据，比如loss、权重、偏置等数据通过图形展示的方式呈现在开发者的眼前。 自定义参数：自定义参数，主要是通过Python去执行，然后传入对应的参数。常见的有路径、训练次数等。 梯度下降：这个应该是最常见的训练手段了，在监
阅读全文
摘要：一、TensorFlow的模型保存和加载，使我们在训练和使用时的一种常用方式。我们把训练好的模型通过二次加载训练，或者独立加载模型训练。这基本上都是比较常用的方式。 二、模型的保存与加载类型有2种 1）需要重新建立图谱，来实现模型的加载 2）独家加载模型 三、模型的保存与训练加载 四、模型的独立加载
阅读全文
摘要：一、我们都知道Python由于GIL的原因导致多线程并不是真正意义上的多线程。但是TensorFlow在做多线程使用的时候是吧GIL锁放开了的。所以TensorFlow是真正意义上的多线程。这里我们主要是介绍queue式的多线程运行方式。 二、了解一下TensorFlow多线程queue的使用过程
阅读全文
摘要：一、TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。 二、前面我们已经介绍了TensorFlow在人工智能领域所能做的事
阅读全文
摘要：一、深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获
阅读全文
摘要：一、模型的保存，主要是我们在训练完成的时候把训练下来的数据保存下来，这个也就是我们后续需要使用的模型算法。模型的加载，在保存好的模型上面我们通过原生保存好的模型，去计算新的数据，这样不用每次都要去训练，然后才能计算新的值的预测值。 二、代码
阅读全文
摘要：一、网格搜索，在我们不确定超参数的时候，需要通过不断验证超参数，来确定最优的参数值。这个过程就是在不断，搜索最优的参数值，这个过程也就称为网格搜索。 二、检查验证，将准备好的训练数据进行平均拆分，分为训练集和验证集。训练集和验证集的大小差不多，总体份数通过手动设置。具体过程为： 由上图可以得知，训练
阅读全文
摘要：一、这里学习的算法模型包含监督学习和非监督学习两个方式的算法。 其中监督学习的主要算法分为（分类算法，回归算法），无监督学习（聚类算法），这里的几种算法，主要是学习他们用来做预测的效果和具体的使用方式。 二、分类算法 1）K-近邻算法 a、公式 b、说明：K-近邻算法，简而言之，就是谁理我近，我就是
阅读全文
摘要：一、评估算法的方式分两种，一种是分类算法的评估，一种是回归算法的评估。为什么要分两种呢，因为分类算法中可以通过准确率、精准率、召回率、混淆矩阵、AUC来评估算法的准确度。但是在预测值的时候是没有办法去获得这个准确值（比如分类对了，那就对了，错了就是错了，可以通过对错来统计准确率），那么回归算法的方式
阅读全文
摘要：一、什么是特征工程？其实也是数据处理的一种方式，和前面的原始数据不一样的是，我们在原始数据的基础上面，通过提取有效特征，来预测目标值。而想要更好的去得出结果，包括前面使用的数据处理中数据特征提取，新增减少等手段都是特征功能的一种，这里为什么要单独提出来讲特征工程，而不是数据处理呢？ 二、数据处理的方
阅读全文
摘要：一、数据处理其实是一个很麻烦的事情。 在一个样本中存在特征数据（比如：人（身高、体重、出生年月、年龄、职业、收入...））当数据的特征太多或者特征权重小或者特征部分满足的时候。 这个时候就要进行数据的处理（比如：预测性别，特征出生年月，的影响就会很低，这里就要减少这一特征的权重，或者删除。再比如：预
阅读全文
摘要：一、数据对于模型来说是基础，是数据成就了模型，而现在的又是一个数据时代，比如：淘宝等。通过对用户数据的分析挖掘，预测用户的消费习惯等，再比如：人工智能。通过提取摄像头的图片帧数，通过分析图片，得出具体的行为等。这些都离不开再最开始的数据。 二、数据的获取方式有很多种： 1）kaggle(推荐)：一个
阅读全文
摘要：一、机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 简而言之，机器学习就是通过一系列变种的数据公式
阅读全文
摘要：一、Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。 它主要用来回事图形，用来展现一些数据，更加直观的展示，让你第一眼就只要数据的呈现趋势 二、Matplotlib 的基本用法 效果： 三、NumPy系统是Python的一种开
阅读全文
摘要：一、Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。Flask使用 BSD 授权。 Flask是一个轻量级的可定制框架，使用Python语言编写，较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很
阅读全文
摘要：一、Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如Base
阅读全文
摘要：一、最近在学习网络爬虫的东西，说实话，没有怎么写过爬虫，Java里面使用的爬虫也没有怎么用过。这里主要是学习Python的时候，了解到Python爬虫的强大，和代码的简介，这里会简单的从入门看是说起，主要是了解基本的开发思路，后续会讲到scrapy框架的使用，这里主要是讲Python的爬虫入门。 二
阅读全文
摘要：一、Django是一个开放源代码的Web应用框架，由Python写成。采用了MTV的框架模式，即模型M，视图V和模版T。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手
阅读全文