摘要:
title: ' args, kwargs的使用方法' date: 2017 11 25 16:09:50 tags: category: 和` kargs`是一种约定俗称的用法,目的是用于传入不定数量的参数,前者把传入的参数变成一个tuple,后者把传入的参数编程一个字典 The will giv 阅读全文
摘要:
MNIST是一个深度学习入门的经典例子,是通过对55000张手写数字的识别以及10000张手写数字数据的测试以及5000个验证数据的验证,来了解TensorFlow的基本用法 每个MNIST数据有两部分,一部分是原始数据,每个图片是28 28的矩阵,在MNIST中已经转换为784的行向量,一行代表一 阅读全文
摘要:
在数据分析程序中需要引入的包及设置 用python进行数据分析的时候,需要在文件开头导入一下包 画数据分布图 使用 包进行画图,其中数据分布图为 ,fit参数表示需要拟合的分布类型, 表示拟合正态分布,正态分布的参数可以由 来获得 将分类描述变量转换为数值类型 有两种方式可以进行转换: 1. :直接 阅读全文
摘要:
传统的$F measure$或平衡的$F score$ (F1 score)是精度和召回的调和平均值: $F_1 = 2 \frac{precision recall}{precision + recall}$ 交叉验证 cross validation大概的意思是:对于原始数据我们要将其一部分分为 阅读全文
摘要:
kaggle是一个国外的数据挖掘竞赛平台,大家做完竞赛之后会写一些指导,因此可以通过其他人写的指导文件进行学习, "kaggle传送门" 。 其中有一个入门类的分析问题是分析Titanic号的救援问题,分析哪些因素会影响到是否被救援,首先打开Titanic这个问题的具体页面, "Titanic: M 阅读全文
摘要:
scrapy实战伯乐网爬虫 因为我们要对scrapy进行调试,所以我们建立一个main函数来达到调试的目的,以后每次调试只要debug这个main文件就行了 在spider文件夹中初始化爬虫之后,可以看到一个parse函数,这个是用来处理具体的网页内容的,可以用Xpath对网页源码进行解析,其中的 阅读全文
摘要:
`scrapy`是一个完整的爬虫框架,一共有5个部分组成和2个中间部分,最主要的是一下五个部分: 1. ENGINE 2. SCHEDULER 3. ITEM PIPELINES 4. SPIDERS 5. DOWNLOADER 用户主要编写spider和item pipelines,其余三个模块是 阅读全文
摘要:
在windows文件管理器中输入%APPDATA%,进入到一个文件夹,新建名为pip的文件夹,然后在其中新建pip.ini文件,输入 [global] timeout = 6000 index url = https://pypi.douban.com/simple trusted host = p 阅读全文
摘要:
Linux一个最重要的思维方式就是:一切的电脑硬件都是文件,比如硬盘一般在 ,而鼠标一般在 ,所有配置的更改都是通过更改文件完成的 <! more 安装Ubuntu16.04 学习Ubuntu当然需要先安装一个原生的Ubuntu,在vmware中的Ubuntu始终还是有些问题,从 "西安交大镜像源" 阅读全文
摘要:
request库,主要用于网络爬虫 首先通过 安装request库 写一个简单的入门程序,访问以下百度首页: <! more request库一共有7个主要方法 requests.request():构造一个请求 requests.get():获取网页 requests.head():获取网页头信息 阅读全文