摘要：
注：文件中的异常包括描述性数据(特征)、缺失值（NAN）、 在这里的解决方法是借用pandas库 interpolate()使用插值来估计NaN 如果index是数字，可以设置参数method='value' ，如果是时间，可以设置method='time' get_dummies对离散型特征进行o 阅读全文
摘要：
网络爬虫引发的问题 网络爬虫的尺寸： 小规模，数据量小，爬取速度不敏感，使用Requests库，应用占比90% 中规模，数据规模较大，爬取速度敏感，Scrapy库 大规模，搜索引擎、爬取速度关键，定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫的‘骚扰’，对于web服务器有骚 阅读全文
摘要：
Requests库的7个主要方法： 方法 说明 requests.request() 构造一个请求，支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要方法，对应于HTTP的GET requests.head() 获取HTML网页头信息的方法，对应HTTP的HEAD req 阅读全文
摘要：
爬取网页的通用代码框架 异常 说明 requests.ConnectionError 网络连接错误异常，比如DNS查询失败、拒绝连接等 requests.HTTPError HTTP错误异常 requests.URLRequired URL缺失异常 requests.TooManyRedirects 阅读全文
摘要：
使用Beautiful Soup库，先看一个例子： #利用beautiful soup解析网页源代码 #首先利用requests库获取网页源代码 import requests url='https://python123.io/ws/demo.html' r=requests.get(url) r 阅读全文
摘要：
当输入的文件是csv文件时，我们有一下几种打开方式： 1、 2、 3、 4、将csv的文件转为数组类型 注意：使用genfromtxt时，需要保证文件里没有中文，这应该怎么处理？ 阅读全文
摘要：
爬取某图片的程序： #图片爬取全代码 import requests import os url='http://img0.dili360.com/rw9/ga/M01/4A/3D/wKgBy1p6qJ6ALyaOADWDaIwa9uw587.tub.jpg' root='D:/北理工爬虫课程/' 阅读全文
摘要：
HTML基本格式（树型格式）： 遍历方式：下行遍历（根节点到叶节点），上行遍历（叶节点到根节点），平行遍历 标签树的下行遍历： 属性 说明 .contents 子节点的列表，将<tag>所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点 .de 阅读全文
摘要：
bs4有一个find_all(name,attrs,recursive,string,**kwargs)方法，返回一个列表类型，存储查找的结果 name 对标签名称的检索字符串 attrs 对标签属性值的检索字符串，可标注属性检索，可查找某标签中是否含有特定的字符串 recursive 是否对子孙全 阅读全文
摘要：
###使用python进行文本分类 # -*- coding: utf-8 -*- """ Created on Mon Aug 21 17:17:19 2017 @author: rocky """ #机器学习实战第四章 #朴素bayes #使用python进行文本分类 #从文本中构建词向量 fr 阅读全文