摘要:
注:文件中的异常包括描述性数据(特征)、缺失值(NAN)、 在这里的解决方法是借用pandas库 interpolate()使用插值来估计NaN 如果index是数字,可以设置参数method='value' ,如果是时间,可以设置method='time' get_dummies对离散型特征进行o 阅读全文
摘要:
网络爬虫引发的问题 网络爬虫的尺寸: 小规模,数据量小,爬取速度不敏感,使用Requests库,应用占比90% 中规模,数据规模较大,爬取速度敏感,Scrapy库 大规模,搜索引擎、爬取速度关键,定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫的‘骚扰’,对于web服务器有骚 阅读全文
摘要:
Requests库的7个主要方法: 方法 说明 requests.request() 构造一个请求,支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要方法,对应于HTTP的GET requests.head() 获取HTML网页头信息的方法,对应HTTP的HEAD req 阅读全文
摘要:
爬取网页的通用代码框架 异常 说明 requests.ConnectionError 网络连接错误异常,比如DNS查询失败、拒绝连接等 requests.HTTPError HTTP错误异常 requests.URLRequired URL缺失异常 requests.TooManyRedirects 阅读全文
摘要:
使用Beautiful Soup库,先看一个例子: #利用beautiful soup解析网页源代码 #首先利用requests库获取网页源代码 import requests url='https://python123.io/ws/demo.html' r=requests.get(url) r 阅读全文
摘要:
当输入的文件是csv文件时,我们有一下几种打开方式: 1、 2、 3、 4、将csv的文件转为数组类型 注意:使用genfromtxt时,需要保证文件里没有中文,这应该怎么处理? 阅读全文
摘要:
爬取某图片的程序: #图片爬取全代码 import requests import os url='http://img0.dili360.com/rw9/ga/M01/4A/3D/wKgBy1p6qJ6ALyaOADWDaIwa9uw587.tub.jpg' root='D:/北理工爬虫课程/' 阅读全文
摘要:
HTML基本格式(树型格式): 遍历方式:下行遍历(根节点到叶节点),上行遍历(叶节点到根节点),平行遍历 标签树的下行遍历: 属性 说明 .contents 子节点的列表,将<tag>所有儿子节点存入列表 .children 子节点的迭代类型,与.contents类似,用于循环遍历儿子节点 .de 阅读全文
摘要:
bs4有一个find_all(name,attrs,recursive,string,**kwargs)方法,返回一个列表类型,存储查找的结果 name 对标签名称的检索字符串 attrs 对标签属性值的检索字符串,可标注属性检索,可查找某标签中是否含有特定的字符串 recursive 是否对子孙全 阅读全文
摘要:
###使用python进行文本分类 # -*- coding: utf-8 -*- """ Created on Mon Aug 21 17:17:19 2017 @author: rocky """ #机器学习实战第四章 #朴素bayes #使用python进行文本分类 #从文本中构建词向量 fr 阅读全文