摘要：数据类型操作 如何改变Series/ DataFrame 对象 + 增加或重排：重新索引 + 删除：drop 重新索引 .reindex() reindex() 能够改变或重排Series和DataFrame索引 d.reindex(['c5','c4','v3','v2','c1']) 这样是改变 阅读全文

摘要：数据理解 + 基本统计 + 分布/累计统计 + 数据特征 + 数据挖掘 数据排序 操作索引的排序 .sort_index() 在指定轴上排序，默认升序 参数 + axis=0 column + ascending=True 升序 .sort_values() 参数同上 +by 对应的（axis）轴上 阅读全文

摘要：第三周的课程pandas 分析数据 http://pandas.pydata.org import pandas as pd 常与numpy matplotlib 一块定义 d=pd.Series(range(20)) d.cumsum() 主要提供两个数据类型 Series DataFrame 基 阅读全文

摘要：matplotlib 有各种可视化的类构成 一般调用 matplotlib.pypolt 这个命令字库 相当于快捷方式 plt.plot(a) 只有一个一维列表 x轴充当列表索引 plt.ylabel("grade") plt.savefig("test",dpi=600 ) # png 文件 pl 阅读全文

摘要：ipython 中的问号 获得相关的描述信息 %run 系统文件 执行某一个文件 ipython的模式命令 %magic 显示所有的魔术命令 %hist 命令历史输入信息 %pdb 异常发生后自动进入调试器 %reset 删除当前命名空间中的全部变量或名称 %who 显示Ipython 当前命名空间 阅读全文

摘要：scrapy 常用命令 startproject 创建一个新的工程 scrapy startproject <name>[dir] genspider 创建一个爬虫 scrapy genspider [options]<name><domain> settings 获得爬虫的配置信息scrapy s 阅读全文

摘要：正则表达式由字符和操作符构成 . 表示任何单个字符 []字符集，对单个字符给出取值范围 [abc]或者关系 [a-z]表示 [^abc]表示非这里面的东西 非字符集 * 表示星号之前的字符出现0次或者无限次扩展 + 表示星号之前的字符出现一次或者无限次扩展 ? 表示出现0次或1扩展 | 表示左右表达 阅读全文

摘要：1 三种信息类型的简介 xml : extensible markup language 与html非常相似 现有html后有xml xml是html发展来的 扩展 通用 json 类型 javascript object notation 有类型的键值对 表达的方式 一个key对应多个值 "key 阅读全文

摘要：1 简介 from bs4 import BeautifulSoup soup=BeautifulSoup(<p>data</p>,'html.parser') 2 基本元素 解析，遍历，维护，标签树的库 <p class="title"> ...</p> tag对 名称 (属性 attribute 阅读全文

摘要：robots.txt在网站的根目录下 遵守 自动或人工识别robots.txt再进行内容爬取 约束性：建议性，不遵守协议，存在法律风险。 基本语法： User-agent: * Disallow: / #注释 *所有 /代表根目录 阅读全文

摘要：恢复内容开始 注：学习中国大学mooc 嵩天课程 的学习笔记 request的七个主要方法 request.request() 构造一个请求用以支撑其他基本方法 request.get(url,params=None,**kwarg) 12个参数 获取html的主要方法，对应于http的GET re 阅读全文