数据获取,解析，存储等知识的学习总结

数据获取,解析，存储等知识的学习总结

 

作者：csj
更新时间:2017.12.31

email:59888745@qq.com

说明：因内容较多，会不断更新 xxx学习总结，此部分已更新完；

回主目录：2017 年学习记录和总结

 

我们在数据处理，数据分析时，数据的来源有：

1.直接读取已有的.csv;.txt;.excel文件；
2.解析json数据；
3.url获取数据；自己在网上或指定的网站抓取，解析，来获取数据。

这部分我们主要讲解第3点，如何自己从网站抓取数据，解析数据，存储数据；一般从指定url获取数据，清洗数据，保存到csv文件里；

主要的知识点有：

1.HTTP请求处理requests:

　　定制头部信息
　　Post表单提交
　　Cookie设置与读取
　　超时设置
　

2.XML/Json解析
内置json库
　　dump(s)：把dict转换为json文本
　　Load(s)：把json文本转换为dict
HTMLParser：
　　DOM:特点
　　SAX:特点

3.CSS定位器基础知识
　　定位方式 同过html,css的页面元素来定位
　　　　元素 element
　　　　类 .class, element.class1.class2
　　　　Id, element
　　　　属性 [prop=value], element[prop=value]

4.静态网页解析
　　BS4:find函数搜索使用
　　使用css定位器搜索，获取所需要的数据

5.反爬虫用到的主要方法
　　伪装浏览器
　　伪装多个IP
　　操作速度不要太快
　　使用不同账号

6.使用REDIS实现队列服务

7.Selenium

　　写定位信息,快速和稳定地定位页面上的元素