摘要: 爬取的数据,需要保存,可以存储在文件中或者数据库中。 存储在文件中,包括txt、csv、json; 存储在数据库中,包括MySQL关系数据库和MongoDB数据库。 python 字典操作参考: http://jianwl.com/2017/08/22/%E9%AB%98%E6%95%88%E5%A 阅读全文
posted @ 2018-08-27 17:11 msay 阅读(1180) 评论(0) 推荐(0) 编辑
摘要: 在客户端向服务器提交http请求的时候,两种最常用的方法是GET和POST。按照规定,get请求只应用于获取数据,因此一般都是用 。相对于GET请求, POST请求则用于提交数据 。对登陆表单的处理,每次登陆可以直接处理登陆表单或者选择在第一次登陆后,保存cookies等信息,下次可直接登陆。以下内 阅读全文
posted @ 2018-08-27 16:38 msay 阅读(2390) 评论(0) 推荐(1) 编辑
摘要: 由于对MySQL卸载的不干净,mysql 的MySQL Connector Net/xxx无法卸载,后期重装无法成功。所以只能采用zip 安装https://www.cnblogs.com/Michael1/p/5806384.html(很nice的文章)。记一下cmd中操作mysql的基本操作 进 阅读全文
posted @ 2018-08-27 16:19 msay 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 参考网站: https://www.cnblogs.com/haomiao/p/5041065.html https://blog.csdn.net/iot_change/article/details/8496977 https://blog.csdn.net/sinat_35121480/art 阅读全文
posted @ 2018-08-27 16:19 msay 阅读(3096) 评论(0) 推荐(0) 编辑
摘要: 反爬虫 反爬虫:就是使用任何技术手段 阻止 批量获取网站信息的方式;其实我们做的就是了解反爬虫的技术,继而反反爬虫。 反爬虫的方式 (1)不返回网页; 网站通过ip访问量反爬虫,对访问进行统计,单个ip访问量超过阈值,则封杀或者输验证码; 通过session(会话控制)访问量反爬虫,session对 阅读全文
posted @ 2018-08-27 16:08 msay 阅读(807) 评论(0) 推荐(1) 编辑
摘要: 整理了一下python 中文件的输入输出及主要介绍一些os模块中对文件系统的操作。 文件输入输出 1、内建函数 ,打开文件返回文件对象。 2、对打开文件进行读取时, 与`readlines()`的区别在于是否一次性的读取所有的内容,并将每行的信息作为列表中的一个子项。 例如:文件test.txt中 阅读全文
posted @ 2018-08-27 15:54 msay 阅读(889) 评论(0) 推荐(2) 编辑