摘要：
在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用HTML表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文假定 阅读全文
摘要：
1.最基本的抓站 2.使用代理服务器 这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。 1 2 3 4 5 import urllib2 proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XX 阅读全文
摘要：
前情提要: 1:模块介绍 个人认为就是 python自带的骚操作模块.如果基础能力够给力的话,完全用不到 个人认为解析式才是装逼神奇,用模块的都是伪娘 2:deque 双向列表 3:defaultdict 定义key的字典 4:Couter 以字典的形式返回,一个可迭代对象的重复内容的数量 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要：
常用模块 阅读全文
摘要：
内容大纲 1: 为什么要学习json模块 >1:因为网络之间的通信,还有不同语言之间的相互内容沟通,需要用到json 模式进行沟通 >2:写入部分文件用json文件保存, 2:json的序列化 json.dumps(iterable) 3:将json 转化成字典 json.loads(json模式的 阅读全文