21天打造分布式爬虫-requests库（二）
摘要：
2.1.get请求 简单使用 添加headers和params 2.2.POST请求 爬去拉钩网职位信息 2.3.使用代理 2.4.session登录 阅读全文
posted @ 2018-07-28 20:30 zhang_derek 阅读(1221) 评论(0) 推荐(0) 编辑
21天打造分布式爬虫-urllib库（一）
摘要：
1.1.urlopen函数的用法 1.2.urlretrieve函数 将网页上的文件保存到本地 1.3.参数编码和解码函数 urlencode函数用于编码中文和特殊字符 parse_qs函数用于将经过编码后的url参数进行解码。 1.4.urlparse和urlsplit函数用法 urlparse和 阅读全文
posted @ 2018-07-28 14:08 zhang_derek 阅读(1295) 评论(1) 推荐(2) 编辑