摘要: 本文概要 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: 一.基于request 阅读全文
posted @ 2019-02-28 21:40 中杯可乐不加冰 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 本文概要: 图片懒加载 selenium phantomJs 谷歌无头浏览器 一、图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import re 阅读全文
posted @ 2019-02-28 21:09 中杯可乐不加冰 阅读(284) 评论(0) 推荐(0) 编辑