随笔分类 -  python爬虫

Scrapy 框架
摘要：一、Scrapy 安装 二、Scrapy命令介绍 三、创建项目 阅读全文
posted @ 2018-11-30 20:46 巽逸 阅读(145) 评论(0) 推荐(0) 编辑
requests 使用免费的代理ip爬取网站
摘要：import requests import queue import threading from lxml import etree #要爬取的URL url = "http://xxxxx" #代理ip网站 proxy_url = "https://www.kuaidaili.com/free/inha/{page}/" class MyThreadPool: def __i... 阅读全文
posted @ 2018-11-29 10:38 巽逸 阅读(452) 评论(0) 推荐(0) 编辑
selenium模块
摘要：一、selenium介绍 selenium最初是一个测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 二、seleni 阅读全文
posted @ 2018-08-21 16:12 巽逸 阅读(178) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示