摘要：
scrapy项目结构：. 1. scrapy项目的结构 项目名字 项目名字 spiders文件夹 （存储的是爬虫文件） init 自定义的爬虫文件 核心功能文件 **************** init items 定义数据结构的地方 爬取的数据都包含哪些 middleware 中间件 代理 pi 阅读全文
摘要：
介绍： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理 或存储历史数据等一系列的程序中。 安装教程 # （1） pip install scrapy # (2) 报错1： building 'twisted.test.raiser' exten 阅读全文
摘要：
解决反爬，隐藏域： 首先随便登陆一下，找登录接口。观察参数 有两个参数在源码中，然后用bs/xpath 获取数值 # 通过登陆 然后进入到主页面 # 通过找登陆接口我们发现 登陆的时候需要的参数很多 # _VIEWSTATE: /m1O5dxmOo7f1qlmvtnyNyhhaUrWNVTs3TMK 阅读全文
摘要：
requests和urllib功能一样，优点更多。 基本使用： import requests url = 'http://www.baidu.com' response = requests.get(url=url) # 一个类型和六个属性 # Response类型 # print(type(re 阅读全文
摘要：
Phantomjs和Chrome handless 都是基于Selenium运行的，无界面游览器，推荐使用Chrome handless Phantomjs基本使用：(这里会出错，因为已经停止使用，可以下载旧版Selenium) from selenium import webdriver path 阅读全文
摘要：
Selenium介绍：Selenium访问游览器可以像真正的用户一样在访问，确认且支持无界面游览器操作。’ Selenium基本使用 直接访问京东的话，会有一些资源被屏蔽，依靠selenium工具 # （1）导入selenium from selenium import webdriver # (2 阅读全文
摘要：
bs4的基本使用 本地文件 from bs4 import BeautifulSoup # 通过解析本地文件 来将bs4的基础语法进行讲解 # 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 soup = BeautifulSoup(open('075_尚硅谷_爬虫_解析_bs4 阅读全文
摘要：
JsonPath只能解析本地文件。 import json import jsonpath obj = json.load(open('073_尚硅谷_爬虫_解析_jsonpath.json','r',encoding='utf-8')) # 书店所有书的作者 # author_list = jso 阅读全文
摘要：
首先在游览器中添加xpath扩展 再安装lxml，我用的Anaconda 的python虚拟环境，所以 https://zhuanlan.zhihu.com/p/366015720 可以采用链接中的方式来安装包，也可以可视化的去安装包 xpath 本地文件的基本使用,xpath返回的是列表数据 fr 阅读全文
摘要：
当有红框中的内容时，就是ajax请求 urllib 异常 import urllib.request import urllib.error # url = 'https://blog.csdn.net/sulixu/article/details/1198189491' url = 'http:/ 阅读全文
