12 2022 档案
摘要：介绍： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理 或存储历史数据等一系列的程序中。 安装教程 # （1） pip install scrapy # (2) 报错1： building 'twisted.test.raiser' exten
阅读全文
摘要：解决反爬，隐藏域： 首先随便登陆一下，找登录接口。观察参数 有两个参数在源码中，然后用bs/xpath 获取数值 # 通过登陆 然后进入到主页面 # 通过找登陆接口我们发现 登陆的时候需要的参数很多 # _VIEWSTATE: /m1O5dxmOo7f1qlmvtnyNyhhaUrWNVTs3TMK
阅读全文
摘要：requests和urllib功能一样，优点更多。 基本使用： import requests url = 'http://www.baidu.com' response = requests.get(url=url) # 一个类型和六个属性 # Response类型 # print(type(re
阅读全文
摘要：Phantomjs和Chrome handless 都是基于Selenium运行的，无界面游览器，推荐使用Chrome handless Phantomjs基本使用：(这里会出错，因为已经停止使用，可以下载旧版Selenium) from selenium import webdriver path
阅读全文
摘要：Selenium介绍：Selenium访问游览器可以像真正的用户一样在访问，确认且支持无界面游览器操作。’ Selenium基本使用 直接访问京东的话，会有一些资源被屏蔽，依靠selenium工具 # （1）导入selenium from selenium import webdriver # (2
阅读全文
摘要：bs4的基本使用 本地文件 from bs4 import BeautifulSoup # 通过解析本地文件 来将bs4的基础语法进行讲解 # 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码 soup = BeautifulSoup(open('075_尚硅谷_爬虫_解析_bs4
阅读全文
摘要：JsonPath只能解析本地文件。 import json import jsonpath obj = json.load(open('073_尚硅谷_爬虫_解析_jsonpath.json','r',encoding='utf-8')) # 书店所有书的作者 # author_list = jso
阅读全文
摘要：首先在游览器中添加xpath扩展 再安装lxml，我用的Anaconda 的python虚拟环境，所以 https://zhuanlan.zhihu.com/p/366015720 可以采用链接中的方式来安装包，也可以可视化的去安装包 xpath 本地文件的基本使用,xpath返回的是列表数据 fr
阅读全文
摘要：当有红框中的内容时，就是ajax请求 urllib 异常 import urllib.request import urllib.error # url = 'https://blog.csdn.net/sulixu/article/details/1198189491' url = 'http:/
阅读全文
摘要：请求对象的定制(user-Agent反爬解决办法) import urllib.request url = 'https://www.baidu.com' # url的组成 # https://www.baidu.com/s?wd=周杰伦 # http/https www.baidu.com 80/
阅读全文
摘要：今天开始跟着尚硅谷学习爬虫，部分资源来自尚硅谷 爬虫 1、通用爬虫：通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 2、聚焦爬虫： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证
阅读全文
