文章分类 -  Python爬虫

摘要：一、爬取全书网 1）获取源代码，解决编码问题 a）python的执行脚本是uft-8的编码 b）源代码的编码是gdk的编码，网页查看源代码，shift+f 弹出查找对话框，输入 char <meta http-equiv="Content-Type" content="text/html; char 阅读全文

摘要：二、爬虫的基本流程 流程图解 二、模拟请求模块，requests模块 1）request模块所支持的请求 2）get请求 3）含参数的get请求 4）携带请求头的get请求 5）综合，携带参数，请求头，数据的post请求。一般发送数据，都以post请求 三、request对象的属性方法 1）requ 阅读全文

摘要：一、Xpath介绍 1）xpath简介 全称为XML Path Language 一种小型的查询语言 说道XPath是门语言，不得不说它所具备的优点： 可在XML中查找信息 支持HTML的查找 通过元素和属性进行导航 python开发使用XPath条件： 由于XPath属于lxml库模块，所以首先要 阅读全文

摘要：一、爬虫基本知识 1）基本爬虫知识，爬取图片 # 第一步获取网页文本信息 import requests response = requests.get(url='http://...') #...... # 第二步 ，对文本信息进行正则匹配 from bs4 import BeautifulSou 阅读全文