随笔分类 -  爬虫

摘要：一.GET 1.requests 这个库提供了一个 get 方法，调用这个方法，并传入对应的 URL 就能得到网页的源代码 2.URL后面是可以跟上一些参数的，如果想添加两个参数，比如其中name是germey，age是25，URL就可以写成如下内容：http://httpbin.org/get?n 阅读全文

摘要：1 # -*- coding: utf-8 -*- 2 """ 3 Created on Tue Apr 7 17:06:49 2020 4 5 @author: ZKYAAA 6 """ 7 8 import urllib.request 9 10 # 查询IP的网址 11 ip_query_ur 阅读全文

摘要：一.修改请求头: 应对反爬虫措施可以修改请求头来模拟正常的访问,Request 中有个 headers 参数，可通过 如下两种方法进行设置： （1）把请求头都塞到字典里，在实例化 Request对象的时候传入； （2）通过 Request对象的 add_header()方法一个个添加。 1 # -* 阅读全文

摘要：解析 JSON 数据的模块——JSON 模块，它用于 Python 原始类型与 JSON 类型的相互转换。 (1).如果解析文件，可以用 dump()和 load()方法函数.转自：https://www.cnblogs.com/xiaomingzaixian/p/7286793.html (2). 阅读全文

摘要：把二进制文件写入文件 1 # -*- coding: utf-8 -*- 2 """ 3 Created on Tue Apr 7 14:46:11 2020 4 5 @author: ZKYAAA 6 """ 7 import urllib.request 8 9 pic_url="http:// 阅读全文

摘要：(1).通过 urllib.request 模块提供的 urlopen()函数，构造一个 HTTP 请求 (2).urlopen()函数返回的是一个 HTTPResponse 对象，调用该对象的 read()函数可以获 得请求返回的网页内容。 (3).read()返回的是一个二进制的字符串，明显是无 阅读全文