摘要：
# import time # #使用单线程串行方式执行 # def get_page(str): # print("正在下载：", str) # time.sleep(2) # print("下载成功：", str) # name_list = ["aa","bb","cc","dd"] # st 阅读全文
摘要：
import requests import random if __name__ == "__main__": #不同浏览器的UA header_list = [ # 遨游 {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 阅读全文
摘要：
验证码识别 反爬机制：验证码 识别验证码图片中的数据用于模拟登录相关之间真的操作 识别验证码的操作： - 人工肉眼的识别 - 第三方自动识别 - 云打码 模拟登录： - 爬取基于某些基于用户的用户信息. 需求：对人人网进行模拟登录 - 点击登录按钮之后会发起一个post请求 - post请求中会携带 阅读全文
摘要：
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #创建一个session 阅读全文
摘要：
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #1.对验证码图片进行捕 阅读全文
摘要：
#!/usr/bin/python import requests from lxml import etree from codeClass import YDMHTTP #封装识别验证码图片的函数 def getCodeText(imgPath,codeType): pass #将验证码下载到本 阅读全文
摘要：
#!/usr/bin/python import requests from lxml import etree #项目需求：解析出所有的城市名称https://www.aqistudy.cn/historydata/ if __name__ == "__main__": # headers = { 阅读全文
摘要：
#!/usr/bin/python #需求：解析下载图片数据 http://pic.netbian.com/4kmeinv/ import requests from lxml import etree import os if __name__ == "__main__": url = 'http 阅读全文
摘要：
#!/usr/bin/python import requests from lxml import etree #需求：爬取58二手房中的房源信息 if __name__ == "__main__": headers = { 'User-Agent':'Mozilla/5.0 (Windows N 阅读全文
摘要：
聚焦爬虫：爬取页面中指定的页面内容 - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类： -正则 -bs4 -xpath（***） 数据解析原理概述 https://book.apeland.cn/details/78/ - 解析的局部的文本内容都会在标签之间 阅读全文