10 2021 档案
摘要：多线程爬虫 原理 利用CPU和IO可以同时执行的原理，让CPU不会干巴巴的等待IO的完成 #网站：还是豆瓣250 https://movie.douban.com/top250 import requests from lxml import etree import time from threa
阅读全文
摘要：单线程爬虫 目标网站：https://movie.douban.com/top250 豆瓣top250 代码： import codecs import requests from bs4 import BeautifulSoup import time DOWNLOAD_URL = 'https:
阅读全文
摘要：网址：aHR0cHM6Ly93d3cubGlhbmdodWFpcG8uY29tLyMvbGlzdGVkX3N0b2NrX2xpc3Q= 1、网站进行简要分析 打开开发者工具，抓包 请求成功后，返回一长段的数据data，需要的数据应该就是对data进行解密了，现在开始找解密点 2、寻找解密点 网页打上
阅读全文
摘要：蘑菇街商品信息获取 目标网站：https://www.mogu.com/ 操作：搜索 搜索关键词：连衣裙 1、分析： 打开控制台，输入关键词，鼠标向下滑动有新请求发生，查看请求发现在?data中携带数据 查看与分析请求参数： 乍一看好像只有mw-uuid和mw-sign两个加密参数，不着急看看js代
阅读全文
