摘要：
1.找到我们要爬取的歌曲主页 2.获取歌曲songmid 3.进入到歌曲播放页找到音频地址 4.查看音频地址需要的参数 5.查找vkey参数是怎么来的 我们再来看返回下载地址和vkey参数的请求地址都需要什么参数呢？ 6.到这里加密参数我们已经弄清楚了，可以开始写代码了。注意！！：网页版的qq音乐它 阅读全文
摘要：
只需要吧这个id替换掉代码中的id就可以了 # http://music.163.com/song/media/outer/url?id=为网易云的下载连接更换id即可 from lxml import etree import requests import json from concurren 阅读全文
摘要：
python刷CSDN访问量 import requests import re import time payload = "" # 请求头 headers = { "Accept": "*/*", "Accept-Encoding": "gzip, deflate, br", "Accept-L 阅读全文
摘要：
1. 在django项目根目录位置创建scrapy项目，django_12是django项目，ABCkg是scrapy爬虫项目，app1是django的子应用 2.在Scrapy的settings.py中加入以下代码 import os import sys sys.path.append(os.p 阅读全文
摘要：
20个必不可少的Python库也是基本的第三方库 读者您好。今天我将介绍20个属于我常用工具的Python库，我相信你看完之后也会觉得离不开它们。他们是： Requests.Kenneth Reitz写的最富盛名的http库。每个Python程序员都应该有它。 Scrapy.如果你从事爬虫相关的工作 阅读全文
摘要：
Python异步编程 前言 现在是 Python3.5 以后已经进入异步时代 Python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了Python性能方面的短板. python3.0时代，标准库里的 阅读全文
摘要：
1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 1.将每一个页码对应的url存放到爬虫 阅读全文
摘要：
增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更 阅读全文
摘要：
地址：https://jn.zu.ke.com/zufang 1，首先确定要爬取的数据 2，查看数据来源 数据直接在网页中展示，不是动态加载，也不需要cookie，更没有什么反爬（之所以写这篇文章是因为我对scrapy框架不了解，正在学习中，加深一下印象） 3.找下一页的数据，寻找url规律 可以看 阅读全文
摘要：
pip install PyExecJS 查看执行JS的环境 print(execjs.get().name) 返回值：JScript windows 默认执行JS的环境 返回值：Node.js (V8) 自己安装的NodeJS环境 安装NodeJS 下载： http://nodejs.cn/dow 阅读全文