该文被密码保护。 阅读全文
摘要：
一.中间件中主要有3个函数方法 process_request:处理请求,默认返回值是None process_response:处理响应,默认返回值是response对象 process_exception:处理错误信息,默认返回值是None 二.中间件三个方法的返回值返回的结果 1.proce 阅读全文
摘要：
`我是对于xxxx小说网进行爬取只讲思路不展示代码`请见谅 一.涉及到的反爬 js加密 css加密 请求头中的 以及 cookie 二.思路 1.对于js加密 对于有js加密信息,我们一般就是找到他加密的 使用 模块来执行js代码即可 怎么找可以参考我之前对于 "链接点我" 2.对于css加密 常见 阅读全文
摘要：
一.安装依赖 二.命令 运行爬虫程序如果不打印日志 三.文件说明 scrapy.cfg 项目的主配置信息，用来部署scrapy时使用，爬虫相关的配置信息在settings.py文件中。 items.py 设置数据存储模板，用于结构化数据，如：Django的Model pipelines 数据处理行为 阅读全文
摘要：
一.异常信息(...gbk.....) 解决办法 因为是 相关报错 就搜索 ,为什么搜这个就是代码写多了 我们会发现这样一段 解决啦~~ 二.异常信息(没有window对象) 解决办法 我们execjs除了 我们还需要 ,我们浏览器上还需要 以及 对象所有呢我们要安装环境 执行 然后呢我们在 开头添 阅读全文