scrappy 的概念和流程
摘要：一：scrapy的概念和流程 1：scrapy 的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 2：scrapy框架的作用 少量的代码，
阅读全文
posted @ 2020-11-25 00:22
11 2020 档案
Chrome 在爬虫中的使用
摘要：一：新建隐身窗口 浏览器中直接打开网站，会自动带上之前网站时保存的cookie，但是在爬虫中首次获取页面是没有携带cookie的，这种情况如何解决呢？ 使用隐身窗口，首次打开网站，不会带上cookie，能够观察页面的获取情况，包括对方服务器如何设置cookie在本地 二： chrome中networ
阅读全文
posted @ 2020-11-19 16:48
图片识别引擎的使用
摘要：一.图片验证码 1.1 什么是图片 验证码- 验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公
阅读全文
posted @ 2020-11-19 16:32
常见的反爬手段和解决方法
摘要：一：服务器反爬的原因 - 爬虫占总PV(PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv)比例较高，这样浪费钱（尤其是三月份爬虫）。 三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期，有大量的硕士在写论文的时候会选择爬取一些往网站，并进行舆情分析。因为五月份交论文，所以嘛，
阅读全文
posted @ 2020-11-19 16:19
lxml模块和xpath语法
摘要：1. 了解 lxml模块和xpath语法 > 对html或xml形式的文本提取特定的内容，就需要我们掌握lxml模块的使用和xpath语法。 - lxml模块可以利用XPath规则语法，来快速的定位HTML\XML 文档中特定元素以及获取节点信息（文本内容、属性值） - XPath (XML Pat
阅读全文
posted @ 2020-11-14 16:26
jsonpath模块
摘要：1. jsonpath模块的使用场景 > 如果有一个多层嵌套的复杂字典，想要根据key和下标来批量提取value，这是比较困难的。jsonpath模块就能解决这个痛点，接下来我们就来学习jsonpath模块 **jsonpath可以按照key对python字典进行批量数据提取** 2. jsonpa
阅读全文
posted @ 2020-11-14 15:44
request模块
摘要：1：request 模块介绍 https://requests.readthedocs.io/en/master/ 1.1request模块的作用 发送http请求，获取响应数据 1.2：request模块的安装 ip/pip3 install requests 1.3：requests模块发送ge
阅读全文
posted @ 2020-11-14 15:36
django模板和jinja2模板用法的不同点
摘要：一：格式化时间 1：django模板格式化时间 {{vaue | datae:"Y-m-d H:i:s""}} 2:jinja2格式化时间 {{recode.time.strftime('%Y-%m-%d %H:%M:%S')}} 更新中！
阅读全文
posted @ 2020-11-08 00:29
解决django 在上传文件时 request.FILES 为空的问题
摘要：用html的form上传文件时，request.FILES为空，没有收到上传来的文件，但是在request.POST里找到了上传的文件名（只是一个字符串）。 解决方法：为form表单规定enctype属性，其值为"multipart/form-data"。 enctype 属性规定在发送到服务器之前
阅读全文
posted @ 2020-11-08 00:23
使用django自带的后台认证系统实现多账号登录
摘要：1：使用django自导的后台认证系统 2：看源码 3：重写authenticate方法 这里校验了两次密码。是应为用admin后台添加的用户密码是明文的，改写admin源码有点麻烦，大家有什么好的建议可以留言哦！ 4：指定用户认证类
阅读全文
posted @ 2020-11-02 16:17
