摘要：
一、Scrapy的简介 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下 它主要由五大组件和两中间件组成： 五大组件： 1、引擎（ENGINE)：用来处理整个系统的 阅读全文
摘要：
一、Xpath 注意：xpath中不能出现tbody标签，可以用 // 来跳过这个标签 1、简单使用对象实例化： from lxml import etree# 本地文件： tree = etree.parse('文件名') tree.xpath('xpath表达式') #网络数据： tree = 阅读全文
摘要：
一、介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.目前已经开发到4.0以上了 baautiful soup常用的解析器如 阅读全文
摘要：
一、GET请求 ''' GET请求： 没有请求体 数据不能超过1k 请求的数据会暴露在浏览器的地址栏中 ''' 1、基本的get请求： import requests # 1、基本请求 res=requests.get('http://127.0.0.1:8000/index') print(res 阅读全文
摘要：
一、pip安装源 1、常见安装源 """ -- 豆瓣：https://pypi.douban.com/simple -- 阿里：https://mirrors.aliyun.com/pypi/simple 安装的命令： -- >: pip install -i https://pypi.douban 阅读全文
摘要：
一、Celery介绍 1、Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时，也支持任务调度 注意：1、Celery目前不支持widows，用在widows可能或报错 2、celery服务可以不依赖任何服务器，通过自身命令启动服务 3、celery服 阅读全文
摘要：
一、Redis介绍 1、redis介绍 开源：早起版本2w3千行 基于键值对的存储系统：字典形式 多种数据结构：字符串，hash，列表，集合，有序集合 高性能，功能丰富 使用的公司有：github，twitter，stackoverflow，阿里，百度，微博，美团，搜狐 2、8个特性： （1）速度快 阅读全文
摘要：
一、同源策略 同源策略：是浏览器最核心最基本的安全功能，即 请求的url地址必须跟浏览器上的url地址处于同域上（域名、端口、协议都相同） 二、CORS（跨域资源共享）简介 CORS需要浏览器和服务器同时支持。目前，所有浏览器都支持该功能，IE浏览器不能低于IE10。 整个CORS通信过程，都是浏览 阅读全文
摘要：
一、JWT认证： 1、本质： 定义：在用户注册或登录后，我们想记录用户的登录状态，或者为用户创建身份认证的凭证。我们不再使用Session认证机制，而使用Json Web Token（本质就是token）认证机制。 本质： 签发和校验 签发：根据登录请求提交来的 账号 + 密码 + 设备信息 签发 阅读全文
摘要：
一、Django六种缓存方式(都是在settings中设置） 1、开发调试（开发调试使用，实际不做任何操作） CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.dummy.DummyCache', # 引擎 'TIMEOUT 阅读全文