03 2019 档案
摘要：JWT 在用户注册或登录后，我们想记录用户的登录状态，或者为用户创建身份认证的凭证。 我们不再使用Session认证机制，而使用Json Web Token认证机制。 Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).
阅读全文
摘要：创建自定义的用户模型类 1. 用命令创建users 应用 2. 将users 注册到settings.py INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes',
阅读全文
摘要：Scrapy 模拟登陆 1. 重写 爬虫中的start_requests 方法，直接携带cookies 进行登录 注意的是在scrapy 中，cookies 不能放在headers 中，而需要把cookies作为一个独立的参数。因为在scrapy配置文件中单单独定义了一个cookies配置，读取co
阅读全文
摘要：一.windows下虚拟环境创建 1.1 虚拟环境virtualenv 如果在一台电脑上, 想开发多个不同的项目, 需要用到同一个包的不同版本, 如果使用上面的命令, 在同一个目录下安装或者更新, 新版本会覆盖以前的版本, 其它的项目就无法运行了.而公司里面往往会存在多个项目的情况， 所以需要使用虚
阅读全文
摘要：scrapy 持久化存储 一.主要过程： 以爬取校花网为例 ： http://www.xiaohuar.com/hua/ 1. spider 回调函数 返回item 时 要用yield item 不能用return item 爬虫 xiahua.py 1 # -*- coding: utf-8 -*
阅读全文
摘要：1.socket 实现http 请求 1.阻塞情况 # 1 阻塞 client = socket.socket() client.connect(('14.215.177.39',80)) # 阻塞 , '14.215.177.39' 为百度ip 默认端口 data=b'GET / HTTP/1.0
阅读全文
摘要：mongo简介 1.基于分布式文件存储的数据库。 为 WEB应用提供可扩展的高性能数据存储解决方案。 2.Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言， 几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 3. MongoDB的优势 4
阅读全文
摘要：windows如何安装mongodb 步骤： 1.下载地址 2.选择zip(解压版本) 3.压缩文件解压到 /D:盘 4.在 D：盘 下建一个 data文件夹，data下建 db文件夹： D:\data\db 5. 打开 cmd 命令窗口 切换到： D:\mgdb\mongodb-4.0.6\bin
阅读全文
摘要：在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1.串行 import requests def fetch_async(url): response = requests.get(url) return response url_l
阅读全文
摘要：1.正则表达式 单字符： . : 除换行以外所有字符 [] ：[aoe] [a-w] 匹配集合中任意一个字符 \d ：数字 [0-9] \D : 非数字 \w ：数字、字母、下划线、中文 \W : 非\w \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 \
阅读全文
摘要：requests模块 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。 1.安装： pip
阅读全文
