LBZHK - 博客园

2019年12月6日

摘要：爬虫05 /js加密/js逆向、常用抓包工具、移动端数据爬取 [TOC] 1. js加密、js逆向：案例1 需求：将这个网页中的代理ip和端口号进行爬取分析： 1. 爬取的数据是动态加载 2. 并且我们进行了抓包工具的全局搜索，没有查找到结果意味着：爬取的数据从服务端请求到的是加密的密文数据阅读全文

posted @ 2019-12-06 21:39 LBZHK 阅读(1787) 评论(0) 推荐(0) 编辑

爬虫04 /asyncio、selenium规避检测、动作链、无头浏览器

摘要：爬虫04 /asyncio、selenium规避检测、动作链、无头浏览器 [TOC] 1. 协程asyncio 协程基础特殊的函数就是async关键字修饰的一个函数的定义特殊之处：特殊函数被调用后会返回一个协程对象特殊函数调用后内部的程序语句没有被立即执行协程对象。协程==特殊的函数。阅读全文

posted @ 2019-12-06 08:17 LBZHK 阅读(1244) 评论(0) 推荐(0) 编辑

2019年12月4日

爬虫03 /代理、cookie处理、模拟登录、提升爬虫效率

摘要：爬虫03 /代理、cookie处理、模拟登录、提升爬虫效率 [TOC] 1. 代理代理概念：代理服务器。作用：接收请求==》请求转发。代理和爬虫之间的关联：可以使用请求转发的机制使得目的服务器接收到的请求对应ip的一个改变。为什么要使用代理改变请求的ip地址？爬虫程序在短时间内对指定的服阅读全文

posted @ 2019-12-04 20:00 LBZHK 阅读(293) 评论(0) 推荐(0) 编辑

2019年12月3日

爬虫02 /数据解析

摘要：爬虫02 /数据解析 [TOC] 1. 数据解析概述什么是数据解析，数据解析可以干什么？概念：就是将一组数据中的局部数据进行提取。作用：使用来实现聚焦爬虫数据解析的通用原理问题：html展示的数据可以存储在哪里？标签之中属性中 1.标签定位 2.取文本或者取属性数据解析的常用方法 r 阅读全文

posted @ 2019-12-03 22:40 LBZHK 阅读(192) 评论(0) 推荐(0) 编辑

爬虫01 /jupyter、爬虫概述、requests基本使用

摘要：爬虫02 /jupyter、爬虫概述、requests基本使用 [TOC] 1. jupyter的基本使用什么是anaconda 是一个基于数据分析+机器学习的集成环境。什么是jupyter（超级终端）是anaconda中的一个基于浏览器可视化的编码工具在指定目录下启动终端：录入jupyte 阅读全文

posted @ 2019-12-03 08:05 LBZHK 阅读(838) 评论(0) 推荐(0) 编辑

2019年12月2日

爬虫前篇 /https协议原理剖析

摘要：爬虫前篇 /https协议原理剖析 [TOC] https是基于http和SSL/TLS实现的一个协议，他可以保证在网络上传输的数据都是加密的，从而保证数据安全。接下来我们从http协议开始，提出想法并逐步进行分析，最终实现Https。 1. http协议是不安全的在https诞生之前，所有网站阅读全文

posted @ 2019-12-02 07:50 LBZHK 阅读(298) 评论(0) 推荐(0) 编辑

2019年11月27日

drf源码剖析系列（系列目录）

摘要： drf源码剖析系列（系列目录） "01 drf源码剖析之restful规范" "02 drf源码剖析之快速了解drf" "03 drf源码剖析之视图" "04 drf源码剖析之版本" "05 drf源码剖析之认证" "06 drf源码剖析之权限" "07 drf源码剖析之节流" "08 jwt源码剖阅读全文

posted @ 2019-11-27 22:12 LBZHK 阅读(161) 评论(0) 推荐(0) 编辑

08 jwt源码剖析

摘要： 08 jwt源码剖析 [TOC] JSON Web Tokens，是一种开发的行业标准 "RFC 7519" ，用于安全的表示双方之间的声明。目前，jwt广泛应用在系统的用户认证方面，特别是现在前后端分离项目。 1. jwt认证流程在项目开发中，一般会按照上图所示的过程进行认证，即：用户登录成功之阅读全文

posted @ 2019-11-27 22:03 LBZHK 阅读(138) 评论(0) 推荐(0) 编辑

07 drf源码剖析之节流

摘要： 07 drf源码剖析之节流 [TOC] 1. 节流简述节流类似于权限，它确定是否应授权请求。节流指示临时状态，并用于控制客户端可以向API发出的请求的速率。还有情况可能是，由于某些服务特别耗费资源，因此您需要在API的不同部分施加不同的约束。频率限制在认证、权限之后 2. 节流使用在set 阅读全文

posted @ 2019-11-27 11:48 LBZHK 阅读(100) 评论(0) 推荐(0) 编辑

06 drf源码剖析之权限

摘要： 06 drf源码剖析之权限 [TOC] 1. 权限简述权限与身份验证和限制一起，决定了是否应授予请求访问权限。权限检查始终在视图的最开始处运行，然后再允许执行其他任何代码。权限检查通常会使用和`request.auth`属性中的身份验证信息来确定是否应允许传入请求。权限用于授予或拒绝不同类别阅读全文

posted @ 2019-11-27 11:47 LBZHK 阅读(111) 评论(0) 推荐(0) 编辑

公告