Repeinsi - 博客园

2020年3月24日

摘要： 1.1 Tornado安装与基本使用 1、安装tornado 1、pip3安装 pip3 install tornado 2、源码安装 https://pypi.python.org/packages/source/t/tornado/tornado-4.3.tar.gz 2、tornado概述阅读全文

posted @ 2020-03-24 21:01 Repeinsi 阅读(297) 评论(0) 推荐(0) 编辑

redis集群之sentinel

摘要： 1.1 实验说明 1、环境说明 1. 前提：本试验环境已经提前安装了docker和docker-compose 2. 说明：本次部署是单机伪集群，想要部署真正的集群，需要将秒个主件拆分到各个机器上去部署，只修改ip地址 2、redis三种集群 1. 主从（主从同步原理） 2. sentinel（哨兵阅读全文

posted @ 2020-03-24 00:08 Repeinsi 阅读(231) 评论(0) 推荐(0) 编辑

redis分布式锁解决超卖问题

摘要： 1.1 redis事物 1、redis事物介绍 1. redis事物是可以一次执行多个命令，本质是一组命令的集合。 2. 一个事务中的所有命令都会序列化，按顺序串行化的执行而不会被其他命令插入作用：一个队列中，一次性、顺序性、排他性的执行一系列命令 2、multi 指令基本使用 1. 下面指令演示阅读全文

posted @ 2020-03-24 00:00 Repeinsi 阅读(1552) 评论(0) 推荐(0) 编辑

2020年3月23日

三方登录

摘要： 1.1 三方登录介绍 1、三方登录流程（以微博为例） 1）前端获取认证code 1. 在Vue页面加载时动态发送请求获取微博授权url 2. django收到请求的url后，通过微博应用ID(client_id)和回调地址(redirect_uri)动态生成授权url返回给Vue 3. 当用户点击上阅读全文

posted @ 2020-03-23 23:51 Repeinsi 阅读(298) 评论(0) 推荐(0) 编辑

2020年3月20日

常用反扒机制 & 解决方法

摘要： 1.1 常用反扒机制参考博客：https://blog.csdn.net/python36/article/details/90174300 1、header 浏览器的请求头 header中添加token等验证信息 2、Referer 防盗链 1. 访问的目标链接是从哪个链接跳转过来的（做防盗链的阅读全文

posted @ 2020-03-20 01:27 Repeinsi 阅读(1142) 评论(0) 推荐(0) 编辑

爬虫之性能相关

摘要： 1.1 实现并发的常见方法 1、简介 1．在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 2．进程：启用进程非常浪费资源 3．线程：线程多，并且在阻塞过程中无法执行其他任务 4．协程：gevent只用起一个线程，当请求发出去后阅读全文

posted @ 2020-03-20 01:26 Repeinsi 阅读(127) 评论(0) 推荐(0) 编辑

requests与BeautifulSoup结合爬取网页数据应用

摘要： 1.1 爬虫相关模块命令回顾 1、requests模块 1、 pip install requests 2、 response = requests.get('http://www.baidu.com/ ') #获取指定url的网页内容 3、 response.text #获取文本文件 4、 res 阅读全文

posted @ 2020-03-20 01:23 Repeinsi 阅读(455) 评论(0) 推荐(0) 编辑

BeautifulSoup

摘要： 1.1 BeautifulSoup介绍 1、BeautifulSoup作用 1、BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化 2、之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单 2、安装 pip3 阅读全文

posted @ 2020-03-20 01:16 Repeinsi 阅读(173) 评论(0) 推荐(0) 编辑

requests模块

摘要： 1.1 requests模块简介 1. requests模块介绍 1、 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。 2、 Requests 是使用 Apache2 Licensed 许可证的基于Python开发的HT 阅读全文

posted @ 2020-03-20 01:02 Repeinsi 阅读(227) 评论(0) 推荐(0) 编辑

字典、顺序表、列表、hash树实现原理

摘要： 1.1 python中字典对象实现原理注：字典类型是Python中最常用的数据类型之一，它是一个键值对的集合，字典通过键来索引，关联到相对的值，理论上它的查询复杂度是 O(1) 1、哈希表 (hash tables) 1. 哈希表（也叫散列表），根据关键值对(Key-value)而直接进行访问的数阅读全文

posted @ 2020-03-20 00:52 Repeinsi 阅读(364) 评论(0) 推荐(0) 编辑

公告