01 2021 档案
进程切换与线程切换的区别
摘要:一、什么是虚拟内存 虚拟内存是操作系统为每个进程提供的一种抽象,每个进程都有属于自己的,私有的、地址连续的虚拟内存,当然我们知道最终进程的数据及代码必然要放到物理内存上,那么必须有某种机制能记住虚拟地址空间中的某个数据 被放到了那个物理内存地址上,这就是所谓的地址空间映射,也就是虚拟内存地址与物理地
阅读全文
爬虫之xpath
摘要:一、XPath简介 1 简介 xpath是一门在XML文档中查找信息的语言 xpath可用来在XML文档中对元素和属性进行遍历 2.什么是 XPath XPath 使用路径表达式在XML文档中进行导航 XPath 包含一个标准函数库 XPath 是XSLT中的主要元素 XPath是一个W3C标准 3
阅读全文
luffy项目上线
摘要:一、服务器配置,软件安装 1.1前置配置 yum update -y yum -y groupinstall "Development tools" # 开发相关的工具包 git unzip。。。 yum install openssl-devel bzip2-devel expat-devel g
阅读全文
爬虫之selenium
摘要:一、selenium的介绍 1.是一个自动化测试工具,模拟人的行为,做爬虫为了解决使用 requests模块无法执行ajax获取数据2.使用selenium+半人工登录,获取cookie 》给requests模块使用 二、selenium的使用 1 安装模块 pip3 install seleniu
阅读全文
celery
摘要:一、celery简介,架构 1 celery:芹菜(跟芹菜没有任何关系) 2 python中的一个分布式任务框架 执行异步任务(对立:同步任务):解决耗时任务,将耗时操作任务提交给celery去异步执行,比如发送短信/邮箱、消息推送、音频处理等等 执行延时任务(5分钟后干一件事):解决延迟任务 执行
阅读全文
C3算法简单使用
摘要:C3算法 在python3中,所有类都是新式类,继承顺序遵循广度优先的C3算法 C3算法的规则如下: 每一个类的继承顺序都是从父类向子类看 形成一个指向关系的顺序[当前类]+[父类的继承顺序]如果一个类出现在从左到右的第一个顺序上,并且没有出现在后面顺序中,或者出现在后面的顺序中但是仍然是第一顺序,
阅读全文
爬取梨视频
摘要:import requests import re res = requests.get('https://www.pearvideo.com/popular_9') # print(res.text) #拿到的是一个页面的所有视频html页面 re_video = '<a href="(.*?)"
阅读全文
爬虫基础之一
摘要:一、爬虫的基本原理 1.百度是个大爬虫.2.模拟浏览器发送http请求--(请求库)(频率,cookie,浏览器头。js反扒,app逆向)(抓包工具) >从服务器取回数据 >解析数据--(解析库)(反扒) >入库(存储库,)3.爬虫协议(详情见网站:https://www.cnblogs.com/s
阅读全文
在rest_framwork中进行图片的多条存储时注意事项
摘要:注意事项: # django 里面上传文件默认只处理单个文件上传,批量上传的时候request.FILES 的类型为 MultiValueDict,这种字典类是特殊定义的,要取得list 需要调用 getlist 方法: 1.在接收前端传送过来的图片时,如果是一张图片可以用 files = requ
阅读全文
如何在继承了Modelmixin以及GenericViewSet(可以自动生成路由)执行更新操作方法有两种
摘要:第一种:在serializer中,继承Serilizer时,用一下方法 注意点一:在进行跟新操作时,一般情况下前端发送过来的应该是put请求,因为put请求对应的映射关系是update,如果想要通过post请求来进行更新操作,得在url中修改映射关系。 [path('modify_info/', v
阅读全文
celery
摘要:一、celery简介,架构 1 celery:芹菜(跟芹菜没有任何关系) 2 python中的一个分布式任务框架 执行异步任务(对立:同步任务):解决耗时任务,将耗时操作任务提交给celery去异步执行,比如发送短信/邮箱、消息推送、音频处理等等 执行延时任务(5分钟后干一件事):解决延迟任务 执行
阅读全文
Redis数据类型基本操作
摘要:须知:在Redis中设置值,默认,不存在则创建,存在则修改 一:String字符串操作 set 设置值 属性释义 name key的名字 value key的值 ex 过期时间(秒) px 过期时间(毫秒) nx 如果设置为True,则只有name不存在时,修改才会生效;值存在,就修改不了,执行没效
阅读全文
redis简单使用及连接池
摘要:一:Redis启动的3种方式 1.最简启动 redis-server ps -ef | grep redis # 查看进程 netstat -antpl | grep redis # 查看端口 redis-cli -h ip -p port ping # 命令查看 2.动态参数启动 redis-se
阅读全文
初始Redis
摘要:一:什么是Redis? 1.简介 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、K
阅读全文
redis安装教程
摘要:一:简介 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets),有序集合(sorted sets) 与范围查询, bitmaps
阅读全文