[置顶] Django框架系列目录
摘要： Django框架系列目录 目录 （1）Django引入 （2）Django基本操作 （3）Django小白必会三板斧 （4）静态文件配置 （5）pycharm链接数据库（MySQL） （6）Django链接MySQL （7）Django的orm （8）Django请求周期流程图（重要） （9）Django路由层 （10）Dj 阅读全文
posted @ 2022-12-12 15:49 ExpiredSaury 阅读(60) 评论(0) 推荐(0) 编辑
[置顶] 网络爬虫
摘要： 网络爬虫 爬虫的关键是爬取网页的内容，爬取内容由分为两种形式，一种是爬取html渲染的内容，通过解析html的结构拿到内容，这种形式下爬取内容首先需要了解html的知识，才能够解析html，但通过解析html再拿到数据的方式并不是最优的，网站前后端是分离的，前端和后端的数据交互通过API接口的形式进行。通过API接口的形式获取数据比从网页上获取数据会更加高效。 阅读全文
posted @ 2022-08-11 00:05 ExpiredSaury 阅读(194) 评论(0) 推荐(0) 编辑
2023年3月19日
HDFS分布式文件系统
摘要： HDFS分布式文件系统 1️⃣、HDFS的概述 1.1、HDFS产出背景及定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，==迫切需要一种系统来管理多台机器上的文件，==这就是分布式文件管理系统。==HDFS只是分布式文件管理系统 阅读全文
posted @ 2023-03-19 14:05 ExpiredSaury 阅读(39) 评论(0) 推荐(0) 编辑
MapReduce
摘要： MapReduce 1️⃣、MapReduce概述 1.1、MapReduce定义 MapReduce是一个==分布式运算程序==的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是==将用户编写的业务逻辑代码和自带默认组件==整合成一个完整的==分布式运算程序==，并发运 阅读全文
posted @ 2023-03-19 14:03 ExpiredSaury 阅读(24) 评论(0) 推荐(0) 编辑
Yarn资源调度
摘要： Yarn资源调度 1）如何管理集群资源？ 2）如何给任务合理分配资源？ ==Yarn==是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的==操作系统平台==，而==MapReduce==等运算程序则相当于运行于==操作系统之上的应用程序。== 1.1、Yarn基础架构 YARN主要由Resou 阅读全文
posted @ 2023-03-19 14:00 ExpiredSaury 阅读(48) 评论(0) 推荐(0) 编辑
Hadoop入门
摘要： Hadoop入门 1️⃣、Hadoop概述 1.1、Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决 海量数据的==存储==和海量数据的==分析计算==问题 广义上来说，Hadoop通常是指一个更广泛的概念 Hadoop生态圈== 发展史： 1.2、三大发行版本 Hado 阅读全文
posted @ 2023-03-19 13:57 ExpiredSaury 阅读(35) 评论(0) 推荐(0) 编辑
2023年2月1日
并发编程-Python
摘要： 01、理论 操作系统发展史 多道技术 单核实现并发的效果 并行：真正意义上的同时执行 并发：看上去像同时运行的 ps: 并行属于并发 单核计算机肯定不能实现并行，但是可以实现并发 时间上的复用与空间上的复用 空间上的复用： 多个程序共用一套计算机 时间上的复用： 洗衣服30s 、做饭30s、烧水40 阅读全文
posted @ 2023-02-01 12:07 ExpiredSaury 阅读(25) 评论(0) 推荐(0) 编辑
2023年1月13日
图片验证码，发送邮箱，富文本编辑器
摘要： @ 图片验证码 1、安装 pip install django-simple-captcha 2、设置 settings.py配置 INSTALLED_APPS = [ ......... 'captcha' ] # 使用django-simple-captcha验证码 CAPTCHA_IMAGE_ 阅读全文
posted @ 2023-01-13 05:01 ExpiredSaury 阅读(40) 评论(0) 推荐(0) 编辑
2022年12月12日
django-rest framework
摘要： django-rest framework 目录 （1）Web应用模式及API接口 （2）Restful规范 （3）drf安装和简单使用 （4）源码分析 （5）序列化器-Serializer （6）局部和全局响应配置 （7）视图 （8）路由-Routers （9）认证-Authentication （10）权限-Permissions （11 阅读全文
posted @ 2022-12-12 17:43 ExpiredSaury 阅读(39) 评论(0) 推荐(0) 编辑
Django缓存
摘要： 相关博客 在动态网站中,用户所有的请求,服务器都会去数据库中进行相应的增,删,查,改,渲染模板,执行业务逻辑,最后生成用户看到的页面. 当一个网站的用户访问量很大的时候,每一次的的后台操作,都会消耗很多的服务端资源,所以必须使用缓存来减轻后端服务器的压力. 缓存是将一些常用的数据保存内存或者memc 阅读全文
posted @ 2022-12-12 17:40 ExpiredSaury 阅读(41) 评论(0) 推荐(0) 编辑
基于角色的权限控制（django内置的auth体系)
摘要： #RBAC（Role-Based Access Control：基于角色的访问控制） #django的auth就是内置了一套RBAC的权限系统 #django中 #后台权限控制（公司内部系统，crm客户关系管理,erp,协同平台） user表 group表 permission表 user_grou 阅读全文
posted @ 2022-12-12 17:39 ExpiredSaury 阅读(23) 评论(0) 推荐(0) 编辑
JWT认证
摘要： 在用户注册信息登陆后，想记录用户的登录状态，或者为用户创建身份认证的凭证，不再使用Session认证机制，而使用Json Web Token(本质就是token)认证机制 1、构成 JWT就是一段字符串，由三段信息文本用.链接一起就构成了JWT字符串， aaaa.bbbb.cccc 第一个部分成为头 阅读全文
posted @ 2022-12-12 17:38 ExpiredSaury 阅读(32) 评论(0) 推荐(0) 编辑
下一页