05 2022 档案
摘要：框架:集成了很多功能并且具有很强通用型的一个项目模板 如何学习框架: 学习框架封装功能的用法; 框架进阶:学习源码及编程思想 scrapy: 高性能持久化存储,异步的数据下载,高性能的数据分析,分布式 scrapy框架的基本使用: --环境安装: mac / linux :pip install s
阅读全文
摘要：12306模拟登录: --使用selenium打开登录页面 --对当前selenium打开的页面进行截图 --对当前图片局部区域进行裁剪 --因为如果获取图片url进行下载,相当于第二次请求图片,那么图片和打开的页面会不一致 --使用超级鹰识别验证码图片(坐标) 裁剪验证码图片并保存: # 需求:将
阅读全文
摘要：selenium模块与爬虫的关系: --方便便捷的获取网站中动态加载的数据 --便捷实现模拟登录 什么是selenium模块 --基于浏览器自动化的一个模块.python代码调用浏览器,浏览器根据代码完成自动化操作. selenium使用流程: --环境安装:pip install selenium
阅读全文
摘要：本案例为学习研究,不可做非法用途使用! 本案例使用的是普通的lxml,requests模块结合抓包工具做的抓取. 后续有selenium能够更好的满足需求 案例需求: 获取梨视频生活页面的热点视频数据,提取对应视频的真实下载地址. 页面分析: 直接打开开发者工具,查看页面源码,分析出页面get请求可
阅读全文
摘要：目的:在爬虫中使用异步实现高性能的数据爬取操作 # 单线程下的串行数据爬取 1.阻塞式的爬虫 2.依次,单线程,效率低 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Apple
阅读全文
摘要：模拟登录流程: 对点击登录按钮对应的请求进行发送(post请求) 处理请求参数: --用户名 --密码 --验证码 --其他的防伪参数 模拟登录cookie操作: 1.手动cookie处理 通过抓包工具获取cookie值,将该值封装到headers中 2.自动处理cookie 模拟登录post请求后
阅读全文
摘要：验证码与爬虫: 验证码是一种防爬机制 识别验证码的机制: 1.人工肉眼识别(不推荐) 2.第三方自动识别(推荐): 云打码(已挂) 超级鹰 打码兔 超级鹰示例:(各打码平台使用方法几乎一致) if __name__ == '__main__': # 调用类生成实例 chaojiying = Chao
阅读全文
摘要：数据解析基本认识 爬虫根据使用场景不同分为:通用爬虫,聚焦爬虫,增量式爬虫 聚焦爬虫:爬取页面中指定的页面内容 --编码流程 --指定URL --发起请求 --获取响应数据 --数据解析 --持久化存储 聚焦爬虫以通用爬虫为基础,进行数据的局部提取,提取的过程即为数据解析. 数据解析分类: --正则
阅读全文
摘要：requests模块:python中原生的一款基于网络请求的模块,功能强大,效率极高 作用:模拟浏览器发送请求 如何使用:(requests模块的编码流程) --指定url --发起请求 --获取响应数据 --持久化存储 环境安装: pip install requests 案例一:sougou页面
阅读全文
摘要：http协议概念: 服务器和客户端进行数据交互的一种形式 爬虫常用请求头信息requestheaders: --user-agent:请求载体的身份标识 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like
阅读全文
摘要：1.http&https协议(点我) 2.requests(点我) 3.数据解析(点我) 4.验证码识别(点我) 5.模拟登录及代理(点我) 6.异步爬虫(点我) 7.selenium(点我) 8.scrapy(点我) 9.分布式爬虫 10.增量式爬虫 案例1--爬虫案例:梨视频下载地址抓取(使用普
阅读全文
摘要：正常需要很多服务器,使用docker可以在一台服务器上实现: 前台vue一台服务器 后台python一台服务器 mysql一台服务器 nginx一台服务器 redis一台服务器 数据库备份一台服务器 日志服务器 .....等 nginx和uwsgi是用socket进行数据沟通
阅读全文
摘要：安装uwsgi之前,要先安装python-dev工具包 在centos系统中 ,为python-devel工具包 yum install python36-devel (python3.6就安装python36,根据自己python版本而定) yum install gcc (如果还是不行,安装gc
阅读全文
摘要：1.退出当前虚拟环境 deactivate 2.列出虚拟环境列表 lsvirtualenv -b env1 env2 3.切换虚拟环境 workon env2 4.进入当前虚拟环境 cdvirtualenv 5.删除虚拟环境 rmvirtualenv env1 6.进入当前环境的site-packa
阅读全文
摘要：docker国内镜像仓库: etc/docker/daemon.json天健 { "registry-mirrors": ["http://hub-mirror.c.163.com"]}
阅读全文
摘要：如何在本地研究别人的Vue项目. 1.下载项目 2.cd进项目文件夹 3.删除文件夹中的“node_modules”文件夹和“package-lock.json”(如果有的话) 将项目里的“node_modules”文件夹删除，这是开发者者自身的vue项目的依赖包,本地会在install时候自动建立
阅读全文
摘要：7.1 移动端常用UI组件库 1.Vant 2.Cube UI 3.Mint UI 7.2 PC端常用UI组件库 1.Element UI 2.IView UI
阅读全文
摘要：6.1 相关理解 6.1.1 vue-router的理解 vue的一个插件库,专门用来实现SPA应用 6.1.2 SPA应用 1.单页web应用(single page web application,SPA) 2.整个应用只有一个完整的应用 3.点击页面中的导航链接不会刷新页面,只会做页面的局部更
阅读全文
摘要：4.1 解决开发环境Ajax跨域问题 4.2 github用户搜索案例 4.3 vue项目中常用的2个Ajax库 4.4 slot插槽 默认插槽 具名插槽 作用域插槽
阅读全文
摘要：3.1 初始化脚手架 3.2 ref与props 3.3 混入 3.4 插件 3.5 Todo-list案例 3.6 Vue中的自定义事件 3.7 全局事件总线 3.8 消息订阅与发布 pubsub nextTick 3.9 过渡与动画
阅读全文
摘要：总结TodoList案例 1.组件化编码流程: (1)拆分静态组件:组件要按照功能点拆分,命名不要与html元素冲突 (2)实现动态组件:考虑数据的存放位置,数据是一个组件在用,还是一些组件在用: 1)一个组件在用:放在组件自身即可. 2)一些组件在用:放在他们共同的父组件上(状态提升) (3)实现
阅读全文
摘要：组件定义:实现界面局部功能代码和资源的集合. 一.非单文件组件 1.基本使用 Vue中使用组件的三大步骤: 1.创建组件(定义组件) 2.注册组件 3.使用组件(写组件标签) 如何定义一个组件: 使用Vue.extend(options)创建,其中options和new Vue(options)时传
阅读全文
摘要：第一章 Vue核心 1.初识Vue 2.Vue模板语法 模板:被vue实例控制的页面片段,挂载的整个容器即模板 3.数据绑定 4.el与data的两种写法 5.MVVM模型 6.数据代理 7.事件处理 8.计算属性 9.监视属性 10.绑定样式 11.条件渲染 12.列表渲染 13.收集表单数据 1
阅读全文
摘要：前端三大框架: 框架介绍 vue 尤雨溪,渐进式的JavaScript框架 react Facebook公司，里面的高阶函数非常多，对初学者不用好 angular 谷歌公司，目前更新到13.0，学习angular得需要typescript Vue模板语法 <!--模板语法--> <h2>{{ msg
阅读全文
摘要：ECMAScript 6.0（以下简称 ES6）是 JavaScript 语言的下一代标准,使JavaScript可以参与大型应用程序开发,称为企业级开发语言. 基本语法: --let 特点 1.局部作用域 2.不会存在变量提升 3.变量不能重复声明 --const 特点 1.局部作用域 2.不存在
阅读全文
摘要：python3 uwsgi virtualenvwrapper 网站代码 vue代码 ngnix ngnix对静态文件处理的性能优秀 ngnix反向代理功能,访问ngnix的80端口,就能反向代理到应用的8000端口 ngnix默认80端口 mysql redis supervisor 1.部署环境
阅读全文
摘要：定义一个类 class A(object) a = "A" #类及实例对象的属性 def __init__(self): self.b = "B" #实例对象的属性 class Meta: x = "X" #实例对象的属性 def a_print(self): #对象方法 print("a_prin
阅读全文
摘要：API 完整的web接口包含四个方面 请求方式 请求路径 请求参数 返回结果 比如登录功能:(这个是自定义的接口规范) 请求方式:GET 请求路径:login/?username=python 请求参数:username 返回结果:{"message":"ok"} json数据 进而我们会思考有没有
阅读全文
摘要：数据库之间互相关联,一对多和多对多,继承ModelSerializer的序列化器内部代码需要定制 为了多对多关联,我们同时使用自动多对多建立了editor和book的关系, 半自动多对多建立了author和book的关系 # models.py文件 # models.py from django.d
阅读全文
摘要：字段验证一般在反序列化时会有,即接收客户端传送过来的数据,进行验证,再进行保存 from rest_framework import serializers from teacher.models import Teacher # 字段验证函数(只能单个字段验证) def check_name(na
阅读全文
摘要：DRF框架使用流程 一 API接口 API接口即接口设计规范,主流接口架构:RESTful , RPC 二 RESTful架构的接口响应规范 基本接口: 也是设计的目的即数据结构如下图: GET/books 返回资源对象的列表:列表套字典json [{},{},{}] GET/books/ID 返回
阅读全文
摘要：基本概念 RESTful API规范 API - application programming interface restful规范是一种编程风格,任何语言和开发框架都可以使用该规范.目的是提高数据交互的通用型和可读性. 幂等性 客户端发起多次同样请求时,服务端的资源产生结果是一样的,则属于幂等
阅读全文
摘要：ps命令 linux中的ps是process status的缩写。 常用的命令有 //显示所有进程信息 #ps -A //显示指定用户信息 #ps -u [用户名] #ps -u root //显示所有的进程，包括命令行提示符信息 #ps -ef //显示所有正在内存中的进程，展示进程占用系统资源信
阅读全文
摘要：一 Ngnix安装环境准备 yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel
阅读全文
摘要：mysql常用命令 desc 查看表结构 create database 数据库名 create table 表名 show create database 库名 查看如何创建db的 show create table 表名; 查看如何创建table结构的 #修改mysql的密码 set passw
阅读全文
摘要：1.进入/opt/目录下(选择你要放的目录),下载mysql-server源安装包 cd /opt wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm # 可以自己选择版本 2.安装下载的rpm源安装包
阅读全文
摘要：CentOS彻底卸载MySQL 1.执行命令查看已经安装的mysql rpm -qa|grep -i mysql 2.执行命令卸载所有mysql软件包 yum -y remove mysql* 3.执行命令查找mysql的相关安装目录(安装包和安装目录是分开卸载的) find / -name mys
阅读全文
摘要：MYSQL(mariadb） mariadb完全兼容Mysql，Mysql被收购后的免费替代品 安装mariadb 1.首先在Centos系统中添加Mariadb的Yum配置文件Mariadb.repo文件. 因为yum配置仓库中默认并没有mariadb的仓库文件,因此就要先新建一个mariadb.
阅读全文
摘要：安装 pip install virtualenvwrapper 修改环境变量 修改环境变量,每次开机就加载这个virtualenvwrapper工具 vim ~/.bashrc #vim编辑用户家目录下的.bashrc文件,这个文件是用户在每次登录的时候就会读取 添加如下参数: export WO
阅读全文
摘要：下载virtualenv工具 通过物理环境的pip安装,安装完会多一个virtualenv命令 pip3 install virtualenv 创建虚拟环境 virtualenv --python==python3 venv1 --python==python3 这个参数指定虚拟环境以哪一个物理解释
阅读全文
摘要：有些安装完python3以上版本版本,但是没有pip3 同时又需要使用pip3将插件安装到python3的插件包目录下 安装pip3 安装包源:https://bootstrap.pypa.io/pip/3.6/get-pip.py 执行wget https://bootstrap.pypa.io/
阅读全文
摘要：问题描述: system start firewalld 长时间无回应,报错如图: 问题解决: 官方描述是可能系统不知道防火墙是否一开始就启动成功 #关闭firewalld服务 systemctl stop firewalld; #关闭firewalld进程 pkill -f firewalld;
阅读全文
摘要：一、防火墙的开启、关闭、禁用命令 （1）设置开机启用防火墙：systemctl enable firewalld.service （2）设置开机禁用防火墙：systemctl disable firewalld.service （3）启动防火墙：systemctl start firewalld （
阅读全文
摘要：一 下载python源码包 网址：https://www.python.org/downloads/release/python-362/ 下载地址：https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz 二 安装 1 安装python前必须
阅读全文
摘要：yum源配置 什么是yum源？ Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件
阅读全文
摘要：计划任务crond服务 crontab -l 查看任务 crontab -e 编辑任务 vim /etc/crontab crontab命令被用来提交和管理用户的需要周期性执行的任务，与windows下的计划任务类似 语法 crontab （选项）（参数） -e：编辑该用户的计时器设置； -l：列出
阅读全文
摘要：8.8.8.8 谷歌的dns服务器地址 114.114.114.114 114dns服务器地址 223.5.5.5 223.6.6.6 阿里巴巴的dns服务器地址 119.29.29.29 腾讯的dns服务器地址 .....
阅读全文
摘要：Linux中文显示设置（防止中文乱码） 此项优化为可选项，根据个人情况选择是否调整Linux系统的字符集，字符集就是一套文字符号以及编码。 Linux下常用字符集有： GBK 实际企业应用较少 UTF-8 广泛支持，MYSQL也使用UTF-8，企业广泛使用 #查看系统当前字符集echo $LANGl
阅读全文
摘要：SELinux(Security-Enhanced Linux) 是美国国家安全局（NSA）对于强制访问控制的实现，这个功能管理员又爱又恨，大多数生产环境也是关闭的做法，安全手段使用其他方法。 大多数ssh连接不上虚拟机，都是因为防火墙和selinux阻挡了 永久关闭方式： 1.修改配置文件，永久生
阅读全文
摘要：netstat命令 语法参数 netstat [选项] -t或--tcp：显示TCP传输协议的连线状况； -u或--udp：显示UDP传输协议的连线状况； -n或--numeric：直接使用ip地址，而不通过域名服务器； -l或--listening：显示监控中的服务器的Socket； -p或--p
阅读全文
摘要：Linux Centos7目录结构 目录结构解释: /bin：bin是Binary的缩写, 这个目录存放着最经常使用的命令。 /boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。 /dev ：dev是Device(设备)的缩写, 该目录下存放的是Linux的外部
阅读全文
