摘要: 1 变量命名规范 1 变量命名,推荐用驼峰 AgeOfXX== (变量,函数,大写字母开头表示导出,外部包可以使用)2 go文件命名,推荐用下滑线3 个名字必须以一个字母(Unicode字母)或下划线开头,后面可以跟任意数量的字母、数字或下划线4 不要用关键字和保留关键字作为变量名5 大写字母和小写 阅读全文
posted @ 2021-03-02 20:20 投降输一半! 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 1 redis哨兵 1 主从复制存在的问题: -1 主从复制,主节点发生故障,需要做故障转移,可以手动转移:让其中一个slave变成master(哨兵) -2 主从复制,只能主写数据,所以写能力和存储能力有限(集群)2 原理 1 多个sentinel发现并确认master有问题 2 选举触一个sen 阅读全文
posted @ 2021-03-02 20:19 投降输一半! 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 1 Redis介绍安装配置 1 安装 #下载wget http://download.redis.io/releases/redis-5.0.7.tar.gz#解压tar -xzf redis-5.0.7.tar.gz#建立软连接ln -s redis-5.0.7 rediscd redismake 阅读全文
posted @ 2021-03-02 20:18 投降输一半! 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 远程链接linux开发项目 今日内容 1 sqlachemy 1 orm框,可以独立出来用2 orm执行原生sql -生成engine(连接池) engine = create_engine() -获取链接 conn=engine.raw_connection() -后续就一样了 3 创建表,删除表 阅读全文
posted @ 2021-03-02 20:16 投降输一半! 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 1 wtforms 0 pip3 install wtforms 0 要使用邮箱认证,还需要装一个模块:pip3 install email-validator1 等同于django中的forms,做数据验证,模板的渲染3 使用 基本使用 # wtforms​​from flask import F 阅读全文
posted @ 2021-03-02 20:11 投降输一半! 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 1 flask上下文源码分析(详见txt和图片) 请求上下文执行流程(ctx): -0 flask项目一启动,有6个全局变量 -_request_ctx_stack:LocalStack对象 -_app_ctx_stack :LocalStack对象 -request : LocalProxy对象 阅读全文
posted @ 2021-03-02 20:07 投降输一半! 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1 中间件 from flask import Flask​app = Flask(__name__)​​@app.route('/')def index(): return 'Hello World!'​​# 模拟中间件class Md(object): def __init__(self, ol 阅读全文
posted @ 2021-03-02 20:06 投降输一半! 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 1 请求响应 from flask import Flask,make_response,jsonifyfrom flask import requestfrom flask import render_templatefrom flask import redirectfrom flask imp 阅读全文
posted @ 2021-03-02 20:05 投降输一半! 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1 Flask安装介绍 1 Flask是一个基于Python开发并且依赖jinja2模板(django模板语言)和Werkzeug WSGI(django:wsgiref)服务的一个微型框架​2 对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flas 阅读全文
posted @ 2021-03-02 20:03 投降输一半! 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 0 布隆过滤器 ​1 bloomfilter:是一个通过多哈希函数映射到一张表的数据结构,能够快速的判断一个元素在一个集合内是否存在,具有很好的空间和时间效率2 数组:连续存储的内存空间:取值,改值效率高;;;插入值,删除值效率低3 链表:不连续的内存空间,可变长:取值,改之效率低;;;插入删除效率 阅读全文
posted @ 2021-03-02 20:01 投降输一半! 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 1 配置参数 #1 是否遵循爬虫协议ROBOTSTXT_OBEY = False#2 浏览器类型(默认写的是scrapy,)USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko 阅读全文
posted @ 2021-03-02 19:59 投降输一半! 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 1 xpath的使用 1 css xpath 通用的2 XPath 使用路径表达式在 XML 文档中选取节点3 lxml模块为例,讲xpath选择(selenium,scrapy 》css/xpath)4 用法:​# / :从当前节点开始选择,子节点# // :从当前节点开始选择,子子节点# @选取 阅读全文
posted @ 2021-03-02 19:57 投降输一半! 阅读(94) 评论(0) 推荐(0) 编辑
摘要: 爬拉勾网职位信息 ​​#https://www.lagou.com/jobs/positionAjax.json?city=%E4%B8%8A%E6%B5%B7&needAddtionalResult=falseimport requests#实际要爬取的urlurl = 'https://www. 阅读全文
posted @ 2021-03-02 19:56 投降输一半! 阅读(868) 评论(0) 推荐(0) 编辑
摘要: 1 bs4 遍历文档树 ​​​'''#遍历文档树:即直接通过标签名字选择,特点是选择速度快,但如果存在多个相同的标签则只返回第一个#1、用法#2、获取标签的名称#3、获取标签的属性#4、获取标签的内容#5、嵌套选择#6、子节点、子孙节点#7、父节点、祖先节点#8、兄弟节点'''​from bs4 i 阅读全文
posted @ 2021-03-02 19:51 投降输一半! 阅读(119) 评论(0) 推荐(0) 编辑