摘要: unittest 单元测试框unittest组件: Test Fixture(测试夹具) 使用测试夹具,可以定义在单个或多个测试执行之前的准备工作和测试执行之后的清理工作; Test Case(测试用例) unittest中执行测试的最小单元,通过验证unittest提供的assert方法来验证一组 阅读全文
posted @ 2020-03-17 23:04 番茄炒蛋548542 阅读(275) 评论(0) 推荐(0) 编辑
摘要: 1.首先请求进入app被序列化至*CTX对象总,并将对象储存在*_request_ctx_stack; 2.在视图函数中使用request调用,request是一个*LocalProxy对象,专门获取*_request_ctx_stack对象中的数据 3.当视图函数结束后,*_request_ctx 阅读全文
posted @ 2020-03-07 15:07 番茄炒蛋548542 阅读(267) 评论(0) 推荐(0) 编辑
摘要: 在一次请求的周期,可以在g中设置值,在本次的请求周期中都可以读取或复制。 相当于是一次请求周期的全局变量,也可以理解为是一个存放全局变量的空间或者类。 from flask import Flask,g app = Flask(__name__,static_url_path='/xx') @app 阅读全文
posted @ 2020-03-07 11:43 番茄炒蛋548542 阅读(1204) 评论(1) 推荐(0) 编辑
摘要: 题目:写出一个程序,接受一个正浮点数值,输出该数值的近似整数值。如果小数点后数值大于等于5,向上取整;小于5,则向下取整。 import math def num(n): n = float(n) print(int(n)) #int()只取整数 decimal = n - int(n) if (d 阅读全文
posted @ 2020-02-28 19:36 番茄炒蛋548542 阅读(269) 评论(0) 推荐(0) 编辑
摘要: ### 5.单线程+加多任务异步协程 **线程池:** ```python from multiprocessing.dummy import Pool import requests import time #同步代码 start = time.time() pool = Pool(3) urls 阅读全文
posted @ 2019-12-02 18:36 番茄炒蛋548542 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 用法解析和示例 ### 3.数据解析(xpath、bs4、正则) **数据解析** - 解析:根据指定的规则对数据进行提取 - 作用:实现聚焦爬虫 - 聚焦爬虫的编码流程: - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 - 数据解析的方式: - 正则 - bs4 - 阅读全文
posted @ 2019-11-30 22:48 番茄炒蛋548542 阅读(378) 评论(0) 推荐(0) 编辑
摘要: ### 2.requests模块 - 概念:一个基于网络请求的模块.作用就是用来模拟浏览器发起请求. - 编码流程: - 指定url - 进行请求的发送 - 获取响应数据(爬取到的数据) - 持久化存储 - 环境的安装: - pip install requests **requests:** - 阅读全文
posted @ 2019-11-30 22:46 番茄炒蛋548542 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 1.http和https http: 概念:clinet和Server进行数据交互的某种形式 常用的头信息: User-Agent:请求载体的身份标识 Connection:close content-type: https: 概念:安全的http协议 证书 对称秘钥加密 在本地用公钥进行加密,然后 阅读全文
posted @ 2019-11-30 22:45 番茄炒蛋548542 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 数据来源某某总局 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904. 阅读全文
posted @ 2019-11-29 01:24 番茄炒蛋548542 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 6.MongoDB 默认端口: MongoDB 默认端口27017 mysql 监听端口 3306 Redis 监听端口 5379 MongoDB启动: 启动服务端: 在cmd中 mongod 数据库存放的默认路劲 默认:C:/data/db or /data/db mongod --dbpath= 阅读全文
posted @ 2019-11-16 22:41 番茄炒蛋548542 阅读(180) 评论(0) 推荐(0) 编辑