Never&say&die - 博客园

2019年10月19日

摘要： [TOC] 二次封装rest_framework.response的Response类阅读全文

posted @ 2019-10-19 16:56 Never&say&die 阅读(81) 评论(0) 推荐(0) 编辑

摘要： [TOC] 什么是XML XML是可扩展标记语言（e X tensible M arkup L anguage），标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。被设计用来传输和存储数据，实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单阅读全文

posted @ 2019-10-19 16:26 Never&say&die 阅读(78) 评论(0) 推荐(0) 编辑

绕过登录爬取天猫商品

该文被密码保护。阅读全文

posted @ 2019-10-19 16:15 Never&say&die 阅读(1) 评论(0) 推荐(0) 编辑

爬虫实例

摘要： [TOC] 1. 爬校花网图片：这是一个很基础的爬虫小例子，爬取校花网的图片。其中用了requests html库：先获取每页的url，再爬取每页中的图片进行解析处理，最后存入到文件中 2. 豆瓣电影排行信息爬虫获取豆瓣电影信息：在这里对电影进行筛选是通过url携带参数。所以先获取参数信息。阅读全文

posted @ 2019-10-19 15:55 Never&say&die 阅读(175) 评论(0) 推荐(0) 编辑

2019年10月18日

requests-html库

摘要： [TOC] 常用的解析语法解析库：pyquery、re、bs4、lxml 在这里介绍的是 requests html 库 CSS选择器类选择器：.类名 id选择器： id值标签选择器：标签名后代选择器：选择器1 选择器2 子选择器：选择器1 选择器2 属性选择器： [属性名] [属性名=属性阅读全文

posted @ 2019-10-18 01:31 Never&say&die 阅读(378) 评论(0) 推荐(0) 编辑

2019年10月17日

requests请求响应相关参数

摘要： [TOC] 请求库requests 1. Get请求相关参数 2. Post请求相关参数 3. request请求 4. 响应相关参数 5. 自动保存cookie的请求阅读全文

posted @ 2019-10-17 17:20 Never&say&die 阅读(741) 评论(0) 推荐(1) 编辑

爬虫介绍

摘要： [TOC] 爬虫是什么爬虫是一个模仿浏览器行为，向服务器发送请求并且获得数据的应用程序。而互联网好比一张大网，数据是网上的猎物，爬虫就是蜘蛛爬虫的流程发起请求获取数据解析数据存储数据浏览器行为抓包工具：fiddler、mitmproxy Elements：浏览器渲染后的代码，爬虫阅读全文

posted @ 2019-10-17 16:07 Never&say&die 阅读(185) 评论(0) 推荐(0) 编辑

2019年10月16日

Flask快速入门(12) — local与偏函数

摘要： [TOC] 多个线程修改同一个数据，复制多份变量给每个线程用，比如我们用的request，怎样让不同的请求有自己的request。就是为每个线程开辟一块空间进行数据存储不用threading.local 使用threading.local 通过字典自定义threading.local（函数）面向阅读全文

posted @ 2019-10-16 21:31 Never&say&die 阅读(158) 评论(0) 推荐(0) 编辑

Flask快速入门(11) — 请求流程

摘要： [TOC] flask项目整个请求流程其实就是执行：wsgi_app()方法中调用的full_dispatch_request()，包括请求扩展和真正的视图函数 full_dispatch_request() 在分析这段代码之前，先回顾下请求扩展函数（1）@app.before_first_req 阅读全文

posted @ 2019-10-16 19:18 Never&say&die 阅读(1075) 评论(0) 推荐(1) 编辑

Flask快速入门(10) — 中间件

摘要：我们发现在执行方法的时候，最终执行run_simple，最后执行app()，也就是执行方法。在里面，执行的是，那么我们希望在执行它本身的wsgi_app之前或者之后做点事情。这就是中间件的应用所以，我们先用MyMiddleware类中的保存app之前的wsgi_app方法，然后转化成M 阅读全文

posted @ 2019-10-16 18:37 Never&say&die 阅读(229) 评论(0) 推荐(0) 编辑

Lift is short, You need Python