08 2022 档案
摘要：session的使用和原理 使用 # 全局引入 from flask import session # 设置secret_key app.secret_key='asdadasdasdasdaz' # 设置session session['']='' # 取值 res=session[''] 原理
阅读全文
摘要：路由系统 1.1 路由典型写法 #flask 路由写法：基于装饰器，跟djagno有区别，本质其实是一样的，sanic，fastapi就是这种路由方式 # flask路由和djagno路由的区别？ @app.route('/index', methods=['GET'], endpoint='ind
阅读全文
摘要：web框架介绍， Flask介绍和安装 Django大而全(3.x以后支持异步)，flask：小而精，插件的支持 异步框架：Sanic，FastAPI -aiomysql -aioredis -python异步的orm框架 介绍 Flask是一个基于Python开发并且依赖jinja2模板(DTL)
阅读全文
摘要：scrapy解析数据 response对象有css方法和xpath方法： -css中写css选择器 -xpath中写xpath选择 重点 -xpath取文本内容 './/a[contains(@class,"link-title")]/text()' -xpath取属性 './/a[contains
阅读全文
摘要：动作链(了解) 模拟按住鼠标拖动的效果，或者是在某个标签上的某个位置点击的效果，主要用来做验证码的破解（滑动验证码） from selenium import webdriver from selenium.webdriver import ActionChains import time from
阅读全文
摘要：selenium基本使用 由于requests不能执行js，有的页面内容，我们在浏览器中可以看到，但是请求下来没有。selenium模块：模拟操作浏览器，完成人的行为。 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。
阅读全文
摘要：代理池搭建 我们使用爬虫爬取网页的可能会被封ip，根据ip限制频率。突破限制，每次发送请求使用代理ip，服务端封ip，只会限制代理ip。 基于网上别人开源的代理池的python代码，自己搭建（本质是爬取的免费代理，验证） -基于flask搭建的服务端：提供一些接口，只要向接口发送请求，就能随机返回一
阅读全文
