早安

摘要： session的使用和原理 使用 # 全局引入 from flask import session # 设置secret_key app.secret_key='asdadasdasdasdaz' # 设置session session['']='' # 取值 res=session[''] 原理 阅读全文

摘要： 路由系统 1.1 路由典型写法 #flask 路由写法：基于装饰器，跟djagno有区别，本质其实是一样的，sanic，fastapi就是这种路由方式 # flask路由和djagno路由的区别？ @app.route('/index', methods=['GET'], endpoint='ind 阅读全文

摘要： web框架介绍， Flask介绍和安装 Django大而全(3.x以后支持异步)，flask：小而精，插件的支持 异步框架：Sanic，FastAPI -aiomysql -aioredis -python异步的orm框架 介绍 Flask是一个基于Python开发并且依赖jinja2模板(DTL) 阅读全文

摘要： scrapy解析数据 response对象有css方法和xpath方法： -css中写css选择器 -xpath中写xpath选择 重点 -xpath取文本内容 './/a[contains(@class,"link-title")]/text()' -xpath取属性 './/a[contains 阅读全文

摘要： 动作链(了解) 模拟按住鼠标拖动的效果，或者是在某个标签上的某个位置点击的效果，主要用来做验证码的破解（滑动验证码） from selenium import webdriver from selenium.webdriver import ActionChains import time from 阅读全文

摘要： selenium基本使用 由于requests不能执行js，有的页面内容，我们在浏览器中可以看到，但是请求下来没有。selenium模块：模拟操作浏览器，完成人的行为。 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。 阅读全文

摘要： 代理池搭建 我们使用爬虫爬取网页的可能会被封ip，根据ip限制频率。突破限制，每次发送请求使用代理ip，服务端封ip，只会限制代理ip。 基于网上别人开源的代理池的python代码，自己搭建（本质是爬取的免费代理，验证） -基于flask搭建的服务端：提供一些接口，只要向接口发送请求，就能随机返回一 阅读全文

摘要： 爬虫介绍 所有的软件，90%以上，cs,bs,主流都是用http协议通信，模拟发送http请求。服务端把数据返回(html,xml,json)，数据的清洗（re，bs4），然后是入库（文件，mysql，redis，es，mongo）。 爬虫的本质： 1 模拟发送http请求(requests，req 阅读全文

摘要： celery介绍架构和安装 # celery:芹菜，分布式异步任务框架 # 注意：Celery is a project with minimal funding, so we don’t support Microsoft Windows. Please don’t open any issues 阅读全文

摘要： redis介绍，安装 redis是什么? 是一个软件（用c语言写的，初级版本代码只有1w多行 7.x，公司 5.x，4.x多） 非关系型（mysql关系型数据库；没有外键关联关系）数据库，nosql(not only sql)数据库, 数据都放在内存中(读写速度超级快--》每秒的qps 10w) k 阅读全文