12 2022 档案

flask框架基础分析
摘要：# flask框架基础分析 # ## web框架原理 ~~~python 1.bs 架构 bs架构其实就是我们利用socket写的一个服务端 符合wsgi协议 WSGI:web Server Gateway Interface ,WSGI不是服务器，也不是python模块，框架，API或者任何软件， 阅读全文
posted @ 2022-12-09 20:38 Joseph-bright 阅读(140) 评论(0) 推荐(0) 编辑
分布式爬虫框架部署
摘要：# 分布式爬虫框架部署 ## 1 加代理，cookie，header，加入selenium ### 1.1 加代理 ```python # 在爬虫中间件中 def get_proxy(self): import requests res=requests.get('http://192.168.1. 阅读全文
posted @ 2022-12-08 22:02 Joseph-bright 阅读(78) 评论(0) 推荐(0) 编辑
scrapy架构的初步试用
摘要：# scrapy架构的初步试用 ## scrapy架构的基本介绍 ~~~python # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎 阅读全文
posted @ 2022-12-07 21:16 Joseph-bright 阅读(20) 评论(0) 推荐(0) 编辑
selenium的使用与scrapy的简介
摘要：# selenium的使用与scrapy的简介 * ## Xpath的使用 ~~~python doc = ''' Example website Name: My image 1 Name: My image 2 Name: My image 3 Name: My image 4 Name: My 阅读全文
posted @ 2022-12-06 22:10 Joseph-bright 阅读(60) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示