摘要：
框架 框架就是可以做到将前端、后端、数据库三者给融合到一起 web应用的简介 """Django框架是一个专门来开发web项目的框架""" 1、web应用是什么？ # web应用程序是一种可以通过web访问的应用程序，也就是说只需要一个浏览器即可，不需要其他的软件了 2、应用程序有C/S和B/S两种 阅读全文
摘要：
静态文件配置 # 登陆功能 """ 我们将html文件默认都放在templates文件夹下 我们将网站所使用的静态文件默认都放在static文件夹下 静态文件 前端已经写好了的 能够直接调用使用的文件 网站写好的js文件 网站写好的css文件 网站用到的图片文件 第三方前端框架 ... 拿来就可以直 阅读全文
摘要：
requests模块快速使用 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib(内置模块)，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 阅读全文
摘要：
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = 阅读全文
摘要：
搜索文档数 find_all：找所有，返回列表 find：找一个 Tag对象 from bs4 import BeautifulSoup import re html_doc = """ <html><head><title>The Dormouse's story</title></head> < 阅读全文
摘要：
selenium等待元素加载 # 代码操作非常快 》有的标签还没加载 》找就找不到 》就会报错 # 设置等待：显示等待，隐士等待 bro.implicitly_wait(10) # 找某个标签，如果找不到，最多等待10s selenium元素操作 # 点击操作 click() # 写文字 send_ 阅读全文
摘要：
打码平台 数字字母类的验证码可以使用python模块：ddddocr 计算题，成语题，滑块。。。：第三方打码平台，人工操作 打码平台 -云打码，超级鹰 超级鹰SDK import requests from hashlib import md5 class ChaojiyingClient(obje 阅读全文
摘要：
scrapy解析数据 # 运行爬虫程序 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) ### 阅读全文
摘要：
爬虫中间件和下载中间件 爬虫中间件 # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by Scrapy to cre 阅读全文