摘要:
断言方法框架总结:https://blog.csdn.net/qq1124794084/article/details/51668672 如果单元测试通过,说明我们测试的这个函数能够正常工作。如果单元测试不通过,要么函数有bug,要么测试条件输入不正确,总之,需要修复使单元测试能够通过。 单元测试通 阅读全文
摘要:
1.接触过几种爬虫模块: urllib, requests 2.robots协议是什么: requests模块没有使用硬性的语法对该协议进行生效。 scrapy硬性语法对该协议进行了生效 3.如何处理验证码: 云打码平台 打码兔 4.掌握几种数据解析的方式: 正则、xpath、 bs4 5.如何爬取 阅读全文
摘要:
UA池(每一次请求采用池中的随机UA) a) 在中间件类中进行导包 b)封装一个基于UserAgentMiddleware的类,且重写该类 例: middleware.py settings.py 代理池(IP 每次请求的IP地址随机从IP池中获取) middleware.py 阅读全文
摘要:
大多数在主体内容放在js代码里,想要爬取网页的整个内容 在scrapy里面应用selenium wangyiPro.py 通过spider传递 middleware.py 里面加入selenium操作 阅读全文
摘要:
1.基于RedisSpider实现的分布式爬虫(网易新闻) a) 代码修改(爬虫类): i.导包: from scrapy_redis.spiders import RedisSpider ii. 将爬虫类的父类修改成RedisSpider iii. 将起始url列表注释,添加一个redis_key 阅读全文
摘要:
在编程的过程中,我们经常会重复性的写了很多的代码,比如一个页面的框架部分,这样我又多少个页面就得写上多少次,这样既不好维护,也不够高效,所以我们引出了html的模板继承部分。 1、写好一个html文件。 2、下面有个新的html文件需要继承上面这个html。 直接在这个新的html文件的最顶端,写上 阅读全文
摘要:
1.{% load staticfiles %} 2.{% load rbac %} {% menu_html request %} 这部分就会变成用inclusion_tag生成的menu_html 左侧菜单的生成templatetags目录下的rbac.py 功能;生成页面中的左侧菜单用incl 阅读全文
摘要:
作者:SlashBoyMr_wang
链接:https://www.jianshu.com/p/b23c77852e33
來源:简书 阅读全文
摘要:
https://www.cnblogs.com/PythonHomePage/p/7634394.html 阅读全文
摘要:
1.如果在centos里新创建的工程,需要对templates在settings里面配置路径 settings.py static静态文件 需在nginx配置里添加路径(只在settings.py 里配置无效) 阅读全文