摘要:
对 "内涵8的内涵段子" 爬取每个分页上面显示的描述信息,按回车键继续对下一页进行爬取,输入quit退出爬取。 思路: 1. 爬取每个页面的源码 2. 对源码进行处理(使用正则),获取指定信息 3. 保存信息 源码如下: 代码测试: 阅读全文
摘要:
爬虫的核心思想:模拟浏览器正常访问服务器,一般情况只要浏览器能访问的,都可以爬,如果被反爬,则考虑反复测试添加Request Header数据,知道可以爬取为止。 反爬思路目前知道的有:User Agent,Cookie,Referer,访问速度,验证码,用户登录及前端js代码验证等。本例遇到js验 阅读全文
摘要:
一 Fiddler的安装和配置 打开工具Fiddler,在Tools选项里面点击options 配置完后,重启Fiddler 二 谷歌浏览器插件SwitchyOmega的安装使用 SwitchyOmega的github下载地址:https://github.com/FelisCatus/Switch 阅读全文
摘要:
django 模板语言共分四部分:变量 标签 注释 过滤器。 在标签里面使用for循环时,如何获取当前for循环次数,使用模板变量{{forloop.counter}} 阅读全文
摘要:
问题:发现导入另外一个应用里面的文件报错,如下: 解决:把项目根目录daylifresh标记为SourceRoot 结果如下:不再报错 阅读全文
摘要:
环境配置:ubuntu 16.04,Django 1.8.2,MySQL python 1.2.5 目的是为了了解模型类的定义和其对应数据库里面表的关系 实测发现: 1. 关于模型类和数据库里面的表关系,模型类里面定义的类属性是为了生成数据库里面的表结构使用的,类似mysql里面创建一个表。 1. 阅读全文
摘要:
部署的整个过程共分为四步,重点是后3步:安装配置uwsgi,安装配置 nginx服务器,收集静态文件。 测试的核心思想,通过是否为静态文件的url请求,nginx服务器区别对待。如url为127.0.0.1/static/a1.jpg,则由nginx服务器直接返回图片;如果url为非127.0.0. 阅读全文
摘要:
原理: 在开发环境里面,关于django 1.8.2项目下settings.py文件里面的DEBUG的值设置,如果设置DEBUG=True时,可以成功加载显示静态文件,当设置DEBUG=False时,是不能成功加载显示静态文件的。而静态文件在生产环境里面,只有完成部署时才可以成功加载显示的。 问题: 阅读全文
摘要:
问题:一个文件夹c下的模块test要引用另一个包b里面模块test2的函数add,如下图 解决办法:经过前辈oyljerry等的指点迷津,要在sys.path添加包a的路径,永久添加则在/usr/lib/python2.7/dist-packages添加一个pth文件。如临时添加测试,可以使用列表函 阅读全文
摘要:
1 在保存django项目的projects目录里面进入虚拟环境h1,创建一个项目test2 2 打开pycharm,创建一个p工程目录project,该工程目录为~/projects 3 使用pycharm配置django项目test2的虚拟环境h1 1 在保存django项目的projects目 阅读全文