摘要: scrapy设置ua池 设置后在setting启用 scrapy设置ip池 scrapy 设置自定义cookie:class LaogouwangSpider(scrapy.Spider): scrapy提供五种日志级别。 阅读全文
posted @ 2019-02-17 13:34 一个大柚子 阅读(828) 评论(0) 推荐(0) 编辑
摘要: 目前,一般实现文件图片上传的方式都是有一个按钮,点击之后直接调用操作系统自身的弹框,选择文件后,实现上传。因为Selenium不支持调用操作系统的操作,所以这种情况下,利用Selenium无法完成图片上传,这时,我们可以选择autoit实现。 autoit可以操控控件 下载地址 :https://w 阅读全文
posted @ 2019-02-14 15:33 一个大柚子 阅读(499) 评论(0) 推荐(0) 编辑
摘要: 使用scrapy爬取整个网站的图片数据。并且使用 CrawlerProcess 启动。 1 # -*- coding: utf-8 -* 2 import scrapy 3 import requests 上面的是spider文件 上面的是item文件 这上面是管道文件 这是在setting里面的, 阅读全文
posted @ 2019-02-11 21:21 一个大柚子 阅读(1112) 评论(1) 推荐(0) 编辑
摘要: 默认情况下,浏览器访问一个网站的时候,同时还会向服务器请求“/favicon.ico”这个URL,目的是获取网站的图标。 若是没有配置的话,Django就会返回一个404错误,并且浏览器接收到这个404错误后不会显示出来。使用需要生成一个ico文件。 可以在http://www.bitbug.net 阅读全文
posted @ 2019-01-15 09:39 一个大柚子 阅读(2172) 评论(0) 推荐(0) 编辑
摘要: 安装xadmin pip 安装 pip install xadmin 可能会报错 pip install git+git://github.com/sshwsfc/xadmin.git 安装后要使用需要在setting里面注册三个app 修改根目录的urls.py文件 然后需要新建一个adminx. 阅读全文
posted @ 2019-01-10 14:44 一个大柚子 阅读(801) 评论(1) 推荐(2) 编辑
摘要: django.template.exceptions.TemplateSyntaxError: Invalid block tag on line 589: 'static', expected 'endblock'. Did you forget to register or load this 阅读全文
posted @ 2019-01-02 15:29 一个大柚子 阅读(2725) 评论(0) 推荐(0) 编辑
摘要: Windows下路径是用‘\\’表示也可以使用'/',但是Linux下路径都是‘/’表示。 因为python是跨平台的,有时候程序迁移会出现错误。 解决办法1 可全部使用‘/’表示 解决办法2 我们可以使用os.sep方法,他是一个变量,在Windows下,他等于‘\\’,在Linux下,他等于‘/ 阅读全文
posted @ 2019-01-02 11:47 一个大柚子 阅读(8487) 评论(0) 推荐(1) 编辑
摘要: 我们的目标网站是这个http://awehome.com.cn,登录页面是这个http://awehome.com.cn/tenant/login 搜索我们使用request的session来保存会话并且进入登录页面,他是这样的 我们先来获取验证码,直接通过html.text来获取是找不到他里面的图 阅读全文
posted @ 2018-12-29 17:05 一个大柚子 阅读(2184) 评论(1) 推荐(1) 编辑
摘要: 需要通过ajax实现局部刷新 js代码 简单来说就是通过ajax请求后端,然后将后端发送过来的数据写入到里面 html代码 Django的views处理 通过这样我们可以直接跟后台交互数据实现ajax 阅读全文
posted @ 2018-12-27 10:27 一个大柚子 阅读(522) 评论(0) 推荐(0) 编辑
摘要: Django在HTML里面书写的模板语言不能使用这种方法注释,这样注释实际依然有效 第一种使用模板标签{% comment %}注释,这是块注释 第二种是使用#号注释,这是单行单行的注释 阅读全文
posted @ 2018-12-21 11:32 一个大柚子 阅读(3056) 评论(0) 推荐(0) 编辑