文章分类 - python
1
python學習
摘要：Scrapy框架 这里主要介绍Scrapy自定义命令，部分源代码执行过程解析。 15 scrapy自定義命令 在spider同級創建目录：commands,保存我们自定义的命令。 创建crawlall.py文件，实现一次启动所有spider。 创建对应类CrawlallCommand继承Scarpy
阅读全文
摘要：Scrapy框架 这里主要介绍Scrapy的中间件，以及自定制中间件。 1、自定义代理中间件（在下载中间件中配置）； 2、下载中间件； 3、spider中间件； 12 Scrapy请求代理 设置http请求代理，其实就是设置请求头参数，meta参数和headers参数。 配置settings.py的
阅读全文
摘要：Scrapy框架 这里主要介绍Scrapy给我们提供的拓展接口，我们可以在scrapy执行的任何时刻，添加我们自己的代码。拓展执行的时刻，通过Scrapy提供的Signal控制。 8Scrapy拓展 修改settings.py，将extensions解除注释，我们可以查看scrapy.extensi
阅读全文
摘要：Scrapy框架 scrapy框架学习进阶： 这里接scrapy框架（1）的内容， 1、使用Request将新的请求加入请求队列; 2、使用pipline和item对返回页面信息持久化； 3、Scrapy的url去重源码； 4、cookie的使用； 4Request递归访问 使用Request,进行
阅读全文
摘要：Scrapy框架 Scrapy是一个爬虫框架，集成包括下载页面，解析页面，多请求并发，深度遍历页面连接等功能。 1Scrapy安装 1、Linux下执行pip install scrapy 2、windows下安装 首先安装wheel模块，因为Scrapy的安装需要用到wheel模块 在网站：htt
阅读全文
摘要：Python爬虫 在网站上运行自动化脚本，获取相关信息。爬虫分为定向和非定向，定向指定爬取网站类型，非定向脚本自动爬取网站类型。 爬虫过程 1、请求网站地址，拿到网站的html代码； 2、筛选出对应链接地址，信息； 使用data=requests.get(网址),获取网站。data.text可以拿到
阅读全文
摘要：图片验证码 生成图片验证码，使用到pillow组件。使用pip3 install pillow命令进行安装。 示例： 创建一个html页面，login.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title
阅读全文
摘要：Tornado拓展内容 通过Tornado的tonado.web.RequestHandler类提供的hook,我们可以拓展Handler(Django视图函数)的处理内容。 RequestHandler类源代码： def _initialize(self) -> None: pass initia
阅读全文
摘要：Python的Web框架Tornado Tornado安装 Tornado安装命令：pip3 install tornado 安装过程出现错误，升级pip 根据提示执行命令：python –m pip install –upgrade pip 我们这里因为同时安装python2.7和python3.
阅读全文
摘要：Django的Model补充 Modle的定义外键属性的参数。简单写法直接写表名，on_delete：删除时是否级联。也可以定义时，设置各种属性。 示例： publish = models.ForeignKey(to="Publish",to_field="id",on_delete=models.
阅读全文
摘要：Django的文件上传 编写对应文件上传form表单，使用input,类型为file,form表单的enctype属性为：multipart/form-data。 示例： 编写html文件，fileUpload.html <!DOCTYPE html> <html lang="en"> <head>
阅读全文
摘要：Django的Form组件 使用Django的Form组件，对用户输入数据进行验证，生成HTML代码。 使用Form组件步骤： 1、创建一个Verifi验证类，继承froms.Form; 2、类中，根据表单栏位name属性定义每个提交信息验证条件 3、创建类的实例化对象，将request.POST或
阅读全文
摘要：Django分页组件 Django有自己的分页功能模块，我们可以使用Django自带的分页类实现分页。 使用paginator，实现分页。 示例： 新建page.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <
阅读全文
摘要：Django使用Ajax和序列化 Ajax可以在不刷新页面的情况下，局部更新页面数据。使用Ajax需要引入JQuery库，使用JQuery的Ajax。 下载JQuery库，http://www.jq22.com/jquery-info122 解压得到jquery-3.4.1.js和jquery-3.
阅读全文
摘要：Django请求生命周期 HTTP请求,实际上发送的是一段字符串，字符串分为请求头和请求体。当服务器返回也是返回一段字符串，分为响应头和响应体。 Django请求过程： 1.浏览器输入url地址，提交请求，或者form表单提交请求； 2.根据urls的路由，查找视图函数，也可以是类 3.视图函数处理
阅读全文
摘要：Django的Cookie和Session 使用cookie和session保存个人信息，cookie和session是一些键值对保存信息。通过Cookie登陆控制验证。使用request.COOKIES保存提交的cookie信息。 使用response设置cookie,response.set_c
阅读全文
摘要：Django的Admin Django提供的一个管理员模块，可以通过页面操作Django应用使用的数据库表。 创建管理员账号： 使用python manage.py createsuperuser。 输入用户名，密码，邮箱等信息。 修改admin.py文件 from django.contrib i
阅读全文
摘要：Django的ORM ORM ORM：对象关系映射，是通过使用描述对象和数据库之间映射的元数据，将面向对象语言程序中的对象自动持久化到关系数据库中。 表与表直接关系：一对一，一对多，多对多。 Python的ORM，Python的类操作数据库表，类对应数据库中的表，类对象就是表中一条记录。 Djang
阅读全文
摘要：Django加载静态资源 静态文件引入： setting.py文件增加： STATIC_URL = '/static/' #静态文件绝对路径 STATICFILES_DIRS = ( os.path.join(BASE_DIR,"statics"), ) 方式1：直接/static路径，hello.
阅读全文
摘要：HTTP介绍 Http协议：超文本传输协议，定义浏览器和网络服务器之间的通信规则。Http协议规定客户端(浏览器)发送给服务器的内容格式，也规定服务器返回内容的格式。 Http协议包括请求协议和响应协议。Http协议是无状态协议，一次请求/响应结束后，服务就完成了，不保存状态，再次又是新的请求/响应
阅读全文
1
