摘要：
Crawlspider 一：Crawlspider简介 CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类，其设计原则只是为 阅读全文
摘要：
爬取视频详情：http://www.id97.com/ 创建环境： movie.py 爬虫文件的设置： items.py里面的设置： pipelines.py管道里面设置： 日志等级设置： 手动设置日志等级，在settings里面设置（可以写在任意位置） 将制定日志信息，写入到文件中进行存储： 阅读全文
摘要：
Scrapy 第一步：安装 linux： pip3 install scrapy windows: 1:pip3 install wheel ，安装wheel模块 2.下载twisted:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted(根据pyt 阅读全文
摘要：
selenium：可以模拟鼠标进行一些操作 实例1:实现自动打开google浏览器，进行百度搜索，并关闭浏览器 PhanmJs：无界面浏览器 阅读全文
摘要：
1：概念： 爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 2：python爬虫与其他语言的比较： （1）php爬虫弊端：多进程多线程支持的不好 （2）java:代码臃肿，重构成本较大 （3）C/c++:不明智的选择，C语言纯面向过程 （4）Python:学习成本低，较多模 阅读全文
摘要：
from django.db import models # Create your models here. from django.contrib.auth.models import AbstractUser #用户 class UserInfo(AbstractUser): nid=mode 阅读全文
摘要：
中间件 一：什么是中间件 是介于request与response处理之间的一道处理过程 二：中间件的作用 如果你想修改请求，例如被传送到view中的HttpRequest对象。 或者你想修改view返回的HttpResponse对象，这些都可以通过中间件来实现。 可能你还想在view执行之前做一些操 阅读全文
摘要：
Django下面ajax运行流程简易图解： 实现的效果是：用户点击页面的提交按钮（按钮后面为其绑定请求到视图的其他页面，并且有返回值），从而来模拟用户向页面其页面发送get请求，通过ajax拿到页面返回的信息，并在当前页面进行弹框做出相应 第一步：用户正常访问页面 第二步：点击按钮，运行ajax体内 阅读全文
摘要：
建立表之间的关联关系： models.py里面对表的字段及外键关系的设置如下： 执行后生成的表格关系图，如下： 增加数据： 1.一对一表的增加 2.多对多表的增加 解除表之间的绑定关系（remove、clear、set） set（ [ 可迭代对象] ）的用法图解： 用法一： 用法二： 多对多关系表查 阅读全文
摘要：
配置以下两处，可以方便我们直接右键运行tests.py一个文件，实现对数据库操作语句的调试： settings里面的设置： tests.py的配置 数据库的查看操作： 数据库的删除操作： 数据库的更改操作： Django创建多张表并建立表之间的关系： 创建环境的注意点如下： models.py里面的 阅读全文