摘要:
1. 认证之APIView 在聊APIView之前, 我们先重温一下django2.x的CBV流程 a. 对于django而言, 当浏览器请求到达之后,按照规则首先会经过各大中间件(Middleware)(process_request, process_view, process_response 阅读全文
摘要:
Linux(ubuntu)上python2与python3共存环境下,安装virtualenvwrapper后, 其环境变量被自动设置为VIRTUALENVWRAPPER_PYTHON=/usr/bin/python 该地址指向Python2的解释器,现在更改成Python3就可以了,具体操作如下: 阅读全文
摘要:
1. 什么是中间件(Django)? 对Django而言,中间件就是继承自MiddlewareMixin(位于django.utils.deprecation模块下)的类,该类对请求(request)及响应(response)的过程按照规则执行相应的控制方法,达到访问控制,权限管理,请求认证,数据缓 阅读全文
摘要:
由于这段时间需要有关学校的三级联动插件,找了很久没有找到合适的,所以去教育部官网下载了一份全国普通高校名单(2019年), 这里附上解析该xls文件的代码 全国普通高校json包 1.格式A 可以去该网站解析一下,有助于熟悉该结构形式 2.格式B(文件) 好了, 记录一下, 继续学习可 阅读全文
摘要:
在这里我们使用CrawlSpider爬虫模板, 通过其过滤规则进行抓取, 并将抓取后的结果存入mysql中,下面直接上代码: jianshu_spider.py items.py pipelines.py model.py 阅读全文
摘要:
1. scrapy.CrawlSpider scrapy框架提供了多种类型的spider,大致分为两类,一类为基本spider(scrapy.Spider),另一类为通用spider(scrapy.spiders.CrawlSpider、scrapy.spiders.XMLFeedSpider、sc 阅读全文
摘要:
1. 什么是scrapy? 其官网是这样简述的,“A Fast & Powerful Scraping &Crawling Framework ”, 并且其底层以twisted作为网络架构( Python实现的基于事件驱动的网络引擎框架),所以爬取效率及性能出色。 定义·:Scrapy是一个为了爬取 阅读全文
摘要:
1.selenium Selenium 本是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。而这一特性为爬虫开发提供了一个选择及方向,由于其本身依赖于浏览器,所以使用Python的selenium库的前提是:需要下载相应的浏览器驱动程序,这里附上C 阅读全文
摘要:
django+uwsgi+nginx部署 1.介绍: 在网上看了很多教程,但自己部署了很久都没有成功,这篇博文记录自己所踩过得坑。 2.环境: 3.下载uwsgi以及nginx (注:如果下载异常出现权限问题,在命令前添加sudo) 4.创建Django项目 例如:项目名为mysite 说明:Lin 阅读全文
摘要:
一、什么是Ajax? ajax全称为Asynchronous JavaScript and XML (异步的JavaScript和XML),是一种创建交互式网页应用的网页开发技术方案,它的出现使得传统的web应用程序,从一次请求得到完整的被渲染后的网页文件 到 网页局部刷新的一次改变。 tips:a 阅读全文