摘要：
redis之django-redis redis之django-redis redis之django-redis 自定义连接池 这种方式跟普通py文件操作redis一样，代码如下： views.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 import redis from 阅读全文
摘要：
深刻理解Python中的元类(metaclass) 深刻理解Python中的元类(metaclass) 译注：这是一篇在Stack overflow上很热的帖子。提问者自称已经掌握了有关Python OOP编程中的各种概念，但始终觉得元类(metaclass)难以理解。他知道这肯定和自省有关，但仍然 阅读全文
摘要：
【Django错误】OSError: raw write() returned invalid length 14 (should have been between 0 and 7) 错误环境 使用Django框架创建完models类的之后，用python manage.py migrate命令来 阅读全文
摘要：
linux 下创建虚拟环境 python virtualenv是一个可以在同一计算机中隔离多个python版本的工具。有时，两个不同的项目可能需要不同版本的python，如 python2.7 / python3.6 ，但是如果都装到一起，经常会导致问题。virtualenv能够用于创建独立的Pyt 阅读全文
摘要：
django自带权限机制 1. Django权限机制概述 权限机制能够约束用户行为，控制页面的显示内容，也能使API更加安全和灵活；用好权限机制，能让系统更加强大和健壮。因此，基于Django的开发，理清Django权限机制是非常必要的。 1.1 Django的权限控制 Django用user, g 阅读全文
摘要：
Django 2.0 新款URL配置详解 Django2.0发布后，很多人都拥抱变化，加入了2的行列。但是和1.11相比，2.0在url的使用方面发生了很大的变化，下面介绍一下： 一、实例 先看一个例子： 1 2 3 4 5 6 7 8 9 10 from django.urls import pa 阅读全文
摘要：
网络爬虫之scrapy框架详解 twisted介绍 Twisted是用Python实现的基于事件驱动的网络引擎框架，scrapy正是依赖于twisted， 它是基于事件循环的异步非阻塞网络框架，可以实现爬虫的并发。 twisted是什么以及和requests的区别： request是一个python 阅读全文
摘要：
中间件的简介 1.中间件的作用 在scrapy运行的整个过程中,对scrapy框架运行的某些步骤做一些适配自己项目的动作. 例如scrapy内置的HttpErrorMiddleware,可以在http请求出错时做一些处理. 2.中间件的使用方法 配置settings.py.详见scrapy文档 ht 阅读全文
摘要：
爬虫之Xpath详解 XPath介绍 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 因此，对 XPath 的 阅读全文
摘要：
scrapy执行流程 整体流程 - 引擎找到要执行的爬虫，并执行爬虫的 start_requests 方法，并的到一个 迭代器。- 迭代器循环时会获取Request对象，而request对象中封装了要访问的URL和回调函数。- 将所有的request对象(任务)放到调度器中，用于以后被下载器下载。- 阅读全文