摘要: ScrapyScrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scra... 阅读全文
posted @ 2016-05-12 22:00 大亮头 阅读(582) 评论(0) 推荐(0) 编辑
摘要: requests模块 在Python内置模块(urllib、urllib2、httplib)的基础上进行了高度的封装,从而使得Pythoner更好的进行http请求,使用Requests可以轻而易举的完成浏览器可有的任何操作。Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库。requests使用一、GET请求向 https://... 阅读全文
posted @ 2016-05-11 22:46 大亮头 阅读(11118) 评论(0) 推荐(1) 编辑
摘要: 预备知识tornado框架session要自己写cookie存储在客户端浏览器上,session数据放在服务器上session依赖cookie扩展tornado,返回请求前自定义session面向对象的知识,obj['xxx']==>_getitems__,obj['xxx']=xxx ==> __setitems__, del obj['xxx'] ==> __delitems__1234567... 阅读全文
posted @ 2016-05-11 13:37 大亮头 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 作用对于同一资源定位(URI),根据method不同,对资源进行不同的操作。状态码服务器向用户返回的状态码和提示信息,常见的有以下一些(方括号中是该状态码对应的HTTP动词)。200 OK - [GET]:服务器成功返回用户请求的数据,该操作是幂等的(Idempotent)。201 CREATED - [POST/PUT/PATCH]:用户新建或修改数据成功。202 Accepted - [*]:... 阅读全文
posted @ 2016-04-29 23:03 大亮头 阅读(385) 评论(0) 推荐(0) 编辑
摘要: Django自带的用户认证以前都是用Django自带的用户认证,用户名字段一对一关系对应Django--User表(其实它也是继承了abstractbaseuser)。123from django.contrib.auth.models import Userclass UserInfo(models.Model): username = models.OneToOneField(User)... 阅读全文
posted @ 2016-04-26 15:48 大亮头 阅读(5778) 评论(0) 推荐(1) 编辑
摘要: 一对多--foreignkey应用场景当一张表中创建一行数据时,有一个单选的下拉框(可以被重复选择)例如:创建用户信息时候,需要选择一个用户类型【普通用户】【金牌用户】【铂金用户】等。创建表根据代码中定义的类来自动生成数据库表。1234567class UserType(models.Model): caption = models.CharField(max_length=32) clas... 阅读全文
posted @ 2016-04-23 09:32 大亮头 阅读(688) 评论(0) 推荐(0) 编辑
摘要: 多对多--ManyToMany应用场景在某表中创建一行数据时,有一个可以多选的下拉框(一对一是单选框)例如:创建用户信息,需要为用户指定多个爱好创建表两种方法,一个是利用Django自动为多对多创建关联的第三张表,另一种是自己手动创建关系表。NO.1根据Django中的代码,自动为多对多表创建一个第三张表对应关系12345678class Host(models.Model): hostna... 阅读全文
posted @ 2016-04-23 09:32 大亮头 阅读(4678) 评论(0) 推荐(0) 编辑
摘要: Tornado介绍Tornado 是 FriendFeed 使用的可扩展的异步非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py(豆瓣用这个写的) 或者 Google 的 webapp,不过为了能有效利用非阻塞式服务器环境,这个 Web 框架还包含了一些相关的有用工具 和优化。Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架... 阅读全文
posted @ 2016-04-09 09:37 大亮头 阅读(282) 评论(0) 推荐(0) 编辑
摘要: flask介绍Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flask框架,开发人员基于Flask框架提供的功能对请求进行相应的处理,并返回给用户,如果要返回给用户复杂的内容时,需要借助jinja2模板来实现对模板的处理,即:将模板和数据进行... 阅读全文
posted @ 2016-04-08 23:23 大亮头 阅读(569) 评论(0) 推荐(0) 编辑
摘要: 安装bottle框架只由一个 .py 文件,除了Python的标准库外,其不依赖任何其他模块1234pip install bottleeasy_install bottleapt-get install python-bottlewget http://bottlepy.org/bottle.pybottle介绍Bottle是一个快速、简洁、轻量级的基于WSIG的微型Web框架Bottle框架大... 阅读全文
posted @ 2016-04-08 22:46 大亮头 阅读(574) 评论(0) 推荐(0) 编辑