摘要: 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 那么如何编写出高效的程序。 import requests def fetch_async(url): response = requests.get(url) return 阅读全文
posted @ 2019-03-17 16:55 初遇ぃ 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 关于Python的爬虫框架Scrapy 请移步至这篇博文——>>> Python爬虫框架——S 阅读全文
posted @ 2019-03-17 16:54 初遇ぃ 阅读(214) 评论(0) 推荐(0) 编辑
摘要: Redis Redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/rem 阅读全文
posted @ 2019-03-17 16:53 初遇ぃ 阅读(740) 评论(0) 推荐(0) 编辑
摘要: 前言 Tornado是使用Python编写的一个强大的、可扩展的Web服务器。它在处理严峻的网络流量时表现得足够强健,但却在创建和编写时有着足够的轻量级,并能够被用在大量的应用和工具中。 Tornado是基于Bret Taylor和其他人员为FriendFeed所开发的网络服务框架,当FriendF 阅读全文
posted @ 2019-03-17 16:52 初遇ぃ 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 前言 DjangoORM数据层提供各种途径优化数据的访问。 如果事先理解Django的优化技巧,开发过程中稍稍留意,后期会省不少的工作量。 正题 一,利用标准数据库优化技术 传统数据库优化技术博大精深,不同的数据库有不同的优化技巧,但重心还是有规则的。在这里算是题外话,挑两点通用的说说: 索引,给关 阅读全文
posted @ 2019-03-17 16:51 初遇ぃ 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 一、字段 AutoField(Field) - int自增列,必须填入参数 primary_key=True BigAutoField(AutoField) - bigint自增列,必须填入参数 primary_key=True 注:当model中如果没有自增列,则自动会创建一个列名为id的列 fr 阅读全文
posted @ 2019-03-17 16:50 初遇ぃ 阅读(160) 评论(0) 推荐(0) 编辑
摘要: Django路由映射FBV 和 CBV django中请求处理方式有2种:FBV(function base views) 和 CBV(class base views),换言之就是一种用函数处理请求,一种用类处理请求。 FBV # url.py from django.conf.urls impo 阅读全文
posted @ 2019-03-17 16:49 初遇ぃ 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 新手上路 Django的Form主要具有一下几大功能: 生成HTML标签 验证用户数据(显示错误信息) HTML Form提交保留上次提交数据 初始化页面显示内容 通过Form验证有俩种形式 Form表单提交 验证、并可以保留上次内容 Ajax提交 验证、无需上次内容(Ajax提交数据页面不会刷新) 阅读全文
posted @ 2019-03-17 16:49 初遇ぃ 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 本节介绍Django 简介,安装 基本配置及学习 路由(Urls)、视图(Views)、模板(Template)、Model(ORM)、 简介 Django 是一个由 Python 写成的开放源代码的 Web 应用框架。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的,即是 C 阅读全文
posted @ 2019-03-17 16:47 初遇ぃ 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 点击点击...... Django【基础篇】 Django【进阶篇】 Django【Form组件】 Django【Model进阶补充】 Django【性能优化建议】 点击点击...... Django【基础篇】 Django【进阶篇】 Django【Form组件】 Django【Model进阶补充】 阅读全文
posted @ 2019-03-17 16:46 初遇ぃ 阅读(125) 评论(0) 推荐(0) 编辑
//一下两个链接最好自己保存下来,再上传到自己的博客园的“文件”选项中 //一下两个链接最好自己保存下来,再上传到自己的博客园的“文件”选项中