上一页 1 ··· 5 6 7 8 9 10 下一页
摘要: 在上文中我们说了:爬虫就是请求网站并提取数据的自动化程序。其中请求,提取,自动化是爬虫的关键!下面我们分析爬虫的基本流程 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求,也就是发送一个Request,请求可以包含额外的header等信息,等待服务器响应 获取响应内容如果服务器能正常响应,会 阅读全文
posted @ 2019-04-30 19:14 帅某人是也 阅读(285) 评论(0) 推荐(0) 编辑
摘要: 整理这番外篇的原因是希望能够让爬虫的朋友更加理解这块内容,因为爬虫爬取数据可能很简单,但是如何高效持久的爬,利用进程,线程,以及异步IO,其实很多人和我一样,故整理此系列番外篇 一、进程 程序并不能单独和运行只有将程序装载到内存中,系统为他分配资源才能运行,而这种执行的程序就称之为进程。程序和进程的 阅读全文
posted @ 2019-04-30 19:11 帅某人是也 阅读(205) 评论(0) 推荐(0) 编辑
摘要: Python的WEB框架 Bottle Bottle是一个快速、简洁、轻量级的基于WSIG的微型Web框架,此框架只由一个 .py 文件,除了Python的标准库外,其不依赖任何其他模块。 Bottle框架大致可以分为以下部分: 路由系统,将不同请求交由指定函数处理 模板系统,将模板中的特殊语法渲染 阅读全文
posted @ 2019-04-30 09:34 帅某人是也 阅读(555) 评论(0) 推荐(0) 编辑
摘要: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Requests Python标准库中提供了:urllib、urllib2、httplib等模 阅读全文
posted @ 2019-04-30 09:05 帅某人是也 阅读(471) 评论(0) 推荐(0) 编辑
摘要: Model 到目前为止,当我们的程序涉及到数据库相关操作时,我们一般都会这么搞: 创建数据库,设计表结构和字段 使用 MySQLdb 来连接数据库,并编写数据访问层代码 业务逻辑层去调用数据访问层执行数据库操作 import MySQLdb def GetList(sql): db = MySQLd 阅读全文
posted @ 2019-04-29 16:59 帅某人是也 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 一、安装依赖 CentOS 第一步: 第二步: 第三步:RPM包安装PIL Windows 第一步: 第二步: 更多安装文档:http://pillow.readthedocs.org/en/latest/installation.html 二、下载源码执行 第一步: 源码下载:猛击这里 第二步: 阅读全文
posted @ 2019-04-27 15:07 帅某人是也 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 网站目录持续更新 阅读全文
posted @ 2019-04-26 15:36 帅某人是也 阅读(312) 评论(1) 推荐(0) 编辑
摘要: Django的Form主要具有一下几大功能: 生成HTML标签 验证用户数据(显示错误信息) HTML Form提交保留上次提交数据 初始化页面显示内容 小试牛刀 1、创建Form类 2、View函数处理 3、生成HTML <form method="POST" enctype="multipart 阅读全文
posted @ 2019-04-25 10:10 帅某人是也 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 使用过Django的同学应该都比较清楚,Django的表单功能是十分强大的,可以完成数据的校验等功能。 下面讲下常用的表单类型。我们讲下创建表单到前台可以正常显示的步骤: 一、创建表单类(可以直接在views.py文件中创建,也可以自己再新建一个forms.py的模块,然后写到这个模块下,我是单独创 阅读全文
posted @ 2019-04-24 17:12 帅某人是也 阅读(476) 评论(0) 推荐(0) 编辑
摘要: AJAX AJAX 一 AJAX预备知识:json进阶 1.1 什么是JSON? JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。JSON是用字符串来表示Javascript对象; 请大家记住一句话:json字符串就是js对象的一种表现形式(字符串的形式 阅读全文
posted @ 2019-04-05 14:32 帅某人是也 阅读(519) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 下一页