快乐糖果屋 - 博客园

三 web爬虫，scrapy模块介绍与使用

摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

posted @ 2018-01-03 10:19 快乐糖果屋阅读(637) 评论(0) 推荐(0) 编辑

二 web爬虫，scrapy模块以及相关依赖模块安装

摘要：当前环境python3.5 ，windows10系统 Linux系统安装在线安装，会自动安装scrapy模块以及相关依赖模块手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块安装以下模块 1、lxml-3.8.0.tar.gz （XML处理库） 2、Twisted-17.5.0. 阅读全文

posted @ 2018-01-03 10:16 快乐糖果屋阅读(414) 评论(0) 推荐(0) 编辑

一 web爬虫，requests请求

摘要： requests请求，就是用python的requests模块模拟浏览器请求，返回html源码模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求一、不需要用户登录或者验证的请求这种比较简单，直接利用requests模块发一个请求即可拿到html源码得到阅读全文

posted @ 2018-01-03 10:14 快乐糖果屋阅读(488) 评论(0) 推荐(1) 编辑

Linux 常用命令大全

摘要： 1.ls [选项] [目录名 | 列出相关目录下的所有目录和文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 -a 列出包括.a开头的隐藏文件的所有文件 -A 通-a，但不列出"."和".." -l 列出文件的详细信息 -c 根据ctime排序显示 -t 根据文件修改时间排序阅读全文

posted @ 2017-12-31 10:46 快乐糖果屋阅读(1751) 评论(0) 推荐(0) 编辑

HTTP响应状态码参考

摘要： 1xx:信息 100 Continue 服务器仅接收到部分请求，但是一旦服务器并没有拒绝该请求，客户端应该继续发送其余的请求。 101 Switching Protocols 服务器转换协议：服务器将遵从客户的请求转换到另外一种协议。 2xx:成功 200 OK 请求成功（其后是对GET和POST请阅读全文

posted @ 2017-12-30 13:52 快乐糖果屋阅读(154) 评论(0) 推荐(0) 编辑

python-进程，线程，协程

摘要： 1.进程和线程进程定义：进程是正在运行的程序的实例，进程是内核分配资源的最基本的单元，而线程是内核执行的最基本单元，进程内可以包含多个线程，只要记住这三个要点，就可以很清楚的理清进程和线程的行为模式。程序在运行的时候是需要操作系统分配内存和其他硬件资源的，所以将运行的程序抽象为进程，一开始操作系阅读全文

posted @ 2017-12-26 23:24 快乐糖果屋阅读(226) 评论(0) 推荐(0) 编辑

SVN图形管理工具-Submint

摘要： SVN图形管理工具-Submint 1.安装svn及相关依赖包 yum install subversion httpd mod_dav_svn apr-util-sqlite 2.下载submin wget https://supermind.nl/submin/current/submin-2. 阅读全文

posted @ 2017-12-26 23:22 快乐糖果屋阅读(465) 评论(0) 推荐(0) 编辑

python-Socket网络编程

摘要： 1.类的特殊成员方法 1.1__doc__ 表示类的描述信息 1.2__module__和__class__ __module__表示当前操作的对象在那个模块 __class__表示当前操作的对象所属类 1.3__init__构造函数，通过类创建对象时，自动触发 1.4__del__析构方法，函数执阅读全文

posted @ 2017-12-26 22:51 快乐糖果屋阅读(252) 评论(0) 推荐(0) 编辑

python基础-pickle与shelve

摘要： pickle Example 写入文件读取文件 shelve Example 写入文件读取文件阅读全文

posted @ 2017-12-26 22:36 快乐糖果屋阅读(487) 评论(0) 推荐(0) 编辑

python-面向对象

摘要： Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。面向对象三大特性：封装、继承、多态 1.面向对象简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。类变量：类变量阅读全文

posted @ 2017-12-26 22:33 快乐糖果屋阅读(238) 评论(0) 推荐(0) 编辑