摘要: 1.类的生成语法 一个类就是对拥有相同属性的对象的抽象。在类中定义的是这些对象都具备的属性。一个对象就是一个类的实例化 上面的__init__叫做构造函数,在类被调用时,这个方法(在类中不叫函数了,叫方法)会自动执行,进行一些初始化的动作。self相当于创建对象的对象自身。如下: jack = Te 阅读全文
posted @ 2019-01-23 20:32 炫风真是风 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 1.urllib模块 设置代理的demo代码如下: 在上面的代码中,先借助request的ProxyHandler方法设置代理,参数是字典类型,键的名称是协议类型,值是代理。需要注意的是代理值的前面要加上协议(http或者https)。当请求时http时,调用http代理,是HTTPS时调用http 阅读全文
posted @ 2019-01-20 19:40 炫风真是风 阅读(667) 评论(0) 推荐(0) 编辑
摘要: import requests,time from urllib.parse import urlencode import os from hashlib import md5 class ToutiaoSpider: def __init__(self): self.params = { 'offset': None, ... 阅读全文
posted @ 2019-01-20 15:51 炫风真是风 阅读(669) 评论(0) 推荐(0) 编辑
摘要: 有时候在抓取页面的时候,我们得到的结果和浏览器中看到的的结果是不一样的。在浏览器中可以正常看到的界面,使用requests不能够正确的得到。这是因为requests得到的是原始的html文档,而浏览器的页面则是经过JavaScript处理后生成的数据,这些数据的来源很多,其中有一种是使用Ajax技术 阅读全文
posted @ 2019-01-19 16:28 炫风真是风 阅读(1787) 评论(1) 推荐(0) 编辑
摘要: 一.Set操作,Set集合就是不允许重复的列表 1.sadd(name,values) 2.scard(name) 3.sdiff(keys, *args) 4.sdiffstore(dest, keys, *args) 5.sinter(keys, *args) 6.sinterstore(des 阅读全文
posted @ 2019-01-16 19:43 炫风真是风 阅读(7224) 评论(0) 推荐(0) 编辑
摘要: 1.lpush(name,value) 在name的头部添加元素,没有则创建。 2.rpush(name,value) 在name的尾部添加元素。 3.lpushx(name,value) 向已经存在的name头部添加元素。 4. rpushx(name,value) 向已经存在的name尾部添加元 阅读全文
posted @ 2019-01-15 20:44 炫风真是风 阅读(753) 评论(0) 推荐(0) 编辑
摘要: 1.hset hset(name,key,value) 设置name对应的hash中的一个键值对,不存在则创建;存在则修改。 2.hsetenx hsetnx(name,key,value) 设置那么中对应的键值对,是只能新建攸,亲。不能修改 3.hmset hmset(name,mapping), 阅读全文
posted @ 2019-01-14 22:56 炫风真是风 阅读(1479) 评论(0) 推荐(0) 编辑
摘要: 1.set set(name,value,ex=None,px=None,nx=true,xx=false) 设置name对应的值为value,类型为string。不存在创建,存在则修改 参数: ex:过期时间(秒) px:过期时间(毫秒) nx:设置为TRUE时,只进行创建操作。 xx:设置为TR 阅读全文
posted @ 2019-01-12 15:48 炫风真是风 阅读(522) 评论(0) 推荐(0) 编辑
摘要: 一.redis的安装 redis是一个基于内存的key-value数据库,支持的数据类型有string、hash、list和set以及zset。这些数据类型都支持push/pop、add/remove等操作,这些操作都是原子性的。因此可以实现高并发的数据访问。 1.将下载的zip文件放在某个文件夹中 阅读全文
posted @ 2019-01-07 23:25 炫风真是风 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 1.安装引入模块 1.1安装mysql模块 1.2在文件中引入模块 import pymysql 2.Connection对象 2.1用于建立与数据库的连接句柄 具体的用法如下: conn=pymysql.connect(参数列表) 参数host:连接的mysql主机,如果本机是'localhost 阅读全文
posted @ 2018-12-25 20:53 炫风真是风 阅读(221) 评论(0) 推荐(0) 编辑