摘要：
要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了： 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider；或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCr 阅读全文
摘要：
dumps是将dict转化成str格式，loads是将str转化成dict格式。 dump和load也是类似的功能，只是与文件操作结合起来了。 阅读全文
摘要：
转载自：www.manongjc.com/detail/8-xkpixvxrrbkbqxw.html 安装 pip install loguru 1、输出日志 from loguru import logger logger.debug("这是一条debug日志") 2、输出到文件 from log 阅读全文
摘要：
Redis 字符串操作 string 是 redis 最基本的类型，一个 key 对应一个 value。 还可以设置过期时间 set age 18 ex 60 表示这个字段只存在60秒，60秒后自动从redis中删除，可以使用ttl age来查看还剩多少秒 。此外还可以用expire age 60 阅读全文
摘要：
登录人人网的一个小例子： 1 # -*- coding: utf-8 -*- 2 import scrapy 3 import re 4 5 class RenrenSpider(scrapy.Spider): 6 name = 'renren' 7 allowed_domains = ['renr 阅读全文
摘要：
CrawlSpider继承于Spider类，除了继承过来的属性外（name、allow_domains），还提供了新的属性和方法: rules 在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了特定操作。如果多个rule匹配了相同的链接，则根据规则在本集合中被定义的顺序，第 阅读全文
摘要：
Logging Scrapy提供了log功能，可以通过 logging 模块使用。 可以修改配置文件settings.py，任意位置添加下面两行，效果会清爽很多。 LOG_FILE = "TencentSpider.log" LOG_LEVEL = "INFO" Log levels Scrapy提 阅读全文
摘要：
二分法查找 二分查找又称折半查找，优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 阅读全文