12 2019 档案

scrapy-redis组件配置用例
摘要：# DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"### from scrapy_redis.scheduler import Scheduler# from scrapy_redis.queue import PriorityQ 阅读全文
posted @ 2019-12-31 15:49 5255号蜘蛛精 阅读(188) 评论(0) 推荐(0) 编辑
Scrapy+seleninu抓取内容同时下载图片几个问题
摘要：使用了Scrapy+Seleninm+Scrapy_redis抓取了详情页的内容和图片，贴出需要完善和出问题的代码，做部分解析和说明。 # -*- coding: utf-8 -*-import time;from scrapy.linkextractors import LinkExtractor 阅读全文
posted @ 2019-12-27 18:28 5255号蜘蛛精 阅读(307) 评论(0) 推荐(1) 编辑
Scrapy Crawl 运行出错 AttributeError: 'xxxSpider' object has no attribute '_rules' 的问题解决
摘要：后来仔细看了下，跟官方不一样的就是自己重写了init初始化方法，而根据这个提示的日志，应该是覆盖了CrawlSpider的init方法但是没有调用父类的init导致_rules这个属性没有声明导致的。所以如果我们的Spider是从CrawlSpider继承过来的，并且自己需要实现__init__ 方 阅读全文
posted @ 2019-12-19 11:01 5255号蜘蛛精 阅读(1145) 评论(0) 推荐(0) 编辑
Spider、xmlSpider、FeedSpider、CrawlSpider、RedisSpider分别作用
摘要：Spider classscrapy.spider.Spider Spider是最简单的spider，也是scrapy的模板类的basic模板所对应的spider，直接想通过scrapy genspider模板生成实例代码，就是这个模板生成的哦，查询scrapy的模板都有什么的话，scrapy ge 阅读全文
posted @ 2019-12-18 17:16 5255号蜘蛛精 阅读(603) 评论(0) 推荐(0) 编辑
Scrapy中xpath用到中文报错
摘要：问题描述 links = sel.xpath('//i[contains(@title,"置顶")]/following-sibling::a/@href').extract() 报错：ValueError: All strings must be XML compatible: Unicode o 阅读全文
posted @ 2019-12-17 18:44 5255号蜘蛛精 阅读(360) 评论(0) 推荐(0) 编辑
xpath无法匹配tbody标签
摘要：做抓取内容时，发现table里有tbody定位不准的问题。用Xpath Helper反复测试都没有问题。内容如下： //*[@id="b_1_1"]/table/tbody/tr[2]/td[2]/ 在程序里反复测试都得不到正确的值。 修改成： //*[@id="b_1_1"]/table//tr[ 阅读全文
posted @ 2019-12-17 16:38 5255号蜘蛛精 阅读(1026) 评论(0) 推荐(0) 编辑
读书-《不凶不吼教出好孩子》-管教孩子应该先管好自己
摘要：导语:每个孩子都可能成为天才，而孩子的命运往往取决于父母的教育 "世上没有教不好的孩子，只有不会教的父母"。看这本书时，我一直在不停的思考，不停的反思以往在孩子教育的种种"又凶又吼"的教育方法。凡此往往，我现在觉得，我其实一直都应该算是一个不称职的爸爸，在孩子眼里，我也许是个坏爸爸。这让我十分内疚， 阅读全文
posted @ 2019-12-11 17:43 5255号蜘蛛精 阅读(458) 评论(0) 推荐(0) 编辑
Markdown基本语法
摘要：Markdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。 相比WYSIWYG编辑器 优点： 1、因为是纯文本，所以只要支持Markdown的地方都能获得一样的编辑效果，可以让作者摆脱排版的困扰，专心写作。 2、操作简单。比如:WYSIWYG编辑时标记个标题 阅读全文
posted @ 2019-12-06 14:34 5255号蜘蛛精 阅读(154) 评论(0) 推荐(0) 编辑
读书-《刻意练习》天才与庸才的距离
摘要：导语:我们拥有更大的力量来掌控自己的人生，但我们以前却从来没有意识到 许多人，包括我以前，都是相信自己是个庸才，和所谓的天才有太高，太远的距离。生来就是个不起眼的角色，怎么努力也没有用。但《刻意练习》这本书，告诉我们，天才和庸才的距离只是差一个《刻意练习》的距离。我们每个人生来都拥有更大的力量来掌控 阅读全文
posted @ 2019-12-06 12:10 5255号蜘蛛精 阅读(339) 评论(0) 推荐(0) 编辑
读书-《第一次买保险就买对》保险我们这样买
摘要：在没有读这本书《第一次买保险就买对》之前，我对保险是有些许偏见的.虽说知道保险的意义所在，也自己糊里糊涂的买过保险，但总还是没有对保险有个系统完整的认识，也就更谈不上对自己和家人有个很好的保险规划。只到看了这本书《第一次买保险就买对》，这本由简七理财倾心奉献的保险之良籍，才丰富了我对于保险的认知。就 阅读全文
posted @ 2019-12-06 12:09 5255号蜘蛛精 阅读(171) 评论(0) 推荐(0) 编辑
读书-《断舍离》做减法来生活
摘要：初入手《断舍离》，我是有很大的期许的。在通勤的地铁上，不止一次看到有人品读这本书，引起我的好奇心，粗略的了解了书的内容。我就笃定，这是当下最适合我读的一本书。 “断舍离是将住所中＇不需要、不合适、不舒服的东西＇去除掉，替换成＇需要、合适、舒服＇的东西。通过整理物品来整理生活和工作，重新理顺自己和物品 阅读全文
posted @ 2019-12-06 12:08 5255号蜘蛛精 阅读(222) 评论(0) 推荐(0) 编辑
读书-《富爸爸穷爸爸》的财商教育经
摘要：一年多以来，爱上了阅读，不局限于方向的阅读。财经，传记，历史，心理学，以及当下最火的人工智能，各种感兴趣的方向，均有涉猎，且还在持续，无可求药的，喜欢上了阅读后心潮澎湃跌宕起伏的感觉。由于阅读比较宽泛，也只是简单做了线注，没有读书笔记的缘故，记住了多少，并不知道。说是没有印象？也不尽然，有些已经刻到 阅读全文
posted @ 2019-12-06 12:05 5255号蜘蛛精 阅读(191) 评论(0) 推荐(0) 编辑
Unable to open underlying table which is differently defined or of non-MyISAM type or doesn't exist
摘要：用Mysql做日志表表平行拆分时，偶尔出现Unable to open underlying table which is differently defined or of non-MyISAM type or doesn't exist，而迷茫。一直找不到原因。 其实，出现这种问题的原因归结起来 阅读全文
posted @ 2019-12-06 11:25 5255号蜘蛛精 阅读(2451) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示