摘要: 这个年代,谁要没有几张照片都对不起自己。从有相机到照的第一张照片起,留下了太多美好的记忆,记忆已成过往,回忆却希望永恒。奈何这些年照片太多,粗略看了下,将近70G,从这些个照片里找些回忆,翻找起来太麻烦,作为一个农场主的“老农民”,必须得想个办法整理下。梳理了自己的问题和需求如下: 花了2小时,整理 阅读全文
posted @ 2020-01-08 12:26 5255号蜘蛛精 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 导语:癌症发生的根本原因是基因突变。每个人体内大概有两万多个基因,已知真正和癌症有直接关系的大概有一百来个,这些致癌基因中突变一个或者几个,癌症发生的概率就会大大提高。癌症的发生是一个多因子、多步骤的复杂过程,分为致癌、促癌、演进三个过程,与年龄、不合理膳食、吸烟、职业暴露、环境污染、感染、遗传因素 阅读全文
posted @ 2020-01-02 17:24 5255号蜘蛛精 阅读(344) 评论(0) 推荐(0) 编辑
摘要: # DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"### from scrapy_redis.scheduler import Scheduler# from scrapy_redis.queue import PriorityQ 阅读全文
posted @ 2019-12-31 15:49 5255号蜘蛛精 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 使用了Scrapy+Seleninm+Scrapy_redis抓取了详情页的内容和图片,贴出需要完善和出问题的代码,做部分解析和说明。 # -*- coding: utf-8 -*-import time;from scrapy.linkextractors import LinkExtractor 阅读全文
posted @ 2019-12-27 18:28 5255号蜘蛛精 阅读(303) 评论(0) 推荐(1) 编辑
摘要: 后来仔细看了下,跟官方不一样的就是自己重写了init初始化方法,而根据这个提示的日志,应该是覆盖了CrawlSpider的init方法但是没有调用父类的init导致_rules这个属性没有声明导致的。所以如果我们的Spider是从CrawlSpider继承过来的,并且自己需要实现__init__ 方 阅读全文
posted @ 2019-12-19 11:01 5255号蜘蛛精 阅读(1132) 评论(0) 推荐(0) 编辑
摘要: Spider classscrapy.spider.Spider Spider是最简单的spider,也是scrapy的模板类的basic模板所对应的spider,直接想通过scrapy genspider模板生成实例代码,就是这个模板生成的哦,查询scrapy的模板都有什么的话,scrapy ge 阅读全文
posted @ 2019-12-18 17:16 5255号蜘蛛精 阅读(590) 评论(0) 推荐(0) 编辑
摘要: 问题描述 links = sel.xpath('//i[contains(@title,"置顶")]/following-sibling::a/@href').extract() 报错:ValueError: All strings must be XML compatible: Unicode o 阅读全文
posted @ 2019-12-17 18:44 5255号蜘蛛精 阅读(358) 评论(0) 推荐(0) 编辑
摘要: 做抓取内容时,发现table里有tbody定位不准的问题。用Xpath Helper反复测试都没有问题。内容如下: //*[@id="b_1_1"]/table/tbody/tr[2]/td[2]/ 在程序里反复测试都得不到正确的值。 修改成: //*[@id="b_1_1"]/table//tr[ 阅读全文
posted @ 2019-12-17 16:38 5255号蜘蛛精 阅读(1017) 评论(0) 推荐(0) 编辑
摘要: 导语:每个孩子都可能成为天才,而孩子的命运往往取决于父母的教育 "世上没有教不好的孩子,只有不会教的父母"。看这本书时,我一直在不停的思考,不停的反思以往在孩子教育的种种"又凶又吼"的教育方法。凡此往往,我现在觉得,我其实一直都应该算是一个不称职的爸爸,在孩子眼里,我也许是个坏爸爸。这让我十分内疚, 阅读全文
posted @ 2019-12-11 17:43 5255号蜘蛛精 阅读(453) 评论(0) 推荐(0) 编辑
摘要: Markdown是一种纯文本格式的标记语言。通过简单的标记语法,它可以使普通文本内容具有一定的格式。 相比WYSIWYG编辑器 优点: 1、因为是纯文本,所以只要支持Markdown的地方都能获得一样的编辑效果,可以让作者摆脱排版的困扰,专心写作。 2、操作简单。比如:WYSIWYG编辑时标记个标题 阅读全文
posted @ 2019-12-06 14:34 5255号蜘蛛精 阅读(153) 评论(0) 推荐(0) 编辑