会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
01号实验田
生命不息,学习不止
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
下一页
2020年1月8日
用PHP整理照片和视频文件
摘要: 这个年代,谁要没有几张照片都对不起自己。从有相机到照的第一张照片起,留下了太多美好的记忆,记忆已成过往,回忆却希望永恒。奈何这些年照片太多,粗略看了下,将近70G,从这些个照片里找些回忆,翻找起来太麻烦,作为一个农场主的“老农民”,必须得想个办法整理下。梳理了自己的问题和需求如下: 花了2小时,整理
阅读全文
posted @ 2020-01-08 12:26 5255号蜘蛛精
阅读(417)
评论(0)
推荐(0)
编辑
2020年1月2日
读书-《癌症.真相:医生也在读》-我所认识的癌症
摘要: 导语:癌症发生的根本原因是基因突变。每个人体内大概有两万多个基因,已知真正和癌症有直接关系的大概有一百来个,这些致癌基因中突变一个或者几个,癌症发生的概率就会大大提高。癌症的发生是一个多因子、多步骤的复杂过程,分为致癌、促癌、演进三个过程,与年龄、不合理膳食、吸烟、职业暴露、环境污染、感染、遗传因素
阅读全文
posted @ 2020-01-02 17:24 5255号蜘蛛精
阅读(344)
评论(0)
推荐(0)
编辑
2019年12月31日
scrapy-redis组件配置用例
摘要: # DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"### from scrapy_redis.scheduler import Scheduler# from scrapy_redis.queue import PriorityQ
阅读全文
posted @ 2019-12-31 15:49 5255号蜘蛛精
阅读(188)
评论(0)
推荐(0)
编辑
2019年12月27日
Scrapy+seleninu抓取内容同时下载图片几个问题
摘要: 使用了Scrapy+Seleninm+Scrapy_redis抓取了详情页的内容和图片,贴出需要完善和出问题的代码,做部分解析和说明。 # -*- coding: utf-8 -*-import time;from scrapy.linkextractors import LinkExtractor
阅读全文
posted @ 2019-12-27 18:28 5255号蜘蛛精
阅读(303)
评论(0)
推荐(1)
编辑
2019年12月19日
Scrapy Crawl 运行出错 AttributeError: 'xxxSpider' object has no attribute '_rules' 的问题解决
摘要: 后来仔细看了下,跟官方不一样的就是自己重写了init初始化方法,而根据这个提示的日志,应该是覆盖了CrawlSpider的init方法但是没有调用父类的init导致_rules这个属性没有声明导致的。所以如果我们的Spider是从CrawlSpider继承过来的,并且自己需要实现__init__ 方
阅读全文
posted @ 2019-12-19 11:01 5255号蜘蛛精
阅读(1132)
评论(0)
推荐(0)
编辑
2019年12月18日
Spider、xmlSpider、FeedSpider、CrawlSpider、RedisSpider分别作用
摘要: Spider classscrapy.spider.Spider Spider是最简单的spider,也是scrapy的模板类的basic模板所对应的spider,直接想通过scrapy genspider模板生成实例代码,就是这个模板生成的哦,查询scrapy的模板都有什么的话,scrapy ge
阅读全文
posted @ 2019-12-18 17:16 5255号蜘蛛精
阅读(590)
评论(0)
推荐(0)
编辑
2019年12月17日
Scrapy中xpath用到中文报错
摘要: 问题描述 links = sel.xpath('//i[contains(@title,"置顶")]/following-sibling::a/@href').extract() 报错:ValueError: All strings must be XML compatible: Unicode o
阅读全文
posted @ 2019-12-17 18:44 5255号蜘蛛精
阅读(358)
评论(0)
推荐(0)
编辑
xpath无法匹配tbody标签
摘要: 做抓取内容时,发现table里有tbody定位不准的问题。用Xpath Helper反复测试都没有问题。内容如下: //*[@id="b_1_1"]/table/tbody/tr[2]/td[2]/ 在程序里反复测试都得不到正确的值。 修改成: //*[@id="b_1_1"]/table//tr[
阅读全文
posted @ 2019-12-17 16:38 5255号蜘蛛精
阅读(1017)
评论(0)
推荐(0)
编辑
2019年12月11日
读书-《不凶不吼教出好孩子》-管教孩子应该先管好自己
摘要: 导语:每个孩子都可能成为天才,而孩子的命运往往取决于父母的教育 "世上没有教不好的孩子,只有不会教的父母"。看这本书时,我一直在不停的思考,不停的反思以往在孩子教育的种种"又凶又吼"的教育方法。凡此往往,我现在觉得,我其实一直都应该算是一个不称职的爸爸,在孩子眼里,我也许是个坏爸爸。这让我十分内疚,
阅读全文
posted @ 2019-12-11 17:43 5255号蜘蛛精
阅读(453)
评论(0)
推荐(0)
编辑
2019年12月6日
Markdown基本语法
摘要: Markdown是一种纯文本格式的标记语言。通过简单的标记语法,它可以使普通文本内容具有一定的格式。 相比WYSIWYG编辑器 优点: 1、因为是纯文本,所以只要支持Markdown的地方都能获得一样的编辑效果,可以让作者摆脱排版的困扰,专心写作。 2、操作简单。比如:WYSIWYG编辑时标记个标题
阅读全文
posted @ 2019-12-06 14:34 5255号蜘蛛精
阅读(153)
评论(0)
推荐(0)
编辑
上一页
1
2
3
下一页
公告