2019年2月18日
Scrapy-Xpath 实例
摘要： Refer to :https://doc.scrapy.org/en/latest/topics/selectors.html#topics-selectors 阅读全文
posted @ 2019-02-18 21:22 点点滴滴汇聚成河 阅读(529) 评论(0) 推荐(0) 编辑
需求分析典型失败案例
摘要： 本篇博文记录错误的需求分析对项目的重大影响： 需求：生成年度报表，每个月对报表数据更新，要求历史数据不能丢失 错误的需求分析：按月生成报表，不能在一张报表中看到每个月的数据，而是切割成了12张报表 阅读全文
posted @ 2019-02-18 20:37 点点滴滴汇聚成河 阅读(1336) 评论(0) 推荐(0) 编辑
记录-Web自动化使用场景
摘要： 本篇随笔想要记录在什么样的测试场景下，我们应该使用Web自动化用例： 场景一：新增、修改、查询的校验场景用例，每一个应用系统都跟增删改功能脱离不开，那涉及到这部分功能，就必不可少有一堆校验用例，这堆用例又多又琐碎，而当我们需要重复测试这部分功能时，测试人员的心理那是一个烦啊，纯粹的手工测试，你不测吧 阅读全文
posted @ 2019-02-18 20:32 点点滴滴汇聚成河 阅读(496) 评论(0) 推荐(0) 编辑
2019年2月17日
成长-论计划的重要性及该如何做计划
摘要： 听了太多分享要做目标、要做计划，之前做单一项目时计划都其实很敷衍很形式 然而最近手头上项目越来越多时，我渐渐发现一个问题每天都感觉有那么多工作要做，每天都非常非常忙，不过当上级需要了解我的项目进展时，汇报往往不尽如人意，且每项工作都没有忙出个所以然来。 痛定思痛，经验教训总结，其实当手头上有很多工作 阅读全文
posted @ 2019-02-17 14:32 点点滴滴汇聚成河 阅读(882) 评论(0) 推荐(0) 编辑
2019年2月16日
Scrapy的运作流程
摘要： 1 引擎：Hi！Spider, 你要处理哪一个网站？ 2 Spider：老大要我处理xxxx.com。 3 引擎：你把第一个需要处理的URL给我吧。 4 Spider：给你，第一个URL是xxxxxxx.com。 5 引擎：Hi！调度器，我这有request请求你帮我排序入队一下。 6 调度器：好的 阅读全文
posted @ 2019-02-16 12:07 点点滴滴汇聚成河 阅读(168) 评论(0) 推荐(0) 编辑
Scrapy架构图
摘要： Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Dow 阅读全文
posted @ 2019-02-16 12:05 点点滴滴汇聚成河 阅读(186) 评论(0) 推荐(0) 编辑
python3.7 Scrapy在Windows平台的安装
摘要： 1.安装python并配置好环境变量 2.更新pip ，这步操作时遇到了问题，更新超时了，所以加上--default-timeout来解决超时问题：python -m pip --default-timeout=100 install --upgrade pip 3.安装lxml ：pip ints 阅读全文
posted @ 2019-02-16 11:31 点点滴滴汇聚成河 阅读(1110) 评论(0) 推荐(0) 编辑