2020年2月23日

python从入门到放弃自学笔记2-scrapy框架中的parse()方法工作机制及应用

摘要： 1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；2. 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。3. scrapy 阅读全文

posted @ 2020-02-23 23:02 宥宁 阅读(2721) 评论(0) 推荐(0) 编辑

描绘六个质量属性的应用场景

摘要： 1.可用性 刺激源：用户 刺激：用户访问数量过多，导致系统崩溃或反应缓慢 制品：服务器 环境：正常模式 响应：系统检测到访问量过大，记录情况并通知用户 响应度量：短时间内恢复系统正常运行 2.可修改性 刺激源：开发人员 刺激：希望修改功能 制品：淘宝网站 环境：设计时 响应：查找需要修改的位置，进行 阅读全文

posted @ 2020-02-23 20:43 宥宁 阅读(222) 评论(0) 推荐(0) 编辑

python从入门到放弃自学笔记1-scrapy框架的简单实例

摘要： 最近做的爬取比较多，查看网上的代码很多都用到了scrapy框架。下面是一个简单的scrapy爬取实例（环境为python3.8+pycharm）： （1）右击项目目录->open in terminal输入下面代码创建Scapy初始化项目： scrapy startproject qsbk （2）建 阅读全文

posted @ 2020-02-23 14:56 宥宁 阅读(220) 评论(0) 推荐(0) 编辑

导航