代码改变世界

scrapy研究探索(三)-————scrapy核心架构与代码运行分析

2017-03-05 11:32 by 小宇15561566132, 238 阅读, 0 推荐, 收藏, 编辑
摘要:学习曲线总是这样,简单例子“浅尝”,在从理论+实践慢慢攻破。理论永远是基础,切记“勿在浮沙筑高台”。 一. 核心架构 关于核心架构,在官方文档中阐述的非常清晰,地址:http://doc.scrapy.org/en/latest/topics/architecture.html。 英文有障碍可查看中 阅读全文

scrapy研究(二)————爬w3school.com.cn

2017-03-05 11:29 by 小宇15561566132, 214 阅读, 0 推荐, 收藏, 编辑
摘要:下午被一个问题困扰了好一阵,最终使用另一种方式解决。 开始教程二,关于Scrapy安装、介绍等请移步至教程(一)(http://blog.csdn.net/u012150179/article/details/32343635)。 在开始之前假设你已经成功安装一切所需,整怀着一腔热血想要抓取某网站。 阅读全文

scrapy研究(一)-————基础入门

2017-03-05 11:26 by 小宇15561566132, 222 阅读, 0 推荐, 收藏, 编辑
摘要:目录(?)[+] 一.Scrapy介绍 经常发现使用python编写爬虫的相关文章,可以使用urllib2便可以简单的实现,当然如果涉及到更进阶的东西比如爬取时的网站认证、内容的分析处理、重复抓取、分布式爬取等等也时间很复杂的事。所以实现一个鲁棒,功能丰富的爬虫也并不是容易的事。 本着不重复造轮子的 阅读全文

pip的安装,更新,卸载模块以及使用方法

2017-03-04 17:04 by 小宇15561566132, 4272 阅读, 0 推荐, 收藏, 编辑
摘要:在Python的学习过程中,肯定会遇到很多安装模块的地方,可以使用easy_install安装,但是easy_install相对于pip而言,最大的缺陷就是它所安装的模块是不能够卸载的,其他功能是和pip一样的。下面介绍一下pip的安装:安装我总结了两个方法 1 通过下载安装文件来安装 2 通过ea 阅读全文

Java多态对象的类型转换和动态绑定

2016-12-28 15:30 by 小宇15561566132, 1598 阅读, 0 推荐, 收藏, 编辑
摘要:Java多态对象的类型转换这里所说的对象类型转换,是指存在继承关系的对象,不是任意类型的对象。当对不存在继承关系的对象进行强制类型转换时,java 运行时将抛出 java.lang.ClassCastException 异常。 在继承链中,我们将子类向父类转换称为“向上转型”,将父类向子类转换称为“ 阅读全文