摘要： 1.常用功能 面几个函数都有spider参数，spider有name属性，是爬虫的名字，当一个文件里有多个spider和多个Pipeline类时可以通过这个来确保spider与Pipeline类对应起来。 2.DropItem 如果抓取到的房子价格为空，就可以用此方法丢掉。 当有多个pipeline 阅读全文

摘要： scrapy提供了一个强大的工具类ItemLoader，本文通过一个实例介绍一些常用用法。 以链家的一个具体房源为目标，页面大概长这样的 我们的目标是提取出红框中的信息。 编写items 编写spider ItemLoader有三个常用的函数，add_xpath，add_css，add_value， 阅读全文

摘要： processor scrapy提供了一个processors类，里面有下列几种方法:Join,TakeFirst,MapCompose,Compose,Identity,SelectJmes 对这几种方法的用法简单介绍一下： TakeFirst是取第一个不为空的元素 input--output I 阅读全文

摘要： 前面学习了python爬虫：scrapy框架xpath和css选择器语法 接下来学习爬虫爬取网页： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以 阅读全文

摘要： Xpath基本语法 一、常用的路径表达式： 举例元素标签为artical标签 二、谓语 谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点 三、通配符 Xpath通过通配符来选取未知的XML元素 四、取多个路径 使用“|”运算符可以选取多个路径 五、Xpath轴 轴可以定义相对于当前 阅读全文

摘要： 安装：http://www.cnblogs.com/wupeiqi/articles/6229292.htmlLinuxpip3 install scrapyWindowsa. pip3 install wheelb. 下载twisted http://www.lfd.uci.edu/~gohlke 阅读全文

摘要： yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel wge 阅读全文

摘要： def make_averager(): series = [] def averager(new_value): series.append(new_value) total = sum(series) return total/len(series) return averager avg = make_aver... 阅读全文

摘要： import bisectprint(dir(bisect))看看模块的结构：#['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'bi 阅读全文

摘要： 列表推导，笛卡尔乘积 元祖不仅仅是不可变的列表 元组和记录 元组拆包 还可以用*把一个可迭代对象拆开作为函数的参数 具名元组 阅读全文