随笔分类 - python 爬虫
爬虫代码
摘要:最近用xpath,刚开始有很多问题 用测试代码跑的时候经常获取不到值。 第一种情况: 一开始通过使用字符串进行解析,通过page.xpath()进行元素获取,找不到值,后面发现这个type是“lxml.etree._Element” ,而不是“lxml.etree._ElementTree” 获取所
阅读全文
摘要:xpath xpath的作用就是两个字“定位”,运用各种方法进行快速准确的定位,推荐两个非常有用的的firefox工具:firebug和xpath checker 使用介绍 定位 1.依靠自己属性,文本定位 //td[text()='xxx'] //div[contains(@class,'xxx'
阅读全文
摘要:原先用的是selenium(后面有时间再写),这是第一次使用scrapy这个爬虫框架,所以记录一下这个心路历程,制作简单的爬虫其实不难,你需要的一般数据都可以爬取到。 下面是我的目录,除了main.py以外,都是代码自动生成的 :)。 各个目录作用: 1、sina是我自己创建的文件夹用来盛放整个项目
阅读全文