爬虫过程中获取不到列表页的url
例1:
采集某网站的时候根据网页页面显示的url链接提取的, 最后始终没有数据返回。
主要原因是页面源码中标签的 href 属性值和页面上的不一样。
页面上显示是‘http://www.xxx.org.cn/crs/xhjj/index.jhtml’
源码中显示是‘http://www.xxx.org.cn:80/crs/xhjj/index.jhtml’
对比就发现多了一个80:
所以写正则的时候就一直没有匹配到,不能只看网页,需要在源码中看链接
例2:
采集某网站的时候也是根据网页上的信息定位文章内容标签的,
在页面上内容包含在 tr【4】 下面, 用xpath helper也能在页面上显示出来,但是就是打印不出来,
在页面的 tr【3】下面显示的是
<tr> <td class="bt_content"> <div id="zoom" style="text-align:left"> <!--<$[信息内容]>begin--><!--ZJEG_RSS.content.begin--><meta name="ContentStart">
</div>
</td>
</tr>
原因是在源码中内容是在tr【3】下面显示的, 所以抓取页面信息的时候还是要根据源码来定位。