android 开发:网页爬虫获取腾讯财经滚动新闻

服务器端做爬虫我是使用Jsoup这个jar包来对网页源码进行分析,但是在使用getElementsByClass获取新闻列表的时候,却始终为空。我直接查看了网页源码,发现源码上根本没有新闻列表的信息。然后我使用firebug去分析新闻列表的ajax地址,直接访问改地址,Access denied。。。

使用firebug分析请求头信息发现居然还有我的qq号在Cookie属性里面,直接复制请求头的所有信息,放入HttpURLconnection的setProperty里面,再次访问,成功获取qq新闻列表的json格式信息。

posted @ 2015-04-03 09:01  湖心北斗  阅读(976)  评论(0编辑  收藏  举报