使用Jsoup进行疫情数据爬取

题目

本题的意思很明确，用java爬取网站的疫情数据，并存到数据库中。我们可以用Jsoup的插件进行java的爬取。

思路分析

• 1.如何用Jsoup进行数据的爬取呢，我们首先要找到一个疫情显示网站，这里我们使用今日头条的：[今日头条疫情数据]（https://i.snssdk.com/feoffline/hot_list/template/hot_list/forum_tab.html?activeWidget=1)，进入网站后用firefox浏览器按F12,找到需要的接口即可，这里不再找了。我们发现接口为（https://i.snssdk.com/forum/home/v1/info/?activeWidget=1&forum_id=1656784762444839)
• 2.在找到接口后，我们要分析我们想要的数据在哪，可以用网页查看js代码来找到所需的list，我们这里找到是ncov_string_list
• 3.有了基本的list后，我们只需分别取数据并存在数据库即可

效果截图

下为爬取后存到mysql的截图

代码展示

//定义几个常量防止反爬虫

	  public static String USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:49.0) Gecko/20100101 Firefox/49.0";

	  public static String HOST = "i.snssdk.com";

	  public static String REFERER = "https://i.snssdk.com/feoffline/hot_list/template/hot_list/forum_tab.html?activeWidget=1";
	  
	  public static void main(String[] args) throws IOException, SQLException {
		  //根URL

		    String url = "https://i.snssdk.com/forum/home/v1/info/?activeWidget=1&forum_id=1656784762444839";

		    String resultBody = Jsoup.connect(url).

		        userAgent(USER_AGENT).header("Host", HOST).header("Referer", REFERER).execute().body();

		    JSONObject jsonObject = JSON.parseObject(resultBody);

		    String ncovStringList = jsonObject.getJSONObject("forum").getJSONObject("extra").getString("ncov_string_list");

		    JSONObject ncovListObj = JSON.parseObject(ncovStringList);
		    JSONArray todaydata = ncovListObj.getJSONArray("provinces");
		    QueryRunner queryRunner = new QueryRunner(DataSourceUtils.getDataSource());
		    String sql = "insert into todaydata_copy1 values(?,?,?,?,?,?,?,?)";
		    String confirmedNum,deathsNum,cityname,cityid,treatingNum,provinceid;
		    String reprovinceid=null;
		    int confirmedNumSum=0,deathsNumSum=0,treatingNumSum=0;
		    for(int i=0;i<todaydata.size();i++) {
		    	JSONObject todayData1 = todaydata.getJSONObject(i);
		    	String updateDate = todayData1.getString("updateDate");
		    	JSONArray city = todayData1.getJSONArray("cities");
		    	for(int j=0;j<city.size();j++) {
		    		JSONObject cities = city.getJSONObject(j);
		    		confirmedNum= cities.getString("confirmedNum");
		    		deathsNum = cities.getString("deathsNum");
		    		cityname = cities.getString("name");
		    		cityid = cities.getString("id");
		    		treatingNum = cities.getString("treatingNum");
		    		provinceid = cityid.substring(0,2);
		    		reprovinceid=provinceid;
		    		confirmedNumSum+=Integer.parseInt(confirmedNum);
		    		deathsNumSum+=Integer.parseInt(deathsNum);
		    		treatingNumSum+=Integer.parseInt(treatingNum);
		    		queryRunner.update(sql, updateDate,provinceid,cityname,confirmedNum,deathsNum,treatingNum,cityid,null);
		    	}
		    	queryRunner.update(sql,updateDate,reprovinceid,null,confirmedNumSum,deathsNumSum,treatingNumSum,null,null);	
		    	confirmedNumSum=0;
		    	deathsNumSum=0;
		    	treatingNumSum=0;
		    }
		  }

实际完成时间表

预估时间：三个小时

日期	开始时间	结束时间	中断时间	净时间	活动	备注
3.10	16:00	16:50	20	30	编码前准备
3.10	16:50	17:50		60	寻找list	这里为了找需要的list浪费了很多时间
3.10	17:50	18:30	10	30	编写代码	中间十分钟去了厕所和接水
3.10	18:30	19:35	5	60	测试	中间五分钟去了厕所
3.10	19:35	19:45		10	进行整理

缺陷记录表

日期	编号	类型	引入阶段	排除阶段	修复时间	修复缺陷	描述
3.10	1	1	编码	编码	50min	蛮找	无法正确找到list
3.10	2	2	编码	测试	10min		存取数据库用的方法错误,错将update方法用成了execute方法
3.10	3	3	编码	测试	20min	改变sql语句	数据库的数据无法正确显示省份

总结

这次使用Jsoup爬取数据，深刻体会到了什么是爬取数据最困难的：找到正确的json并且提取出来。也以此为契机决定使用python爬取一下看看，见下篇博客：
(https://www.cnblogs.com/wushenjiang/p/12466220.html)