爬虫入门(三)爬取b站搜索页视频分析（动态页面，DBUtils存储）

这一次终于到了分析b站视频了。开始体会到写博客非常占用学技术的时间，但是还是希望能总结，沉淀下来。

b站分析结果文章：https://www.bilibili.com/read/cv523868/

工具：使用Webmaigc框架，DBUtils，C3P0连接池。

分析过程：b站的搜索页面是这样的。如果浏览器右键查看源代码，你会发现是动态页面，也就是从后台通过ajax等在某个路径加载获得数据

于是初入爬虫的我，打算贪方便试一下selenium模拟浏览器行为，结果效果不太好。当时是b站的搜索页面经常显示的是 出错啦，后来我就苦苦思索，我通过b站的页面在F12开发者工具里，从请求路径里找到了b站视频的搜索url，https://search.bilibili.com/api/search，当时还是很激动的！

从这个路径进去，发现b站视频的数据实际上是一个大Json，通过看webmagic文档知道了它提供了JsonPath的拿取方法。于是就按JsonPath拿数据，原本是用xpath在html里拿数据。

先贴一下我的processor核心代码：

public class BilibiliSearchProcessor implements PageProcessor{
    private Site site = Site.me().setUserAgent("Mozilla/5.0 (Windows NT 10.0; …e/59.0.3071.109 Safari/537.36")
            .setRetryTimes(3)
            .setTimeOut(30000)
            .setSleepTime(1800)
            .setCycleRetryTimes(3)
            .setUseGzip(true)
            .addHeader("Host","search.bilibili.com")
            .addHeader("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
            .addHeader("Accept-Language","zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2")
            .addHeader("Accept-Encoding","gzip, deflate, br")
    ;
    private static final String man = "Pierre Bensusan";
    private static final String defineUrl = "https://search.bilibili.com/api/search?search_type=video&keyword="+man+"&from_source=banner_search&order=totalrank&duration=0&tids=0";
    //"井草圣二","伍伍慧","押尾光太郎","岸部真明","松井佑贵","小松原俊","郑成河","depapepe","Pierre Bensusan","TOMMY EMMANUEL","Daniel Padim","andy mckee"};
    public void process(Page page) {
        int numPage = Integer.parseInt(page.getJson().jsonPath("$.numPages").get());
        for (int i=0;i<numPage;i++) {
            page.addTargetRequest(defineUrl+"&page="+(i+2));
        }
        //up主
        List<String> ups = page.getJson().jsonPath("$..author").all();
        page.putField("author", ups);
        //标题
        List<String> titles = page.getJson().jsonPath("$..title").all();
        page.putField("title", titles);
        //链接
        List<String> srcLinks = page.getJson().jsonPath("$..arcurl").all();
        page.putField("srcLinks", srcLinks);
        //时长
        List<String> durations = page.getJson().jsonPath("$..duration").all();
        page.putField("duration", durations);
        //观看数
        List<String> watchNums = page.getJson().jsonPath("$..play").all();
        page.putField("watchNum", watchNums);
        //上传时间  2017-08-09  1502222633
        // 2016-09-28  1475053142
        //2018-05-18 1526650568
        List<String> uploadTimes = page.getJson().jsonPath("$..pubdate").all();
        page.putField("uploadTime", uploadTimes);
        //review
        List<String> reviews = page.getJson().jsonPath("$..review").all();
        //video_review
        List<String> video_reviews = page.getJson().jsonPath("$..video_review").all();
        //favorite
        List<String> favorites = page.getJson().jsonPath("$..favorites").all();
        //视频说明
        List<String> description = page.getJson().jsonPath("$..description").all();
        page.putField("description", description);
        for (int i=0;i<ups.size();i++) {
            BiliVideosDao.save(man,ups.get(i),SimpleUtil.cutHtml(titles.get(i)),srcLinks.get(i),durations.get(i),watchNums.get(i)
            , SimpleUtil.convert2String(1000*Long.parseLong(uploadTimes.get(i))),
                    reviews.get(i),video_reviews.get(i),favorites.get(i),description.get(i));
        }
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new BilibiliSearchProcessor())
                //.addUrl(urls)
                .addUrl(defineUrl)
                .addPipeline(new ConsolePipeline())
                .thread(5)
                .run();
    }
}

有几个当时遇到的要点讲一下：

第一是site的header一定要加！！没有为什么，一定要加，因为要模拟更真实的浏览器访问！

第二是site的爬取频率，b站还是有限制的，.setSleepTime(1800)这样就可以了，不会太快。

第三是b站视频爬的pubdate也就是上传时间，实际上是秒为单位，但是平时java里转换用的是毫秒，当晚我没想明白这个数字该怎么转换成date格式，第二天早上突然就发现了，真是感恩。

另外,json里拿到title实际上带有关键词的高亮,于是写了个cutHtml的方法去replace.

第四是header的host要加对，我当时用selenium有时成功有时失败，我后来改成直接拿Json的时候突然发现我Host之前写的地址好像不对劲，不是search.bilibili.com,现在才渐渐明白估计也是参数错了.

第五是能分析动态分析页面,尽量分析,因为用selenium速度还是不快的,而且会造成java程序结束,chrome进程却没有退出的情况(开发者估计也还没优化!)

public class SimpleUtil {
    // 短日期格式
    public static String DATE_FORMAT = "yyyy-MM-dd";

    /**
     * 将长整型数字转换为日期格式的字符串
     *
     * @param time
     * @return
     */
    public static String convert2String(long time) {
        if (time > 0l) {
            SimpleDateFormat sf = new SimpleDateFormat(DATE_FORMAT);
            Date date = new Date(time);
            return sf.format(date);
        }
        return "";
    }

    public static String cutHtml(String str){
        return str.replaceAll("</?[^>]+>", "");
    }
}

Dao就不贴了,直接用DBUtils,QueryRunner执行sql语句save一个数据对象.

有什么疑问可以发我邮箱zhhiyp@qq.com