爬虫爬取图片解决防盗链方法
今天爬一个数据是大拇指网发布的数据,它的站点图片是防盗链,所以导致图片无法入库,怎么办?在查阅一些资料后,找到解决办法,在此分享下:
URL url = new URL(""); // 获得连接 URLConnection connection = url.openConnection(); connection.setRequestProperty("Referer", "http://www.xxx.com");
因为它是通过referer的值来判断,所以在请求头上添加Referer属性即可解决。
千行代码,Bug何处藏。 纵使上线又怎样,朝令改,夕断肠。