爬虫爬取图片解决防盗链方法

   今天爬一个数据是大拇指网发布的数据,它的站点图片是防盗链,所以导致图片无法入库,怎么办?在查阅一些资料后,找到解决办法,在此分享下:

 

    

1
2
3
4
URL url = new URL("");
        // 获得连接
        URLConnection connection = url.openConnection();
        connection.setRequestProperty("Referer", "http://www.xxx.com");

  因为它是通过referer的值来判断,所以在请求头上添加Referer属性即可解决。

 

1
2
演示地址:<a title="圆柱模具" href="http://zhimo.yuanzhumuban.cc/news/yuanzhumoju/" target="_blank" rel="noopener nofollow">http://zhimo.yuanzhumuban.cc/news/yuanzhumoju/
</a>

  

     

posted @   圆柱模板  阅读(1138)  评论(0编辑  收藏  举报
编辑推荐:
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· 程序员常用高效实用工具推荐,办公效率提升利器!
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)
点击右上角即可分享
微信分享提示