爬虫爬取图片解决防盗链方法
今天爬一个数据是大拇指网发布的数据,它的站点图片是防盗链,所以导致图片无法入库,怎么办?在查阅一些资料后,找到解决办法,在此分享下:
1 2 3 4 | URL url = new URL(""); / / 获得连接 URLConnection connection = url.openConnection(); connection.setRequestProperty( "Referer" , "http://www.xxx.com" ); |
因为它是通过referer的值来判断,所以在请求头上添加Referer属性即可解决。
1 2 | 演示地址:<a title = "圆柱模具" href = "http://zhimo.yuanzhumuban.cc/news/yuanzhumoju/" target = "_blank" rel = "noopener nofollow" >http: / / zhimo.yuanzhumuban.cc / news / yuanzhumoju / < / a> |
千行代码,Bug何处藏。 纵使上线又怎样,朝令改,夕断肠。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· 程序员常用高效实用工具推荐,办公效率提升利器!
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)