爬取网页时,出现json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)错误
最近在学习Django时,进行网站爬取资源训练时,出现错误
1.错误原因分析
我的代码如图
在网上找了很多资料之后,发现好像是网站设置了防火墙啥的,不能直接通过URL进行数据的爬取
2.解决办法
①首先找到爬取网站的URL,如图

②并查询该网站的User-Agent,向下查找,就可以看见User-Agent的相关信息,如图
③将②中查询的结果添加到代码里面,在get函数里面添加headers参数,如图
爬取到了数据。
最后问题成功解决!!!
分类:
bug总结
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律