实用爬虫-01-检测爬虫的 IP
实用爬虫-01-检测爬虫的 IP
- 本篇介绍一个识别爬虫 ip 的小实例(教你一招识破无效的 ip 代理)
【注意事项】:
- 1.url 可能会失效(个人感觉,因为它带了一个2018,下面附上链接获取方法)
- 2.当然使用的时候,只需两步:
- (1)把你的爬虫的 url 换成下面的 url,目前是:http://2018.ip138.com/ic.asp
- (2)把 decode() 方法的参数要设置成 'GBK' (默认的 'utf-8' 是不行的)
- 代码 ipQuery.py 文件:https://xpwi.github.io/py/spider/ipQuery.py
# coding: utf-8
# 测爬虫 ip 工具
from urllib import request,error
if __name__ == '__main__':
# 该地址可能会失效,如果失效,请参照:https://www.cnblogs.com/xpwi/p/9610887.html
url = "http://2018.ip138.com/ic.asp"
rsp = request.urlopen(url)
html = rsp.read().decode('GBK')
print(html)
运行结果
下面介绍怎么获取查询 ip 的地址
- 在百度搜索关键字:ip,点击 IP地址查询
- 或者直接访问:http://www.ip138.com/
- 操作截图:
- 右键,点击【查看页面源代码】
- 【搜索】关键字:【地理位置】
- 下面是一个 iframe 标签,地址就在那
更多文章链接:实用爬虫
- 本笔记不允许任何个人和组织转载
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!