实用爬虫-01-检测爬虫的 IP

实用爬虫-01-检测爬虫的 IP

  • 本篇介绍一个识别爬虫 ip 的小实例(教你一招识破无效的 ip 代理)

【注意事项】:

  • 1.url 可能会失效(个人感觉,因为它带了一个2018,下面附上链接获取方法)
  • 2.当然使用的时候,只需两步:
    • (1)把你的爬虫的 url 换成下面的 url,目前是:http://2018.ip138.com/ic.asp
    • (2)把 decode() 方法的参数要设置成 'GBK' (默认的 'utf-8' 是不行的)
  • 代码 ipQuery.py 文件:https://xpwi.github.io/py/spider/ipQuery.py
# coding: utf-8
# 测爬虫 ip 工具
from urllib import request,error

if __name__ == '__main__':
    # 该地址可能会失效,如果失效,请参照:https://www.cnblogs.com/xpwi/p/9610887.html
    url = "http://2018.ip138.com/ic.asp"
    rsp = request.urlopen(url)
    html = rsp.read().decode('GBK')
    print(html)

运行结果

下面介绍怎么获取查询 ip 的地址

  • 在百度搜索关键字:ip,点击 IP地址查询
  • 或者直接访问:http://www.ip138.com/
  • 操作截图:
  • 右键,点击【查看页面源代码】
  • 【搜索】关键字:【地理位置】
  • 下面是一个 iframe 标签,地址就在那

更多文章链接:实用爬虫


- 本笔记不允许任何个人和组织转载
posted @   xpwi  阅读(2576)  评论(0编辑  收藏  举报
编辑推荐:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
阅读排行:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!
点击右上角即可分享
微信分享提示

目录导航