python +ip2region IP库地址文件实现秒级查询1万不同ip归属地址
一、服务器环境介绍:
服务器硬件:4核4g内存
服务器系统:centos6.9 x86_64位最小化安装
二、环境安装
参考地址: https://github.com/lionsoul2014/ip2region
直接下载包到服务器上的/root目录下
wget https://github.com/lionsoul2014/ip2region/archive/master.zip
unzip解压
unzip master.zip
到此准备工作基本完成
以下都是github.com官网上的说明,我这边复制在自己的博文里了
-
99.9%准确率,定时更新:
数据聚合了一些知名ip到地名查询提供商的数据,这些是他们官方的的准确率,经测试着实比纯真啥的准确多了。
每次聚合一下数据需要1-2天,会不定时更新。 -
标准化的数据格式:
每条ip数据段都固定了格式:城市Id|国家|区域|省份|城市|ISP
只有中国的数据精确到了城市,其他国家只能定位到国家,后前的选项全部是0,已经包含了全部你能查到的大大小小的国家。 (请忽略前面的城市Id,个人项目需求)
-
体积小:
生成的数据库文件ip2region.db只有1.5M(1.2版本前是3.5M) -
多查询客户端的支持,0.0x毫秒级别的查询
已经集成的客户端有:java, C#, php, c, python,nodejs,php扩展(支持linux, php5, php7版本已支持),golang。
提供了两种查询算法,响应时间如下:
客户端/binary算法/b-tree算法/Memory算法:
c#/0.x毫秒/0.x毫秒/0.x毫秒
java/0.x毫秒/0.x毫秒/0.1x毫秒 (使用RandomAccessFile)
php/0.x毫秒/0.1x毫秒/0.1x毫秒
c/0.0x毫秒/0.0x毫秒/0.00x毫秒(b-tree算法基本稳定在0.02x毫秒级别)
python/0.x毫秒/0.1x毫秒/未知
任何客户端b-tree都比binary算法快,当然Memory算法固然是最快的!
maven仓库地址:
6.如何生成ip2region.db文件
从ip2region 1.2.2版本开始里面提交了一个dbMaker-{version}.jar的可以执行jar文件,用它来完成这个工作:
1, 确保你安装好了java环境(不玩Java的童鞋就自己谷歌找找拉,临时用一用,几分钟的事情)
2, cd到ip2region的根目录,然后运行如下命令:
java -jar dbMaker-{version}.jar -src 文本数据文件 -region 地域csv文件 [-dst 生成的ip2region.db文件的目录]
#文本数据文件:db文件的原始文本数据文件路径,自带的ip2region.db文件就是/data/ip.merge.txt生成而来的,你可以换成自己的或者更改/data/ip.merge.txt重新生成
#地域csv文件:该文件目的是方便配置ip2region进行数据关系的存储,得到的数据包含一个city_id,这个直接使用/data/origin/global_region.csv文件即可
#ip2region.db文件的目录:是可选参数,没有指定的话会在当前目录生成一份./data/ip2region.db文件
3, 获取生成的ip2region.db文件覆盖原来的ip2region.db文件即可
4, 默认的ip2region.db文件生成命令:
cd ip2region项目根目录
java -jar dbMaker-1.2.2.jar -src ./data/ip.merge.txt -region ./data/global_region.csv
#会看到一大片的输出
三、演示
以下是我采用的php和Python语言进行的实际测试演示:
php演示测试:
Python演示:
四、实际应用:
采用python脚本,来查询一个存有1017万个不同IP的文本文件中的ip归属地
以下结合原作者的testSearcher.py Python脚本,来获取这存有1017万个不同IP的归属地址。此Python脚本简单修改如下:
测试如下:
总结:当然这个查询的时间和服务器的硬件有很大的关系,后来我在一台CPU为16核心的上测试,查询结果可以达到秒级10万不同ip的归属地查询结果