关于libnmap 的一些应用
随笔描述
nmap 可以进行端口的扫描，在安全或运维中可以说是一款不错的神奇吧，在大部分LINUX 里面都自带了nmap 这款工具，他不仅仅是端口扫描，自身还提供许多插件可以使用。
官方文档
说说libnmap
libnmap是一个python库，使python开发人员能够操纵nmap进程和数据。
如果您需要实现以下操作，则libnmap是您要查找的内容：
- 定期自动或安排nmap扫描
- 操纵nmap扫描结果进行报告
- 比较和差异nmap扫描生成图
- 批处理扫描报告
...
上述用例将在libnmap模块的帮助下轻松实现。
nmap 的模块
github
lib目前提供以下模块：
- 过程：使您能够启动nmap扫描
- 解析：使您能够从文件，字符串...中解析nmap报告或扫描结果（到目前为止只有XML）
- 报告：使您能够操作解析的扫描结果，并以json格式对扫描结果进行序列化
- diff：使您能够看到两次扫描之间发生了什么变化
- common：包含基本的nmap对象，如NmapHost和NmapService。要注意的是，每个对象都可以与另一个类似的对象“diff（）ed”。
- 插件：使您能够直接在“NmapReport”对象中支持扫描结果的数据存储。从报告模块：
开始应用
简单的例子
rom libnmap.process import NmapProcess
from libnmap.parser import NmapParser
nm = NmapProcess("127.0.0.1",options="-sV -p 22")
nm.run()
nmap_report = NmapParser.parse(nm.stdout)
for scanned_hosts in nmap_report.hosts:
print scanned_hosts
x=[ [a, [ b.address for b in nmap_report.hosts for c in b.get_open_ports() if a==c[0] ] ] for a in sorted(set([ b[0] for a in nmap_report.hosts for b in a.get_open_ports()]),key=int) ]
print x
y=sorted(set([ b[0] for a in nmap_report.hosts for b in a.get_open_ports()]), key=int)
#print y
运行的结果：
主要参数的介绍
- NmapProcess 开始一个扫描任务
- NmapParser 对扫描的结果进行处理，实例化
端口信息
开放指定端口号的主机
- 显示所有开放指定端口号的主机。生成一个包含主机地址(string)的列表。下面以 443 端口为例，你可以修改成你自己需要的值。
[ a.address for a in nmap_report.hosts if (a.get_open_ports()) and 443 in [b[0] for b in a.get_open_ports()] ]
开放端口数量
- 显示一系列主机开放端口的数量。生成一个包含端口数量(int)的列表，并进行排序。
sorted(set([ b[0] for a in nmap_report.hosts for b in a.get_open_ports()]), key=int)
### 主机开放端口对应的服务，按端口号进行分组
- 显示所有主机开放的端口号，按端口号进行分组和排序。生成一个包含多个列表的列表(即列表的每个元素也为列表)，其中每个成员列表第一个元素为端口号(int)，第二个元素为一个包含开放对应端口主机 IP 地址(string)的列表。
[ [a, [ b.address for b in nmap_report.hosts for c in b.get_open_ports() if a==c[0] ] ] for a in sorted(set([ b[0] for a in nmap_report.hosts for b in a.get_open_ports()]),key=int) ]
###SSL/TLS 和 HTTP/HTTPS
- 使用 SSL 的主机和端口
显示所有使用 SSL 的主机和端口。这是通过查找是否有服务使用了 “SSL” 通道或者相关脚本检测的结果中包含 pem 证书。生成一个包含一系列列表的列表，每个成员列表中包含主机地址(string)和端口号(int)。
[ [a.address, b.port] for a in nmap_report.hosts for b in a.services if b.tunnel=='ssl' or "'pem'" in str(b.scripts_results) ]
- 下面的内容包含上述相同的信息，但不在是一个包含列表的列表，而是使用 join 函数创建了一个包含 “主机:端口号”(string) 的列表。
[ ':'.join([a.address, str(b.port)]) for a in nmap_report.hosts for b in a.services if b.tunnel=='ssl' or "'pem'" in str(b.scripts_results) ]
包含 web 服务的主机和端口
- 显示所有的 web 服务及其对对应的端口号和协议(http 或 https)。这会生成一个包含多个列表的列表，其中每个成员列表包含协议(string)、地址(string)和端口号(int)。但这里会有些问题，nmap 在报告使用 https 的网站时，有些时候会显示服务是 “https”，而有时则会显示为使用 “ssl” 通道的 “http”，所以我调整了下数据格式以便统一输出。
[ [(b.service + b.tunnel).replace('sl',''), a.address, b.port] for a in nmap_report.hosts for b in a.services if b.open() and b.service.startswith('http') ]
- 这里还是相同的信息，只不过是在原先包含协议、主机和端口号的列表中增加了url(string)。
[ (b.service + b.tunnel).replace('sl','') + '😕/' + a.address + ':' + str(b.port) + '/' for a in nmap_report.hosts for b in a.services if b.open() and b.service.startswith('http') ]
### 其他服务信息
未知服务
- 显示所有 nmap 无法识别的服务。生成一个包含多个列表的列表，其中每个成员列表包含地址(string)、端口号(int)和 nmap 扫描的端口指纹(string)。生成这些信息，主要是为了方便后续人工审查那些特定的服务，而不会参与到任何自动化的过程中。
[ [ a.address, b.port, b.servicefp ] for a in nmap_report.hosts for b in a.services if (b.service =='unknown' or b.servicefp) and b.port in [c[0] for c in a.get_open_ports()] ]
### nmap 识别出的软件
- 显示 nmap 扫描中识别出的所有软件。生成按产品字母排序的列表。
sorted(set([ b.banner for a in nmap_report.hosts for b in a.services if 'product' in b.banner]))
### 软件对应的主机和端口号，按产品分组
- 显示扫描出软件对应的主机和端口，按产品分组。生成一个包含多个列表的列表，其中每个成员列表的第一个元素为软件的名称(string)，随后是另一个列表包含地址(string)和端口号(int)。
[ [ a, [ [b.address, c.port] for b in nmap_report.hosts for c in b.services if c.banner==a] ] for a in sorted(set([ b.banner for a in nmap_report.hosts for b in a.services if 'product' in b.banner])) ]
- 同上相同的信息，只是输出略有不同。同样还是生成一个包含多个列表的列表，成员列表的第一个元素还是软件的名称(string)，但第二个是一个包含 “主机:端口号” 的列表。
[ [ a, [ ':'.join([b.address, str(c.port)]) for b in nmap_report.hosts for c in b.services if c.banner==a] ] for a in sorted(set([ b.banner for a in nmap_report.hosts for b in a.services if 'product' in b.banner])) ]
### 搜索指定关键词相关的主机和端口
- 显示所有与给定关键词相关联的主机和端口，从 nmap 扫描结果的原始文本中查找包含产品名称、服务名称等等。下面以 “Oracle” 为例。生成一个包含多个列表的列表，其中每个成员列表包含主机地址(string)和端口号(int)。
[ [a.address, b.port] for a in nmap_report.hosts for b in a.services if b.open() and 'Oracle' in str(b.get_dict()) + str(b.scripts_results) ]
## 扫描结果生产JSON 对象
from libnmap.parser import NmapParser
from libnmap.reportjson import ReportDecoder, ReportEncoder
import json
nmap_report_obj = NmapParser.parse_fromfile('/root/ip.xml')
create a json object from an NmapReport instance
nmap_report_json = json.dumps(nmap_report_obj, cls=ReportEncoder)
print(nmap_report_json)
create a NmapReport instance from a json object
nmap_report_obj = json.loads(nmap_report_json, cls=ReportDecoder)
print(nmap_report_obj)
## 函数化例子
!/usr/bin/env python
-- coding: utf-8 --
from libnmap.process import NmapProcess
from libnmap.parser import NmapParser, NmapParserException
start a new nmap scan on localhost with some specific options
def do_scan(targets, options):
parsed = None
nmproc = NmapProcess(targets, options)
rc = nmproc.run()
if rc != 0:
print("nmap scan failed: {0}".format(nmproc.stderr))
print(type(nmproc.stdout))
try:
parsed = NmapParser.parse(nmproc.stdout)
except NmapParserException as e:
print("Exception raised while parsing scan: {0}".format(e.msg))
return parsed
print scan results from a nmap report
def print_scan(nmap_report):
print("Starting Nmap {0} ( http://nmap.org ) at {1}".format(
nmap_report.version,
nmap_report.started))
for host in nmap_report.hosts:
if len(host.hostnames):
tmp_host = host.hostnames.pop()
else:
tmp_host = host.address
print("Nmap scan report for {0} ({1})".format(
tmp_host,
host.address))
print("Host is {0}.".format(host.status))
print(" PORT STATE SERVICE")
for serv in host.services:
pserv = "{0:>5s}/{1:3s} {2:12s} {3}".format(
str(serv.port),
serv.protocol,
serv.state,
serv.service)
if len(serv.banner):
pserv += " ({0})".format(serv.banner)
print(pserv)
print(nmap_report.summary)
if name == "main":
report = do_scan("127.0.0.1", "-sV")
if report:
print_scan(report)
else:
print("No results returned")
## 把nmap扫描结果存储到数据库
- 主的运行的脚本
import xml.etree.ElementTree as ET
import MySQLdb
import datetime
nmapdb = MySQLdb.connect(host="134.96.111.202", user="root", passwd="admin2017", db="nmap")
cursor = nmapdb.cursor()
hostsql = "INSERT INTO hosts (timeofscan,ipaddress,hostname,osname,accuracy) values(%s,%s,%s,%s,%s);"
portsql = "INSERT INTO ports (timeofscan,ipaddress,protocol,portid,state,reason,reason_ttl,servicename) values(%s,%s,%s,%s,%s,%s,%s,%s);"
tree = ET.parse('/root/ip.xml')
root = tree.getroot()
for host in root.iter('host'):
hosts=[]
timescan = int(host.get('starttime'))
timeof = (datetime.datetime.fromtimestamp(timescan).strftime('%Y-%m-%d %H:%M:%S'))
for address in host.iter('address'):
addr = address.get('addr')
for hostnames in host.iter('hostnames'):
if len(hostnames.findall('hostname')) > 0:
for hostname in host.iter('hostname'):
hostn = hostname.get('name')
else:
hostn = "none"
for os in host.iter('osmatch'):
osname = os.get('name')
accuracy = os.get('accuracy')
hosts.append(timeof)
hosts.append(addr)
hosts.append(hostn)
hosts.append(osname)
hosts.append(accuracy)
cursor.execute(hostsql,hosts)
for port in host.iter('port'):
ports=[]
ports.append(timeof)
ports.append(addr)
ports.append(port.get('protocol'))
ports.append(port.get('portid'))
for state in port.iter('state'):
ports.append(state.get('state'))
ports.append(state.get('reason'))
ports.append(state.get('reason_ttl'))
for service in port.iter('service'):
ports.append(service.get('name'))
cursor.execute(portsql,ports)
nmapdb.commit()
cursor.close()
nmapdb.close()
- 数据库sql 文件
CREATE DATABASE IF NOT EXISTS nmap;
USE nmap;
CREATE TABLE IF NOT EXISTS hosts (
id int(11) NOT NULL AUTO_INCREMENT,
timeofscan datetime NOT NULL,
ipaddress varchar(15) NULL,
hostname varchar(40) NULL,
osname varchar(200) NULL,
accuracy int(4) NULL,
PRIMARY KEY (id)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
CREATE TABLE IF NOT EXISTS `ports` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`timeofscan` datetime NOT NULL,
`ipaddress` varchar(15) NULL,
`protocol` varchar(20) NULL,
`portid` int(10) NULL,
`state` varchar(20) NULL,
`reason` varchar(20) NULL,
`reason_ttl` int(10) NULL,
`servicename` varchar(20) NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
TRUNCATE hosts;
TRUNCATE ports;
### 后话可以配合数据库web 做图表展示
