[logstash-input-http] 插件使用详解
插件介绍
Http插件是2.0版本才出现的新插件，1.x是没有这个插件的。这个插件可以帮助logstash接收其他主机或者本机发送的http报文。
插件的原理很简单，它自己启动了一个ruby的服务器，用于接收Http请求。然后会把host（IP地址）和header相关的信息添加到event中。
下面就看看这个插件如何使用吧！
基本配置
先看看默认的配置吧！
http {}
简单到心碎啊！其实有很多参数都是默认的...
上面的配置其实相当于：
http{
host => "0.0.0.0"
port => 8080
additional_codecs => {"application/json"=>"json"}
codec => "plain"
threads => 4
ssl => false
}
参数详解
最主要的几个参数，也是Http中常见的属性：
host
默认是0.0.0.0，即所有的地址都可以发送到本机，从而接收Http信息。
port
是http插件中服务器运行的端口号。只要发送到“本机IP”:"该端口号"的数据都可以被http插件接收到。
additional_codecs
配置文本类型和codec的映射，如上面所示，默认配置了json文本对应使用json的codec。
codec
如果上面的映射集合中找不到文本类型对应的codec，那么会默认按照这个属性配置的codec解析。
ssl
是否开启SSL。
threads
ruby插件中服务器的启动线程，这里默认是4个。
user、password、keystore、keystore_password
这些都与http的认证有关系了，就不多说了。如果想要使用，再去参考文档吧！
源码初探
阅读插件的源码是为了更好的理解插件的使用，并且在出错的时候知道哪里出现了问题。Logstash的插件往往都有固定的书写格式，因此很容易看到插件的核心代码。
在Input插件中，主要包含两个方法：
public
def register
# register方法相当于初始化的构造方法
end # def register
# 主要的核心业务方法都在run中
def run(queue)
Stud.interval(@interval) do
# 创建事件
event = LogStash::Event.new("message" => @message, "host" => @host)
# 装饰event对象
decorate(event)
# 放入队列中
queue << event
end # loop
end # def run
下面看看http的插件内容吧！
首先看看register都做了什么吧！
def register
require "logstash/util/http_compressed_requests"
# 创建Puma服务器
@server = ::Puma::Server.new(nil) # we'll set the rack handler later
# 下面的都是跟认证相关的....
if @user && @password then
token = Base64.strict_encode64("#{@user}:#{@password.value}")
@auth_token = "Basic #{token}"
end
if @ssl
if @keystore.nil? || @keystore_password.nil?
raise(LogStash::ConfigurationError, "Settings :keystore and :keystore_password are required because :ssl is enabled.")
end
ctx = Puma::MiniSSL::Context.new
ctx.keystore = @keystore
ctx.keystore_pass = @keystore_password.value
ctx.verify_mode = case @verify_mode
when 'peer'
Puma::MiniSSL::VERIFY_PEER
when 'force_peer'
Puma::MiniSSL::VERIFY_PEER | Puma::MiniSSL::VERIFY_FAIL_IF_NO_PEER_CERT
when 'none'
Puma::MiniSSL::VERIFY_NONE
end
@server.add_ssl_listener(@host, @port, ctx)
else
@server.add_tcp_listener(@host, @port)
end
# 设置线程的数量
@server.min_threads = 0
@server.max_threads = @threads
@codecs = Hash.new
# 创建文本类型对应的codecs映射
@additional_codecs.each do |content_type, codec|
@codecs[content_type] = LogStash::Plugin.lookup("codec", codec).new
end
end # def register
可以简单的把上面的代码归纳为：
- 1 创建Puma服务器，Puma是一款ruby的高性能服务器。
- 2 进行用户身份和密码的验证授权
- 3 设置基本的线程信息
- 4 创建codecs映射
再看看run方法
def run(queue)
p = Proc.new do |req|
begin
remote_host = req['puma.socket'].peeraddr[3]
REJECTED_HEADERS.each {|k| req.delete(k) }
req = lowercase_keys(req)
body = req.delete("rack.input")
# 这里使用相应的codec解析对应的Body信息
@codecs.fetch(req["content_type"], @codec).decode(body.read) do |event|
# 这里遍历每个事件，然后添加host和headers信息
event["host"] = remote_host
event["headers"] = req
decorate(event)
queue << event
end
# 如果正常处理，则返回ok
['200', @response_headers, ['ok']]
rescue => e
@logger.error("unable to process event #{req.inspect}. exception => #{e.inspect}")
['500', @response_headers, ['internal error']]
end
end
auth = Proc.new do |username, password|
username == @user && password == @password.value
end if (@user && @password)
@server.app = Rack::Builder.new do
use(Rack::Auth::Basic, &auth) if auth
use CompressedRequests
run(p)
end
@server.run.join
end
private
def lowercase_keys(hash)
new_hash = {}
hash.each_pair do |k,v|
new_hash[k.downcase] = v
end
new_hash
end
看了上面的代码，基本对http的原理有了一定了解吧！
