openresty中http请求body数据过大的处理方案

项目中由于数据过大，在openresty中使用

ngx.req.read_body()
local args = ngx.req.get_body_data()

然后flink任务中的消费者Consumer拿到的数据是body部分是空数据，其他数据是正常的，推断是文件大小受限，导致拿不到数据。

1、排查1，检查nginx的配置，查看是否有对文件的限制，ngxin中使用了

 

可以确定，nginx对文件没有限制，

然后继续下一步跟踪，由于下一步的处理是转到openresty处理，所以大概率是openresty的问题了，查看openresty最佳实践发现：

client_max_body_size
client_max_body_size 默认 1M，表示 客户端请求服务器最大允许大小，在“Content-Length”请求头中指定。如果请求的正文数据大于client_max_body_size，HTTP协议会报错 413 Request Entity Too Large。就是说如果请求的正文大于client_max_body_size，一定是失败的。如果需要上传大文件，一定要修改该值。

client_body_buffer_size
Nginx分配给请求数据的Buffer大小，如果请求的数据小于client_body_buffer_size直接将数据先在内存中存储。如果请求的值大于client_body_buffer_size小于client_max_body_size，就会将数据先存储到临时文件中，在哪个临时文件中呢？
client_body_temp 指定的路径中，默认该路径值是/tmp/.
所以配置的client_body_temp地址，一定让执行的Nginx的用户组有读写权限。否则，当传输的数据大于client_body_buffer_size，写进临时文件失败会报错。

 

处理办法：

在这个问题上和语言就相关了，如果使用的是PHP，PHP会自己将临时文件读取出来，放置到请求数据里面，这是没有问题的，开发者也不需要关心。肯定是完整的数据。
如果使用的openresty lua 开发的话，就需要开发者自己读取出来，让后续的逻辑使用。

location /xx/xx/xx/xx {
        # 响应正常，内容为空
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        empty_gif;
        client_max_body_size 50m;
        client_body_buffer_size 10m;

        content_by_lua_block{

        local topic = ""
        local cjson = require "cjson"
        local producer = require "resty.kafka.producer"
        -- 定义kafka broker地址，ip需要和kafka的host.name配置一致
        local broker_list = {
                { host = "", port = },
                { host = "", port = },
                { host = "", port = }
        }
        -- 定义json便于日志数据整理收集
        local data_json = {}
        ngx.req.read_body()
        local args = ngx.req.get_body_data()
        if nil == args then
                local temp_file_name = ngx.req.get_body_file()
                ngx.log(ngx.ERR, "Body data in temp file: ", temp_file_name)
                if temp_file_name then
                        local f = assert(io.open(file_name, 'r'))
                        local body_data = f:read("*all")
                        f:close()
                        args =  body_data
                        ngx.log(ngx.ERR, "Body: ", args)
                end
         end

        -- ngx.log(ngx.ERR, "kafka receive msg:", args)
        data_json["body"] = ngx.encode_base64(args)
        data_json["u_time"] = ngx.now() * 1000
        -- 转换json为字符串
        local message = cjson.encode(data_json);
        -- ngx.log(ngx.ERR, "args:", message)
        -- 定义kafka异步生产者
        local bp = producer:new(broker_list, { producer_type = "async" })
        -- 发送日志消息,send第二个参数key,用于kafka路由控制:
        -- key为nill(空)时，一段时间向同一partition写入数据
        -- 指定key，按照key的hash写入到对应的partition
        local ok, err = bp:send(topic, nil, message)

        if not ok then
                 ngx.log(ngx.ERR, "kafka enter msg:", args)
                 return
            end
        }
   }

　

总结
传输的数据大于client_max_body_size，一定是传不成功的。小于client_body_buffer_size直接在内存中高效存储。如果大于client_body_buffer_size小于client_max_body_size会存储临时文件，临时文件一定要有权限。
如果追求效率，就设置 client_max_body_size client_body_buffer_size相同的值，这样就不会存储临时文件，直接存储在内存了。