第四五章 (Nginx+Lua)Lua模块开发

在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初始化的全局变量是每请求复制一个；如果想在多个Worker进程间共享数据可以使用ngx.shared.DICT或如Redis之类的存储。

 

在/usr/example/lualib中已经提供了大量第三方开发库如cjson、redis客户端、mysql客户端：

cjson.so

resty/

   aes.lua

   core.lua

   dns/

   lock.lua

   lrucache/

   lrucache.lua

   md5.lua

   memcached.lua

   mysql.lua

   random.lua

   redis.lua

   ……

 

 

需要注意在使用前需要将库在nginx.conf中导入：

#lua模块路径，其中”;;”表示默认搜索路径，默认到/usr/servers/nginx下找
lua_package_path "/usr/example/lualib/?.lua;;";  #lua 模块
lua_package_cpath "/usr/example/lualib/?.so;;";  #c模块

使用方式是在lua中通过如下方式引入

local cjson = require(“cjson”)
local redis = require(“resty.redis”)

接下来我们来开发一个简单的lua模块。

vim /usr/example/lualib/module1.lua

local count = 0
local function hello()
   count = count + 1
   ngx.say("count : ", count)
end

local _M = {
   hello = hello
}

return _M

开发时将所有数据做成局部变量/局部函数；通过 _M导出要暴露的函数，实现模块化封装。

 

接下来创建test_module_1.lua

vim /usr/example/lua/test_module_1.lua

local module1 = require("module1")

module1.hello()

 使用 local var = require("模块名")，该模块会到lua_package_path和lua_package_cpath声明的的位置查找我们的模块，对于多级目录的使用require("目录1.目录2.模块名")加载。

 

example.conf配置

location /lua_module_1 {
    default_type 'text/html';
    lua_code_cache on;
    content_by_lua_file /usr/example/lua/test_module_1.lua;
}

 

访问如http://192.168.1.2/lua_module_1进行测试，会得到类似如下的数据，count会递增

count : 1

count ：2

……

count ：N

 

此时可能发现count一直递增，假设我们的worker_processes  2，我们可以通过kill -9 nginx worker process杀死其中一个Worker进程得到count数据变化。

 

 

假设我们创建了vim /usr/example/lualib/test/module2.lua模块，可以通过local module2 = require("test.module2")加载模块

 

基本的模块开发就完成了，如果是只读数据可以通过模块中声明local变量存储；如果想在每Worker进程共享，请考虑竞争；如果要在多个Worker进程间共享请考虑使用ngx.shared.DICT或如Redis存储。

 

第五章 常用Lua开发库1-redis、mysql、http客户端

对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。

一些常见的Lua库可以在github上搜索，https://github.com/search?utf8=%E2%9C%93&q=lua+resty。

 

Redis客户端

lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端，通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-redis。

 

在测试之前请启动Redis实例：

nohup /usr/servers/redis-2.8.19/src/redis-server  /usr/servers/redis-2.8.19/redis_6660.conf &

 

1、基本操作

 

编辑test_redis_baisc.lua

local function close_redis(red)
    if not red then
        return
    end
    local ok, err = red:close()
    if not ok then
        ngx.say("close redis error : ", err)
    end
end

local redis = require("resty.redis")

--创建实例
local red = redis:new()
--设置超时（毫秒）
red:set_timeout(1000)
--建立连接
local ip = "127.0.0.1"
local port = 6660
local ok, err = red:connect(ip, port)
if not ok then
    ngx.say("connect to redis error : ", err)
    return close_redis(red)
end
--调用API进行处理
ok, err = red:set("msg", "hello world")
if not ok then
    ngx.say("set msg error : ", err)
    return close_redis(red)
end

--调用API获取数据
local resp, err = red:get("msg")
if not resp then
    ngx.say("get msg error : ", err)
    return close_redis(red)
end
--得到的数据为空处理
if resp == ngx.null then
    resp = ''  --比如默认值
end
ngx.say("msg : ", resp)

close_redis(red)

基本逻辑很简单，要注意此处判断是否为nil，需要跟ngx.null比较。

 

2、example.conf配置文件

 location /lua_redis_basic {
    default_type 'text/html';
    lua_code_cache on;
    content_by_lua_file /usr/example/lua/test_redis_basic.lua;
}

  

3、访问如http://192.168.1.2/lua_redis_basic进行测试，正常情况得到如下信息

msg : hello world

 

2、连接池

建立TCP连接需要三次握手而释放TCP连接需要四次握手，而这些往返时延仅需要一次，以后应该复用TCP连接，此时就可以考虑使用连接池，即连接池可以复用连接。

我们只需要将之前的close_redis函数改造为如下即可： 

local function close_redis(red)
    if not red then
        return
    end
    --释放连接(连接池实现)
    local pool_max_idle_time = 10000 --毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.say("set keepalive error : ", err)
    end
end

即设置空闲连接超时时间防止连接一直占用不释放；设置连接池大小来复用连接。

 

此处假设调用red:set_keepalive()，连接池大小通过nginx.conf中http部分的如下指令定义：

#默认连接池大小，默认30

lua_socket_pool_size 30;

#默认超时时间,默认60s

lua_socket_keepalive_timeout 60s;

 

注意：

1、连接池是每Worker进程的，而不是每Server的；

2、当连接超过最大连接池大小时，会按照LRU算法回收空闲连接为新连接使用；

3、连接池中的空闲连接出现异常时会自动被移除；

4、连接池是通过ip和port标识的，即相同的ip和port会使用同一个连接池（即使是不同类型的客户端如Redis、Memcached）；

5、连接池第一次set_keepalive时连接池大小就确定下了，不会再变更；

5、cosocket的连接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。

 

3、pipeline

pipeline即管道，可以理解为把多个命令打包然后一起发送；MTU（Maxitum Transmission Unit 最大传输单元）为二层包大小，一般为1500字节；而MSS（Maximum Segment Size 最大报文分段大小）为四层包大小，其一般是1500-20（IP报头）-20（TCP报头）=1460字节；因此假设我们执行的多个Redis命令能在一个报文中传输的话，可以减少网络往返来提高速度。因此可以根据实际情况来选择走pipeline模式将多个命令打包到一个报文发送然后接受响应，而Redis协议也能很简单的识别和解决粘包。

 

1、修改之前的代码片段

red:init_pipeline()
red:set("msg1", "hello1")
red:set("msg2", "hello2")
red:get("msg1")
red:get("msg2")
local respTable, err = red:commit_pipeline()

--得到的数据为空处理
if respTable == ngx.null then
    respTable = {}  --比如默认值
end

--结果是按照执行顺序返回的一个table
for i, v in ipairs(respTable) do
   ngx.say("msg : ", v, "<br/>")
end

通过init_pipeline()初始化，然后通过commit_pipieline()打包提交init_pipeline()之后的Redis命令；返回结果是一个lua table，可以通过ipairs循环获取结果；

 

2、配置相应location，测试得到的结果

msg : OK
msg : OK
msg : hello1
msg : hello2

 

 

3、Redis Lua脚本

利用Redis单线程特性，可以通过在Redis中执行Lua脚本实现一些原子操作。如之前的red:get("msg")可以通过如下两种方式实现：

1、直接eval：

local resp, err = red:eval("return redis.call('get', KEYS[1])", 1, "msg");

2、script load然后evalsha  SHA1 校验和，这样可以节省脚本本身的服务器带宽：

local sha1, err = red:script("load",  "return redis.call('get', KEYS[1])");
if not sha1 then
   ngx.say("load script error : ", err)
   return close_redis(red)
end
ngx.say("sha1 : ", sha1, "<br/>")
local resp, err = red:evalsha(sha1, 1, "msg");

首先通过script load导入脚本并得到一个sha1校验和（仅需第一次导入即可），然后通过evalsha执行sha1校验和即可，这样如果脚本很长通过这种方式可以减少带宽的消耗。 

 

此处仅介绍了最简单的redis lua脚本，更复杂的请参考官方文档学习使用。

 

另外Redis集群分片算法该客户端没有提供需要自己实现，当然可以考虑直接使用类似于Twemproxy这种中间件实现。

Memcached客户端使用方式和本文类似，本文就不介绍了。

 

Mysql客户端

lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端，通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-mysql。

 

1、编辑test_mysql.lua

local function close_db(db)
    if not db then
        return
    end
    db:close()
end

local mysql = require("resty.mysql")
--创建实例
local db, err = mysql:new()
if not db then
    ngx.say("new mysql error : ", err)
    return
end
--设置超时时间(毫秒)
db:set_timeout(1000)

local props = {
    host = "127.0.0.1",
    port = 3306,
    database = "mysql",
    user = "root",
    password = "123456"
}

local res, err, errno, sqlstate = db:connect(props)

if not res then
   ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

--删除表
local drop_table_sql = "drop table if exists test"
res, err, errno, sqlstate = db:query(drop_table_sql)
if not res then
   ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

--创建表
local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"
res, err, errno, sqlstate = db:query(create_table_sql)
if not res then
   ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

--插入
local insert_sql = "insert into test (ch) values('hello')"
res, err, errno, sqlstate = db:query(insert_sql)
if not res then
   ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

res, err, errno, sqlstate = db:query(insert_sql)

ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, "<br/>")

--更新
local update_sql = "update test set ch = 'hello2' where id =" .. res.insert_id
res, err, errno, sqlstate = db:query(update_sql)
if not res then
   ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

ngx.say("update rows : ", res.affected_rows, "<br/>")
--查询
local select_sql = "select id, ch from test"
res, err, errno, sqlstate = db:query(select_sql)
if not res then
   ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end


for i, row in ipairs(res) do
   for name, value in pairs(row) do
     ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")
   end
end

ngx.say("<br/>")
--防止sql注入
local ch_param = ngx.req.get_uri_args()["ch"] or ''
--使用ngx.quote_sql_str防止sql注入
local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)
res, err, errno, sqlstate = db:query(query_sql)
if not res then
   ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

for i, row in ipairs(res) do
   for name, value in pairs(row) do
     ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")
   end
end

--删除
local delete_sql = "delete from test"
res, err, errno, sqlstate = db:query(delete_sql)
if not res then
   ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
   return close_db(db)
end

ngx.say("delete rows : ", res.affected_rows, "<br/>")


close_db(db)

 

对于新增/修改/删除会返回如下格式的响应：

{
    insert_id = 0,
    server_status = 2,
    warning_count = 1,
    affected_rows = 32,
    message = nil
}

affected_rows表示操作影响的行数，insert_id是在使用自增序列时产生的id。

 

对于查询会返回如下格式的响应：

{
    { id= 1, ch= "hello"},
    { id= 2, ch= "hello2"}
}

null将返回ngx.null。

 

2、example.conf配置文件

location /lua_mysql {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_mysql.lua;
}

 

3、访问如http://192.168.1.2/lua_mysql?ch=hello进行测试，得到如下结果

insert rows : 1 , id : 2
update rows : 1
select row 1 : ch = hello
select row 1 : id = 1
select row 2 : ch = hello2
select row 2 : id = 2
select row 1 : ch = hello
select row 1 : id = 1
delete rows : 2

客户端目前还没有提供预编译SQL支持（即占位符替换位置变量），这样在入参时记得使用ngx.quote_sql_str进行字符串转义，防止sql注入；连接池和之前Redis客户端完全一样就不介绍了。

 

对于Mysql客户端的介绍基本够用了，更多请参考https://github.com/openresty/lua-resty-mysql。

 

其他如MongoDB等数据库的客户端可以从github上查找使用。

 

Http客户端

OpenResty默认没有提供Http客户端，需要使用第三方提供；当然我们可以通过ngx.location.capture 去方式实现，但是有一些限制，后边我们再做介绍。

 

我们可以从github上搜索相应的客户端，比如https://github.com/pintsized/lua-resty-http。

 

lua-resty-http

 

1、下载lua-resty-http客户端到lualib 

cd /usr/example/lualib/resty/
wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua
wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua

 

2、test_http_1.lua

local http = require("resty.http")
--创建http客户端实例
local httpc = http.new()

local resp, err = httpc:request_uri("http://s.taobao.com", {
    method = "GET",
    path = "/search?q=hello",
    headers = {
        ["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
    }
})

if not resp then
    ngx.say("request error :", err)
    return
end

--获取状态码
ngx.status = resp.status

--获取响应头
for k, v in pairs(resp.headers) do
    if k ~= "Transfer-Encoding" and k ~= "Connection" then
        ngx.header[k] = v
    end
end
--响应体
ngx.say(resp.body)

httpc:close()

 

响应头中的Transfer-Encoding和Connection可以忽略，因为这个数据是当前server输出的。

 

3、example.conf配置文件

location /lua_http_1 {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_http_1.lua;
}

4、在nginx.conf中的http部分添加如下指令来做DNS解析

resolver 8.8.8.8;

记得要配置DNS解析器resolver 8.8.8.8，否则域名是无法解析的。

5、访问如http://192.168.1.2/lua_http_1会看到淘宝的搜索界面。

使用方式比较简单，如超时和连接池设置和之前Redis客户端一样，不再阐述。更多客户端使用规则请参考https://github.com/pintsized/lua-resty-http。

 

ngx.location.capture

ngx.location.capture也可以用来完成http请求，但是它只能请求到相对于当前nginx服务器的路径，不能使用之前的绝对路径进行访问，但是我们可以配合nginx upstream实现我们想要的功能。

 

1、在nginx.cong中的http部分添加如下upstream配置

upstream backend {
    server s.taobao.com;
    keepalive 100;
}

即我们将请求upstream到backend；另外记得一定要添加之前的DNS解析器。

 

2、在example.conf配置如下location

location ~ /proxy/(.*) {
   internal;
   proxy_pass http://backend/$1$is_args$args;
}

internal表示只能内部访问，即外部无法通过url访问进来； 并通过proxy_pass将请求转发到upstream。

 

3、test_http_2.lua

local resp = ngx.location.capture("/proxy/search", {
    method = ngx.HTTP_GET,
    args = {q = "hello"}

})
if not resp then
    ngx.say("request error :", err)
    return
end
ngx.log(ngx.ERR, tostring(resp.status))

--获取状态码
ngx.status = resp.status

--获取响应头
for k, v in pairs(resp.header) do
    if k ~= "Transfer-Encoding" and k ~= "Connection" then
        ngx.header[k] = v
    end
end
--响应体
if resp.body then
    ngx.say(resp.body)
end

通过ngx.location.capture发送一个子请求，此处因为是子请求，所有请求头继承自当前请求，还有如ngx.ctx和ngx.var是否继承可以参考官方文档http://wiki.nginx.org/HttpLuaModule#ngx.location.capture。 另外还提供了ngx.location.capture_multi用于并发发出多个请求，这样总的响应时间是最慢的一个，批量调用时有用。

 

4、example.conf配置文件

location /lua_http_2 {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_http_2.lua;
}

 

5、访问如http://192.168.1.2/lua_http_2进行测试可以看到淘宝搜索界面。

 

我们通过upstream+ngx.location.capture方式虽然麻烦点，但是得到更好的性能和upstream的连接池、负载均衡、故障转移、proxy cache等特性。

 

JSON库

 

在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成一些特殊要求。而在使用dkjson时也没有遇到性能问题，目前使用的就是dkjson。使用时要特别注意的是大部分JSON库都仅支持UTF-8编码；因此如果你的字符编码是如GBK则需要先转换为UTF-8然后进行处理。

1.1、test_cjson.lua

local cjson = require("cjson")

--lua对象到字符串
local obj = {
    id = 1,
    name = "zhangsan",
    age = nil,
    is_male = false,
    hobby = {"film", "music", "read"}
}

local str = cjson.encode(obj)
ngx.say(str, "<br/>")

--字符串到lua对象
str = '{"hobby":["film","music","read"],"is_male":false,"name":"zhangsan","id":1,"age":null}'
local obj = cjson.decode(str)

ngx.say(obj.age, "<br/>")
ngx.say(obj.age == nil, "<br/>")
ngx.say(obj.age == cjson.null, "<br/>")
ngx.say(obj.hobby[1], "<br/>")


--循环引用
obj = {
   id = 1
}
obj.obj = obj
-- Cannot serialise, excessive nesting
--ngx.say(cjson.encode(obj), "<br/>")
local cjson_safe = require("cjson.safe")
--nil
ngx.say(cjson_safe.encode(obj), "<br/>")

null将会转换为cjson.null；循环引用会抛出异常Cannot serialise, excessive nesting，默认解析嵌套深度是1000，可以通过cjson.encode_max_depth()设置深度提高性能；使用cjson.safe不会抛出异常而是返回nil。 

 

1.2、example.conf配置文件

location ~ /lua_cjson {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_cjson.lua;
}

 

1.3、访问如http://192.168.1.2/lua_cjson将得到如下结果

{"hobby":["film","music","read"],"is_male":false,"name":"zhangsan","id":1}
null
false
true
film
nil

 

lua-cjson文档http://www.kyne.com.au/~mark/software/lua-cjson-manual.html。

 

接下来学习下dkjson。

 

2.1、下载dkjson库 

cd /usr/example/lualib/
wget http://dkolf.de/src/dkjson-lua.fsl/raw/dkjson.lua?name=16cbc26080996d9da827df42cb0844a25518eeb3 -O dkjson.lua

 

2.2、test_dkjson.lua

local dkjson = require("dkjson")

--lua对象到字符串
local obj = {
    id = 1,
    name = "zhangsan",
    age = nil,
    is_male = false,
    hobby = {"film", "music", "read"}
}

local str = dkjson.encode(obj, {indent = true})
ngx.say(str, "<br/>")

--字符串到lua对象
str = '{"hobby":["film","music","read"],"is_male":false,"name":"zhangsan","id":1,"age":null}'
local obj, pos, err = dkjson.decode(str, 1, nil)

ngx.say(obj.age, "<br/>")
ngx.say(obj.age == nil, "<br/>")
ngx.say(obj.hobby[1], "<br/>")

--循环引用
obj = {
   id = 1
}
obj.obj = obj
--reference cycle
--ngx.say(dkjson.encode(obj), "<br/>")

默认情况下解析的json的字符会有缩排和换行，使用{indent = true}配置将把所有内容放在一行。和cjson不同的是解析json字符串中的null时会得到nil。  

2.3、example.conf配置文件

location ~ /lua_dkjson {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_dkjson.lua;
}

 

2.4、访问如http://192.168.1.2/lua_dkjson将得到如下结果

{ "hobby":["film","music","read"], "is_male":false, "name":"zhangsan", "id":1 }
nil
true
film

dkjson文档http://dkolf.de/src/dkjson-lua.fsl/home和http://dkolf.de/src/dkjson-lua.fsl/wiki?name=Documentation。

 

编码转换

我们在使用一些类库时会发现大部分库仅支持UTF-8编码，因此如果使用其他编码的话就需要进行编码转换的处理；而Linux上最常见的就是iconv，而lua-iconv就是它的一个Lua API的封装。

 

安装lua-iconv可以通过如下两种方式：

ubuntu下可以使用如下方式

apt-get install luarocks
luarocks install lua-iconv
cp /usr/local/lib/lua/5.1/iconv.so  /usr/example/lualib/

源码安装方式，需要有gcc环境

wget https://github.com/do^Cloads/ittner/lua-iconv/lua-iconv-7.tar.gz
tar -xvf lua-iconv-7.tar.gz
cd lua-iconv-7
gcc -O2 -fPIC -I/usr/include/lua5.1 -c luaiconv.c -o luaiconv.o -I/usr/include
gcc -shared -o iconv.so -L/usr/local/lib luaiconv.o -L/usr/lib
cp iconv.so  /usr/example/lualib/

  

1、test_iconv.lua

ngx.say("中文")

此时文件编码必须为UTF-8，即Lua文件编码为什么里边的字符编码就是什么。

  

2、example.conf配置文件

location ~ /lua_iconv {
   default_type 'text/html';
   charset gbk;
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_iconv.lua;
}

通过charset告诉浏览器我们的字符编码为gbk。  

 

3、访问 http://192.168.1.2/lua_iconv会发现输出乱码；

 

此时需要我们将test_iconv.lua中的字符进行转码处理：

local iconv = require("iconv")
local togbk = iconv.new("gbk", "utf-8")
local str, err = togbk:iconv("中文")
ngx.say(str)

通过转码我们得到最终输出的内容编码为gbk， 使用方式iconv.new(目标编码, 源编码)。

 

有如下可能出现的错误：

nil
    没有错误成功。
iconv.ERROR_NO_MEMORY
    内存不足。
iconv.ERROR_INVALID
    有非法字符。
iconv.ERROR_INCOMPLETE
    有不完整字符。
iconv.ERROR_FINALIZED
    使用已经销毁的转换器，比如垃圾回收了。
iconv.ERROR_UNKNOWN
    未知错误

 

iconv在转换时遇到非法字符或不能转换的字符就会失败，此时可以使用如下方式忽略转换失败的字符

local togbk_ignore = iconv.new("GBK//IGNORE", "UTF-8")

 

另外在实际使用中进行UTF-8到GBK转换过程时，会发现有些字符在GBK编码表但是转换不了，此时可以使用更高的编码GB18030来完成转换。 

 

更多介绍请参考http://ittner.github.io/lua-iconv/。

 

位运算

Lua 5.3之前是没有提供位运算支持的，需要使用第三方库，比如LuaJIT提供了bit库。

1、test_bit.lua 

local bit = require("bit")
ngx.say(bit.lshift(1, 2))

lshift进行左移位运算，即得到4。

  

其他位操作API请参考http://bitop.luajit.org/api.html。Lua 5.3的位运算操作符http://cloudwu.github.io/lua53doc/manual.html#3.4.2. 

 

cache

ngx_lua模块本身提供了全局共享内存ngx.shared.DICT可以实现全局共享，另外可以使用如Redis来实现缓存。另外还一个lua-resty-lrucache实现，其和ngx.shared.DICT不一样的是它是每Worker进程共享，即每个Worker进行会有一份缓存，而且经过实际使用发现其性能不如ngx.shared.DICT。但是其好处就是不需要进行全局配置。

 

1、创建缓存模块来实现只初始化一次：

vim /usr/example/lualib/mycache.lua

local lrucache = require("resty.lrucache")
--创建缓存实例，并指定最多缓存多少条目
local cache, err = lrucache.new(200)
if not cache then
   ngx.log(ngx.ERR, "create cache error : ", err)
end

local function set(key, value, ttlInSeconds)
    cache:set(key, value, ttlInSeconds)
end

local function get(key)
    return cache:get(key)
end

local _M = {
  set = set,
  get = get
}

return _M

此处利用了模块的特性实现了每个Worker进行只初始化一次cache实例。

 

2、test_lrucache.lua  

local mycache = require("mycache")
local count = mycache.get("count") or 0
count = count + 1
mycache.set("count", count, 10 * 60 * 60) --10分钟
ngx.say(mycache.get("count"))

可以实现诸如访问量统计，但仅是每Worker进程的。   

 

3、example.conf配置文件

location ~ /lua_lrucache {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_lrucache.lua;
}

访问如http://192.168.1.2/lua_lrucache测试。

 

更多介绍请参考https://github.com/openresty/lua-resty-lrucache。

 

字符串处理

Lua 5.3之前没有提供字符操作相关的函数，如字符串截取、替换等都是字节为单位操作；在实际使用时尤其包含中文的场景下显然不能满足需求；即使Lua 5.3也仅提供了基本的UTF-8操作。

 

Lua UTF-8库

https://github.com/starwing/luautf8

 

LuaRocks安装

#首先确保git安装了
apt-get install git
luarocks install utf8
cp /usr/local/lib/lua/5.1/utf8.so  /usr/example/lualib/

 

源码安装

wget https://github.com/starwing/luautf8/archive/master.zip
unzip master.zip
cd luautf8-master/
gcc -O2 -fPIC -I/usr/include/lua5.1 -c utf8.c -o utf8.o -I/usr/include
gcc -shared -o utf8.so -L/usr/local/lib utf8.o -L/usr/lib

 

1、test_utf8.lua

local utf8 = require("utf8")
local str = "abc中文"
ngx.say("len : ", utf8.len(str), "<br/>")
ngx.say("sub : ", utf8.sub(str, 1, 4))

文件编码必须为UTF8，此处我们实现了最常用的字符串长度计算和字符串截取。

2、example.conf配置文件

location ~ /lua_utf8 {
   default_type 'text/html';
   lua_code_cache on;
   content_by_lua_file /usr/example/lua/test_utf8.lua;
}

  

3、访问如http://192.168.1.2/lua_utf8测试得到如下结果

len : 5
sub : abc中

 

字符串转换为unicode编码：

local bit = require("bit")
local bit_band = bit.band
local bit_bor = bit.bor
local bit_lshift = bit.lshift
local string_format = string.format
local string_byte = string.byte
local table_concat = table.concat

local function utf8_to_unicode(str)
    if not str or str == "" or str == ngx.null then
        return nil
    end
    local res, seq, val = {}, 0, nil
    for i = 1, #str do
        local c = string_byte(str, i)
        if seq == 0 then
            if val then
                res[#res + 1] = string_format("%04x", val)
            end

           seq = c < 0x80 and 1 or c < 0xE0 and 2 or c < 0xF0 and 3 or
                              c < 0xF8 and 4 or --c < 0xFC and 5 or c < 0xFE and 6 or
                              0
            if seq == 0 then
                ngx.log(ngx.ERR, 'invalid UTF-8 character sequence' .. ",,," .. tostring(str))
                return str
            end

            val = bit_band(c, 2 ^ (8 - seq) - 1)
        else
            val = bit_bor(bit_lshift(val, 6), bit_band(c, 0x3F))
        end
        seq = seq - 1
    end
    if val then
        res[#res + 1] = string_format("%04x", val)
    end
    if #res == 0 then
        return str
    end
    return "\\u" .. table_concat(res, "\\u")
end

ngx.say("utf8 to unicode : ", utf8_to_unicode("abc中文"), "<br/>")

如上方法将输出utf8 to unicode : \u0061\u0062\u0063\u4e2d\u6587。

 

删除空格：

local function ltrim(s)
    if not s then
        return s
    end
    local res = s
    local tmp = string_find(res, '%S')
    if not tmp then
        res = ''
    elseif tmp ~= 1 then
        res = string_sub(res, tmp)
    end
    return res
end

local function rtrim(s)
    if not s then
        return s
    end
    local res = s
    local tmp = string_find(res, '%S%s*$')
    if not tmp then
        res = ''
    elseif tmp ~= #res then
        res = string_sub(res, 1, tmp)
    end

    return res
end

local function trim(s)
    if not s then
        return s
    end
    local res1 = ltrim(s)
    local res2 = rtrim(res1)
    return res2
end

 

字符串分割：

function split(szFullString, szSeparator)
    local nFindStartIndex = 1
    local nSplitIndex = 1
    local nSplitArray = {}
    while true do
       local nFindLastIndex = string.find(szFullString, szSeparator, nFindStartIndex)
       if not nFindLastIndex then
        nSplitArray[nSplitIndex] = string.sub(szFullString, nFindStartIndex, string.len(szFullString))
        break
       end
       nSplitArray[nSplitIndex] = string.sub(szFullString, nFindStartIndex, nFindLastIndex - 1)
       nFindStartIndex = nFindLastIndex + string.len(szSeparator)
       nSplitIndex = nSplitIndex + 1
    end
    return nSplitArray
end

如split("a,b,c", ",") 将得到一个分割后的table。

 

动态web网页开发是Web开发中一个常见的场景，比如像京东商品详情页，其页面逻辑是非常复杂的，需要使用模板技术来实现。而Lua中也有许多模板引擎，如目前我在使用的lua-resty-template，可以渲染很复杂的页面，借助LuaJIT其性能也是可以接受的。

 

如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行；而lua-resty-template模板引擎可以认为是JSP，其最终会被翻译成Lua代码，然后通过ngx.print输出。

 

而lua-resty-template和大多数模板引擎是类似的，大体内容有：

模板位置：从哪里查找模板；

变量输出/转义：变量值输出；

代码片段：执行代码片段，完成如if/else、for等复杂逻辑，调用对象函数/方法；

注释：解释代码片段含义；

include：包含另一个模板片段；

其他：lua-resty-template还提供了不需要解析片段、简单布局、可复用的代码块、宏指令等支持。

 

首先需要下载lua-resty-template

cd /usr/example/lualib/resty/
wget https://raw.githubusercontent.com/bungle/lua-resty-template/master/lib/resty/template.lua
mkdir /usr/example/lualib/resty/html
cd /usr/example/lualib/resty/html
wget https://raw.githubusercontent.com/bungle/lua-resty-template/master/lib/resty/template/html.lua

接下来就可以通过如下代码片段引用了

local template = require("resty.template")

  

模板位置

我们需要告诉lua-resty-template去哪儿加载我们的模块，此处可以通过set指令定义template_location、template_root或者从root指令定义的位置加载。

 

如我们可以在example.conf配置文件的server部分定义

#first match ngx location
set $template_location "/templates";
#then match root read file
set $template_root "/usr/example/templates";

也可以通过在server部分定义root指令

root /usr/example/templates;

 

其顺序是

local function load_ngx(path)
    local file, location = path, ngx_var.template_location
    if file:sub(1)  == "/" then file = file:sub(2) end
    if location and location ~= "" then
        if location:sub(-1) == "/" then location = location:sub(1, -2) end
        local res = ngx_capture(location .. '/' .. file)
        if res.status == 200 then return res.body end
    end
    local root = ngx_var.template_root or ngx_var.document_root
    if root:sub(-1) == "/" then root = root:sub(1, -2) end
    return read_file(root .. "/" .. file) or path
end

1、通过ngx.location.capture从template_location查找，如果找到（状态为为200）则使用该内容作为模板；此种方式是一种动态获取模板方式；

 

2、如果定义了template_root，则从该位置通过读取文件的方式加载模板；

3、如果没有定义template_root，则默认从root指令定义的document_root处加载模板。

 

此处建议首先template_root，如果实在有问题再使用template_location，尽量不要通过root指令定义的document_root加载，因为其本身的含义不是给本模板引擎使用的。

 

接下来定义模板位置

mkdir /usr/example/templates
mkdir /usr/example/templates2

 

example.conf配置server部分

#first match ngx location
set $template_location "/templates";
#then match root read file
set $template_root "/usr/example/templates";

location /templates {
     internal;
     alias /usr/example/templates2;
}

首先查找/usr/example/template2，找不到会查找/usr/example/templates。

 

然后创建两个模板文件

vim /usr/example/templates2/t1.html

内容为 

template2

 

vim /usr/example/templates/t1.html

内容为 

template1

 

test_temlate_1.lua 

local template = require("resty.template")
template.render("t1.html")

 

example.conf配置文件

location /lua_template_1 {
    default_type 'text/html';
    lua_code_cache on;
    content_by_lua_file /usr/example/lua/test_template_1.lua;
}

访问如http://192.168.1.2/lua_template_1将看到template2输出。然后rm /usr/example/templates2/t1.html，reload nginx将看到template1输出。

 

接下来的测试我们会把模板文件都放到/usr/example/templates下。

 

API

使用模板引擎目的就是输出响应内容；主要用法两种：直接通过ngx.print输出或者得到模板渲染之后的内容按照想要的规则输出。

 

1、test_template_2.lua

local template = require("resty.template")
--是否缓存解析后的模板，默认true
template.caching(true)
--渲染模板需要的上下文(数据)
local context = {title = "title"}
--渲染模板
template.render("t1.html", context)


ngx.say("<br/>")
--编译得到一个lua函数
local func = template.compile("t1.html")
--执行函数，得到渲染之后的内容
local content = func(context)
--通过ngx API输出
ngx.say(content)

常见用法即如下两种方式：要么直接将模板内容直接作为响应输出，要么得到渲染后的内容然后按照想要的规则输出。

 

2、examle.conf配置文件

location /lua_template_2 {
    default_type 'text/html';
    lua_code_cache on;
    content_by_lua_file /usr/example/lua/test_template_2.lua;
}

  

使用示例

1、test_template_3.lua

local template = require("resty.template")

local context = {
    title = "测试",
    name = "张三",
    description = "<script>alert(1);</script>",
    age = 20,
    hobby = {"电影", "音乐", "阅读"},
    score = {语文 = 90, 数学 = 80, 英语 = 70},
    score2 = {
        {name = "语文", score = 90},
        {name = "数学", score = 80},
        {name = "英语", score = 70},
    }
}

template.render("t3.html", context)

请确认文件编码为UTF-8；context即我们渲染模板使用的数据。 

 

2、模板文件/usr/example/templates/t3.html

{(header.html)}
   <body>
      {# 不转义变量输出 #}
      姓名：{* string.upper(name) *}<br/>
      {# 转义变量输出 #}
      简介：{{description}}<br/>
      {# 可以做一些运算 #}
      年龄: {* age + 1 *}<br/>
      {# 循环输出 #}
      爱好：
      {% for i, v in ipairs(hobby) do %}
         {% if i > 1 then %}，{% end %}
         {* v *}
      {% end %}<br/>

      成绩：
      {% local i = 1; %}
      {% for k, v in pairs(score) do %}
         {% if i > 1 then %}，{% end %}
         {* k *} = {* v *}
         {% i = i + 1 %}
      {% end %}<br/>
      成绩2：
      {% for i = 1, #score2 do local t = score2[i] %}
         {% if i > 1 then %}，{% end %}
          {* t.name *} = {* t.score *}
      {% end %}<br/>
      {# 中间内容不解析 #}
      {-raw-}{(file)}{-raw-}
{(footer.html)}

{(include_file)}：包含另一个模板文件；

 

{* var *}：变量输出；

{{ var }}：变量转义输出；

{% code %}：代码片段；

{# comment #}：注释；

{-raw-}：中间的内容不会解析，作为纯文本输出；

 

模板最终被转换为Lua代码进行执行，所以模板中可以执行任意Lua代码。 

 

3、example.conf配置文件

location /lua_template_3 {
    default_type 'text/html';
    lua_code_cache on;
    content_by_lua_file /usr/example/lua/test_template_3.lua;
}

访问如http://192.168.1.2/lua_template_3进行测试。