skynet源码分析之cluster集群模式

比起slave/harbor集群模式，skynet提供了用的更为广泛的cluster集群模式，参考官方wiki https://github.com/cloudwu/skynet/wiki/Cluster。cluster模式利用socketchannel库（http://www.cnblogs.com/RainRill/p/8892648.html） 与其他skynet进程进行交互，每个请求包带一个唯一的session值，对端回应包附带session值。cluster集群模式tcp通道是单向的，即skynet进程1（集群中的节点）通过tcp通道向进程2发送请求包，进程2回应包也走这一通道。但是，进程2向进程1发送请求包及进程1的回应包则是另一条tcp通道。

每个集群节点都有一份完整的cluster配置，会启动一个clusterd的服务，调用loadconfig加载配置。

 第11-19行，加载配置文件（也可以手动传入配置table tmp）

第20-24行，保存节点名-地址映射关系

-- service/clusterd.lua
 skynet.start(function()
     loadconfig()
     skynet.dispatch("lua", function(session , source, cmd, ...)
         local f = assert(command[cmd])
         f(source, ...)
     end)
 end)
 
 local function loadconfig(tmp)
     if tmp == nil then
         tmp = {}
         if config_name then
             local f = assert(io.open(config_name))
             local source = f:read "*a"
             f:close()
             assert(load(source, "@"..config_name, "t", tmp))()
         end
     end
     for name,address in pairs(tmp) do
         ...
         node_address[name] = address
         ...
     end
 end

以skynet进程1的A服务向skynet进程2的B服务发送请求包及回应为例，说明cluster的工作流程：

 对于进程2，配置了 db = "127.0.0.1:2528"，启动后调用cluster.open "db"。

第4行，给clusterd服务发送消息。

第12-15行，启动一个gate服务，然后通知gate服务监听配置的地址。gate调用socket.listen监听外部socket连接。

第20行，watchdog就是clusterd服务的地址。

-- lualib/skynet/cluster.lua
function cluster.open(port)
    if type(port) == "string" then
        skynet.call(clusterd, "lua", "listen", port)
    else
        skynet.call(clusterd, "lua", "listen", "0.0.0.0", port)
    end
end

-- service/clusterd.lua
function command.listen(source, addr, port)
    local gate = skynet.newservice("gate")
    ...
    skynet.call(gate, "lua", "open", { address = addr, port = port })
    skynet.ret(skynet.pack(nil))
end

-- servcice/gate.lua
function handler.open(source, conf)
    watchdog = conf.watchdog or source
end

对于进程1，调用cluster.call(db, "A", ...)，给节点名为db（进程2）的A服务发送请求，最终调用到send_request

第9行，请求包带上唯一的sesssion值

第11行，按cluster定义的模式打包数据

第15行，获取socketchannel对象，如果第一次请求，会先创建socketchannel对象，并建立tcp连接

第16行，调用socketchannel的request接口发送请求包

-- lualib/skynet/cluster.lua
function cluster.call(node, address, ...)
    -- skynet.pack(...) will free by cluster.core.packrequest
    return skynet.call(clusterd, "lua", "req", node, address, skynet.pack(...))
end

-- service/clusterd.lua
local function send_request(source, node, addr, msg, sz)
    local session = node_session[node] or 1
    -- msg is a local pointer, cluster.packrequest will free it
    local request, new_session, padding = cluster.packrequest(addr, session, msg, sz)
    node_session[node] = new_session

    -- node_channel[node] may yield or throw error
    local c = node_channel[node]

    return c:request(request, session, padding)
end

function command.req(...)
    local ok, msg = pcall(send_request, ...)
    if ok then
        ...
        skynet.ret(msg)
    end
end

创建socket对象时提供了response参数（第6行），所以是采用带session值的请求-回应模式。

第11行，协程阻塞在socket.read上，此时暂停co，等待回应包

-- service/clusterd
    local host, port = string.match(address, "([^:]+):(.*)$")
    c = sc.channel {
        host = host,
        port = tonumber(port),
        response = read_response,
        nodelay = true,
    }

local function read_response(sock)
    local sz = socket.header(sock:read(2))
    local msg = sock:read(sz)
    return cluster.unpackresponse(msg)      -- session, ok, data, padding
end

对于进程2，gate服务收到进程1的tcp连接请求后，

第8行，给clusterd服务发送消息

第17-18行，clusterd收到后，新建一个clusteragent服务。注：clusteragent是skynet最近新加的。参考https://blog.codingnow.com/2018/04/skynet_cluster.html#more

第24-28行，clusteragent服务专门处理进程1的cluster模式的请求。每个cluster节点连接都新建一个cluseteragent服务去处理请求包。

-- service/gate.lua
function handler.connect(fd, addr)
    local c = {
        fd = fd,
        ip = addr,
    }
    connection[fd] = c
    skynet.send(watchdog, "lua", "socket", "open", fd, addr)
end

-- service/clusterd.lua
function command.socket(source, subcmd, fd, msg)
    if subcmd == "open" then
        skynet.error(string.format("socket accept from %s", msg))
        -- new cluster agent
        cluster_agent[fd] = false
        local agent = skynet.newservice("clusteragent", skynet.self(), source, fd)
        cluster_agent[fd] = agent
        ...     
end

-- service/clusterdagent.lua
skynet.start(function()
    skynet.register_protocol {
        name = "client",
        id = skynet.PTYPE_CLIENT,
        unpack = cluster.unpackrequest,
        dispatch = dispatch_request,
    }
    ...
end

当gate服务收到请求包后，转发给对应的clusteragent服务（第7行），

-- service/gate.lua
function handler.message(fd, msg, sz)
    -- recv a package, forward it
    local c = connection[fd]
    local agent = c.agent
    if agent then
        skynet.redirect(agent, c.client, "client", fd, msg, sz)
    else
        skynet.send(watchdog, "lua", "socket", "data", fd, netpack.tostring(msg, sz))
    end
end

clusteragent服务消息分发函数dispatch_request，

第7-9行，如果是push请求，不需要回应，send给目的服务（B服务）后直接返回即可

第11行，如果是call请求，需要回应，给目的服务（B服务）发送消息，然后等待B服务处理完返回。

第14-21行，将消息打包成回应包，通过tcp返回给请求端（skynet进程1）。

进程1收到回应后，重启协程，返回结果给请求服务（A服务）。这就是cluster模式的调用流程。

-- service/clusteragent.lua
local function dispatch_request(_,_,addr, session, msg, sz, padding, is_push)
    if cluster.isname(addr) then
        addr = register_name[addr]
    end
    if addr then
        if is_push then
            skynet.rawsend(addr, "lua", msg, sz)
            return  -- no response
        else
            ok , msg, sz = pcall(skynet.rawcall, addr, "lua", msg, sz)
        end
    if ok then
        response = cluster.packresponse(session, true, msg, sz)
        if type(response) == "table" then
            for _, v in ipairs(response) do
                socket.lwrite(fd, v)
            end
        else
            socket.write(fd, response)
        end
     ...
end