phxpaxos状态机的管理

一、phxpaxos内置的日志系统

为了应对系统故障、进程重启之类的工程问题，phxpaxos需要对系统的状态进行持久化存储。从最简单的情况来说，系统必须要保证所有proposer提议的实例ID是连续递增的，而这个信息本身就要求对系统的状态进行持久化存储。
但是，实例号的连续只是一个基础要求。考虑到paxos算法本身就是为了不稳定系统的强一致性问题，那么允许系统中的节点出现故障然后恢复的场景就不可避免。当一个节点重新启动之后，它如果获取整个系统的当前状态，同样是工程实现的一个重要问题。
为了满足第二个需求，每个节点可以保存自己所有已经执行过的日志，它的作用感觉是相当于一个“我为人人、人人为我”的保险互助功能：由于每个节点都存储了所有已经完成的协商信息，那么当少数节点故障重启之后，就可以从系统的其它节点中同步历史信息，从而进行追赶。
同样是在工程实现中，如果节点保留所有的历史信息，那么这个数据量是不可控制的，所以此时引入checkpoint机制。所有的协商结果都是用于改变状态机的状态，如果能够把状态机的状态保存起来，那么就可以把状态机之前的状态删除，这就相当于是一个同步点功能。举一个简单的例子，系统协商的是一个商品的价格，那么不同的提议可以设置不同的值(例如加10，减5等操作)，每轮提议都可以修改该值，但是无论如何，最终决定出来的都是一个数值。当系统中有其它节点加入系统之后，它就可以首先学习这个值，之后就可以在这个状态的基础上操作。再用一个更常见的例子来说明，当数据库主备迁移的时候，通常把当前的数据库状态拷贝到新机器，之后两者同时在接收并处理请求即可。

二、phxpaxos的日志实现

算法设计的目的是为了保证一个值被“接受”之后不再变化，所以问题的关键在于对acceptor状态的持久化。acceptor的状态包括它promise的值以及接受的值，所以在acceptor执行这些关键操作的时候就需要将这些信息进行持久化，系统中写入日志的场景包括下面三个：

1、promise时

int Acceptor :: OnPrepare(const PaxosMsg & oPaxosMsg)
{
……
int ret = m_oAcceptorState.Persist(GetInstanceID(), GetLastChecksum());
……
｝

2、accept时：

void Acceptor :: OnAccept(const PaxosMsg & oPaxosMsg)
{
……
int ret = m_oAcceptorState.Persist(GetInstanceID(), GetLastChecksum());
……
｝

3、learn时

int LearnerState :: LearnValue(const uint64_t llInstanceID, const BallotNumber & oLearnedBallot,
const std::string & sValue, const uint32_t iLastChecksum)
{
……
int ret = m_oPaxosLog.WriteState(oWriteOptions, m_poConfig->GetMyGroupIdx(), llInstanceID, oState);
……
｝

三、系统初始化时对InstanceID的处理

启动时会从本地存储中读取最大的InstanceID数值。由于leveldb支持这种获取最大键值的形式，所以这个操作没有问题。

int Acceptor :: Init()
{
uint64_t llInstanceID = 0;
int ret = m_oAcceptorState.Load(llInstanceID);
if (ret != 0)
{
NLErr("Load State fail, ret %d", ret);
return ret;
}

if (llInstanceID == 0)
{
PLGImp("Empty database");
}

SetInstanceID(llInstanceID);

PLGImp("OK");

return 0;
}

四、给其它节点发送系统acceptor状态

const bool LearnerSender :: Comfirm(const uint64_t llBeginInstanceID, const nodeid_t iSendToNodeID)

{
m_oLock.Lock();

bool bComfirmRet = false;

if (IsIMSending() && (!m_bIsComfirmed))
{
if (m_llBeginInstanceID == llBeginInstanceID && m_iSendToNodeID == iSendToNodeID)
{
bComfirmRet = true;

m_bIsComfirmed = true;
m_oLock.Interupt();
}
}

m_oLock.UnLock();

return bComfirmRet;
}

五、prepare、accept、learn对同一个InstanceID的操作

一个InstanceID的chosen可能要陆续经过这三次持久化，但是由于这个InstanceID是唯一的，所以之后的更新并不会产生新的实例，只是更新实例的状态。

六、当其它节点学习的时候，如何避免把prepare和accept状态下的未完成节点同步过去

发送的上限是learner中保存的已经学习到的实例，prepare和accept状态下的InstanceID大于m_poLearner->GetInstanceID()
void LearnerSender :: SendLearnedValue(const uint64_t llBeginInstanceID, const nodeid_t iSendToNodeID)
{
……
int iSendCount = 0;
while (llSendInstanceID < m_poLearner->GetInstanceID())
{
……
}