摘要： GPT 继 BERT 之后，研究者们注意到了大规模预训练模型的潜力，不同的预训练任务、模型架构、训练策略等被提出。但 BERT 类模型通常存在两大缺点：一是过分依赖有标签数据；二是存在过拟合现象。 GPT1 传统NLP模型面临的两大缺点： 需要大量标注数据，高质量的标注数据往往很难获得 根据一个任务 阅读全文

摘要： Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 阅读全文