Proj. CAR Paper Reading: C3PO: A Lightweight Copying Mechanism for Translating Pseudocode to Code

Abstract

本文:
方法:直接从伪代码中利用多数tokens,以此节约计算代价
步骤:

  1. Copy: 使用二分类来决定哪些pseudocode tokens to be masked,以便直接使用
  2. Generate: 使用Seq2Seq来生成masked PL code
  3. Combine: 结合generated sequence和masked tokens

效果:

  1. 减少了训练代价和vocabulary size
  2. 效果同其他大模型类似
posted @ 2023-06-21 00:13  雪溯  阅读(5)  评论(0编辑  收藏  举报