Proj. CAR Paper Reading: C3PO: A Lightweight Copying Mechanism for Translating Pseudocode to Code
Abstract
本文:
方法:直接从伪代码中利用多数tokens,以此节约计算代价
步骤:
- Copy: 使用二分类来决定哪些pseudocode tokens to be masked,以便直接使用
- Generate: 使用Seq2Seq来生成masked PL code
- Combine: 结合generated sequence和masked tokens
效果:
- 减少了训练代价和vocabulary size
- 效果同其他大模型类似