Fork me on GitHub

怎么利用gpt2进行句子改写生成

参考我之前的一个项目给定title和keywords利用gpt2生成文本,从中可以看出只是利用了gpt2模型,没有其它模型上的改动或组合,变化的只是input部分,在input中,加入了title和keywords两部分。那么训练时候的model输入,就会有三部分:[BOS] + title + [SEP] + keywords + [SEP] + text + [EOS],所以生成的文章会与title和keywords有关。

一.根据以上,我们可以做一个小的实验,就是针对一个句子进行改写生成,或者説是可控生成,就是生成的句子不能偏离原句的意思。此实验是基于以上项目的改动,改动的部分只是input部分,这里只需去除title,针对句子提取keywords,输入:[BOS] + keywords + [SEP] + text + [EOS],这样生成的时候不会偏离原句大意。

二.实验结果

从结果中可看到有那么一点意思,不过整体还不够准确,句子改动过大。后期会考虑加入同义词这种外部知识来进行优化。

 

contact

如有搜索、推荐、nlp以及大数据挖掘等问题或合作,可联系我:

1、我的github:https://github.com/jiangnanboy

2、我的博客:https://jiangnanboy.github.io

3、我的QQ:2229029156

 

posted @ 2022-01-12 21:39  石头木  阅读(1045)  评论(0编辑  收藏  举报