摘要: Tensorflow的基本概念与常用函数 2、tf函数 TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可能 阅读全文
posted @ 2019-12-19 10:31 胡~萝~卜 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 词性解释 CC: conjunction, coordinatin 表示连词 CD: numeral, cardinal 表示基数词 DT: determiner 表示限定词 EX: existential there 存在句 FW: foreign word 外来词 IN: preposition 阅读全文
posted @ 2019-11-27 15:38 胡~萝~卜 阅读(554) 评论(0) 推荐(0) 编辑
摘要: 使用 bert 生成词向量: ##### 运行此脚本 export BERT_BASE_DIR = ./chinese_L-12_H-768_A-12 ## 模型地址exprot Data_Dir = ./datapython bert-master/extract_features.py \ -- 阅读全文
posted @ 2019-11-22 16:01 胡~萝~卜 阅读(913) 评论(2) 推荐(0) 编辑
摘要: ###### 在Linux系统下运行 ####### 实验步骤: Step 1: 从github上下载工具包 Step 2: 将语料处理成 “ 源语言 ||| 目标语言 ” 的形式。 Step 3: 安装必要的工具包: Step 4: 分步执行: Step 5: 运行代码如下: Step 6: 输出 阅读全文
posted @ 2019-10-17 10:59 胡~萝~卜 阅读(3225) 评论(0) 推荐(0) 编辑
摘要: 语料处理规则: 在机器翻译中,一份好的语料会对翻译模型有很大的提升。但不同的研究人员都有不同的处理规则,本文选用小牛翻译的处理语料的规则方法。 (1)过滤掉单词长度超过100和单个单词字符的长度超过40的句子。 (2)过滤掉源语言和目标语言的长度比大于1/3的句子。 (3)过滤掉包含HTML标签的句 阅读全文
posted @ 2019-10-16 21:11 胡~萝~卜 阅读(655) 评论(0) 推荐(0) 编辑
摘要: 按标点切分语料 查找语料中的外语### 本代码处理的事带有目标语言句子的源语言句子,将其定位之后再交换句子并生成新的文件 分词 还原句子 随机生成测试集 阅读全文
posted @ 2019-10-08 21:23 胡~萝~卜 阅读(677) 评论(0) 推荐(0) 编辑
摘要: 机器翻译: 机器翻译的任务可以看成是将一种源语言词序列转换成语义相等的另一种目标语言词序列。从某种意义上来看,它完成的是某一项序列转换任务,即将一个序列对象通过模型、算法按照某种知识、逻辑转换成为另外一个序列对象。现实生活中有许多的任务场景都是在完成序列对象之间的转换任务,机器翻译任务中的语言只是其 阅读全文
posted @ 2019-09-29 16:28 胡~萝~卜 阅读(231) 评论(0) 推荐(0) 编辑
摘要: os.path.abspath(path) #返回绝对路径 os.path.basename(path) #返回文件名 os.path.commonprefix(list) #返回list(多个路径)中,所有path共有的最长的路径。 os.path.dirname(path) #返回文件路径 os 阅读全文
posted @ 2019-09-26 16:42 胡~萝~卜 阅读(206) 评论(0) 推荐(0) 编辑
摘要: HTML属性: HTML元素可以设置属性,属性可以在元素中添加附加信息,且属性一般描述与开始标签。 属性值用双引号或者单引号都可以,但是如果属性值本身就含有双引号,则就必须使用单引号。 HTML水平线: <hr>标签在HTML页面中创建水平线。 hr元素用于分割内容 HTML注释: 注释写法如下 < 阅读全文
posted @ 2019-09-25 21:22 胡~萝~卜 阅读(129) 评论(0) 推荐(0) 编辑
摘要: HTML基础 4个实例 HTML标题: HTML标题是通过<h1>-<h6>标签来定义的 例如: HTML段落: HTML段落是通过<p>来定义的。 HTML链接: HTML链接时通过标签<a>来定义的。 提示:href 属性中指定链接的地址。 HTML图像: HTML图像是通过<img>来定义的。 阅读全文
posted @ 2019-09-25 20:29 胡~萝~卜 阅读(95) 评论(0) 推荐(0) 编辑