11 2018 档案

tensorflow 批次读取文件内的数据，并将顺序随机化处理. --[python]
摘要：使用tensorflow批次的读取预处理之后的文本数据，并将其分为一个迭代器批次： 比如此刻，我有一个处理之后的数据包： data.csv shape =(8,10)，其中这个结构中，前五个列为feature , 后五列为label 现在我需要将其分为4个批次： 也就是每个批次batch的大小为2 阅读全文

posted @ 2018-11-30 18:14 龚细军 阅读(2990) 评论(0) 推荐(0) 编辑

生成命令行接口--google开源的fire使用体验【python-fire】
摘要：在python中，命令行接口常用的argparse 和click,但是相对于python-fire 来说灵活度太缺了，fire可以直接将python中的函数，以命令行显示. 简单的介绍几个例子： 执行的格式为： python 如果fire.Fire()没有指定名称时： 需要在执行命令行时，带入函数名 阅读全文

posted @ 2018-11-30 10:48 龚细军 阅读(1586) 评论(0) 推荐(0) 编辑

序列标注模型中的两种标记模式
摘要：样例： 我爱使用小米手机玩王者荣耀 -> 我<S>爱<S>使<B>用<E>小<B>米<M>手<M>机<E>玩<S>王<B>者<M>荣<M>耀<E> 样例： 我爱使用小米手机玩王者荣耀 -> 我<S>爱<S>使<C>用<S>小<C>米<C>手<C>机<S>玩<S>王<C>者<C>荣 阅读全文

posted @ 2018-11-29 19:34 龚细军 阅读(1357) 评论(0) 推荐(0) 编辑

tensorflow 在加载大型的embedding模型参数时，会遇到cannot be larger than 2GB
摘要：这种问题是，对于每一个变量 variable 由于是基于protobuf存在这大小限制(2G),这个时候，我们需要将embedding拆开，拆分成N等分，来使得每一个 variable都在2G以下; 结果为: 阅读全文

posted @ 2018-11-21 16:35 龚细军 阅读(2355) 评论(1) 推荐(0) 编辑

关于bazel使用笔记
摘要：当我们在build一个文件时，需要另外的放置cache时，我们需要： bazel --output_user_root=/path/to/directory build //foo:bar 阅读全文

posted @ 2018-11-14 10:50 龚细军 阅读(350) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示