摘要：sequence_loss是nlp算法中非常重要的一个函数.rnn,lstm,attention都要用到这个函数.看下面代码: 先对每个[0.5,0.5,0.5,0.5]取softmax. softmax([0.5,0.5,0.5,0.5])=(0.25,0.25,0.25,0.25)然后再计算 l
阅读全文
摘要：在训练rnn模型时,很可能会遇到一段时间后,无论怎么训练,损失函数都不变化的情况.仿佛时间静止了一样.这时候很可能是大多数参数都不变了.也就是遇到了梯度消失的问题. 原理 令 $$ \begin{equation } \sigma(x)=\frac{1}{1+e^{ x}} \end{equatio
阅读全文
摘要：```
# coding:utf-8
from __future__ import absolute_import
from __future__ import unicode_literals
from __future__ import print_function
from __future__ import division import tensorflow as tf x = tf...
阅读全文
摘要：```
# coding: utf-8
from __future__ import print_function
from __future__ import division import tensorflow as tf
import numpy as np
import os
import argparse def dense_to_one_hot(input_data, class...
阅读全文
