随笔分类 - TensorFlow
摘要：采用国内镜像安装，示例如下： pip install tensorflow-gpu==1.15.0 -i https://pypi.doubanio.com/simple pip --default-timeout=1000000 install -U -i https://pypi.tuna.ts
阅读全文
摘要：一、Masked LM get_masked_lm_output函数用于计算「任务#1」的训练 loss。输入为 BertModel 的最后一层 sequence_output 输出（[batch_size, seq_length, hidden_size]）,先找出输出结果中masked掉的词，然
阅读全文
摘要：一、注意力层（attention layer） 重要：本层主要就是根据论文公式计算token之间的attention_scores(QKT),并且做softmax之后变成attention_probs，最后再与V相乘。值得注意的是，中间利用了attention_mask的技巧，返回多头注意力值。 d
阅读全文
摘要：一、BertModel主入口 class BertModel(object): """BERT model ("Bidirectional Encoder Representations from Transformers"). Example usage: ```python # Already
阅读全文
摘要：import numpy as np a = np.array([1,2,3,4,5,6,7,8]) #一维数组 print(a.shape) #值为8，因为有8个数据 b = np.array([[1,2,3,4],[5,6,7,8]]) #二维数组 print(b.shape) #值为2，最外层
阅读全文
摘要：很多时候在运行python代码的时候我们需要从外部定义参数，从而避免每次都需要改动代码，tf就提供了tf.app.flags功能。
阅读全文
摘要：一、变量相关的函数 1）tf.train.list_variables(ckpt_dir_or_file) Returns list of all variables in the checkpoint 2）tf.global_variables_initializer() 用于初始化所有的变量(G
阅读全文
摘要：一、计算图 TensorFlow中两个最重要的概念，一个是Tensor，一个是Flow。Tensor就是张量，Flow就是计算流。计算图中的每个节点就是一个张量，而张量之间的依赖关系就是计算流，也就是在计算图中从一个Tensor通过计算流到另一个Tensor。 在上述代码中，TensorFlow会自
阅读全文
摘要：一、tf.transpose函数的用法 tf.transpose(input, [dimension_1, dimenaion_2,..,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的，如果输入张量是二维，就相当是转置。dimension_n是整数，如果张量是三维，就是用0
阅读全文
摘要：sparse_softmax_cross_entropy_with_logits与softmax_cross_entropy_with_logits [ 0.71559191][ 0.71559191] 可以看出，softmax_cross_entropy_with_logits第二个参数传入的参数
阅读全文
摘要：import tensorflow as tf with tf.variable_scope('v_scope',reuse=True) as scope1: Weights1 = tf.get_variable('Weights', shape=[2,3]) bias1 = tf.get_vari
阅读全文
