笔记:TensorFlow全连接层函数tf.layers.dense()原理

最近在用TensorFlow实现CNN网络时用到了全连接层，在网上看了很多有关全连接层实现的代码，发现相当一部分人都还是倾向于自己构造权重矩阵W和偏移矩阵b，利用矩阵乘法实现全连接层。
而TensorFlow中封装了全连接层函数tf.layers.dense()，但是官方文档中并没有解释其详细原理。网上有部分博客对此提及，但也少有涉及到内部实现原理的。于是今天自己动手做了个对比试验，来探究一下tf.layers.dense()函数的详细原理。

先贴结论：tf.layers.dense( input, units=k )会在内部自动生成一个权矩阵kernel和偏移项bias，各变量具体尺寸如下：对于尺寸为[m, n]的二维张量input， tf.layers.dense()会生成：尺寸为[n, k]的权矩阵kernel，和尺寸为[m, k]的偏移项bias。内部的计算过程为y = input * kernel + bias，输出值y的维度为[m, k]。

以下是实验代码。

import tensorflow as tf

# 1. 调用tf.layers.dense计算
input = tf.reshape(tf.constant([[1., 2.], [2., 3.]]), shape=[4, 1])    
b1 = tf.layers.dense(input,
                     units=2,
                     kernel_initializer=tf.constant_initializer(value=2),   # shape: [1,2]
                     bias_initializer=tf.constant_initializer(value=1))     # shape: [4,2]

# 2. 采用矩阵相乘的方式计算
kernel = tf.reshape(tf.constant([2., 2.]), shape=[1, 2])
bias = tf.reshape(tf.constant([1., 1., 1., 1., 1., 1., 1., 1.]), shape=[4, 2])
b2 = tf.add(tf.matmul(input, kernel), bias)

with tf.Session()as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(b1))
    print(sess.run(b2)) 

计算的结果如图所示，两种方法得到的结果相同。dense和linear一样。

 转载自：https://www.jianshu.com/p/3855908b4c29