摘要:
一个连续函数f(x) = y,其中x和y都是实数,当x值有个微小的变化时,y的值也会只有一个微小的变化,所以f(x+epsilon_x) = y+epsilon_y,这里epsilon_x和epsilon_y都是一个很小的值。当f(x)函数代表一条光滑的曲线时,我们可以用一条直线模拟f(x)在点p周围的微小变化,因此我们可以再把上面的公式写成:
f(x+epsilon_x) = y + a*epsilon_x (前提是epsilon_x和epsilon_y都是一个很小的值),这里a是曲线f在点p的斜率,见下图。 阅读全文
摘要:
我们知道神经网络的每个层(layer)都会对输入数据做如下的转换:
output = relu(dot(W, input) + b)
上面表达式中的W和b都是张量数据(tensor),它们代表这个神经网络层的属性,也被称作权重(weights)。这些权重数据就是神经网络通过学习训练数据而获得的。 阅读全文