02 - 神经网络的数据表示

 

1. 基本概念

张量(tensor):输入网络的数据存储对象

张量运算: 层的组成要素

梯度下降: 可以让网络从训练样本中进行学习

 

1.1 张量的概念

1.1.1 标量(0 Dimension)

仅包含一个数字的张量叫作标量。在numpy中,一个float32 或 float64 的数字就是一个标量张量。

使用ndim 属性查看张量的维度。

Python 3.8.1 (tags/v3.8.1:1b293b6, Dec 18 2019, 23:11:46) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> x = np.array(12)
>>> x
array(12)
>>> x.ndim
0

 

1.1.2 向量(1 Dimension)

数字组成的数组叫向量或一维张量。一维张量只有一个轴。

>>> x = np.array([12, 3, 6, 14, 7])
>>> x
array([12, 3, 6, 14, 7])
>>> x.ndim
1

 

 

1.1.3 矩阵(2 Dimension)

向量组成的数组叫作矩阵或二维张量。矩阵有两个轴, 行和列。

>>> x = np.array([[5, 78, 2, 34, 0],[6, 79, 3, 35, 1],[7, 80, 4, 36, 2]])
>>> x
array([[ 5, 78, 2, 34, 0],
[ 6, 79, 3, 35, 1],
[ 7, 80, 4, 36, 2]])
>>> x.ndim
2

 

现实生活中例如(samples, features) 组成的2D张量 。 

例如: 

人口统计数据集, 其中包括每个人的年龄、邮编、和收入。 每个人可以表示为包含3个值的向量

而整个数据集包含100000个人, 因此,可以存储在形状为(100000, 3) 的 2D张量中。

 

文本文档数据集, 每个文档表示为每个单词在其中出现的次数,每个文档可以被编码为包含20000个值的向量,

整个数据集包含500个文档, 可以存储在形状为(500, 20000)的张量中。

 

1.1.4 立方体 (3 Dimension) 

将多个矩阵组合成一个新的数组,可以得到一个3D张量,理解为一个数字立方体。

>>> x = np.array([[[5, 78, 2, 34, 0],
... [6, 79, 3, 35, 1],
... [7, 80, 4, 36, 2]],
... [[5, 78, 2, 34, 0],
... [6, 79, 3, 35, 1],
... [7, 80, 4, 36, 2]],
... [[5, 78, 2, 34, 0],
... [6, 79, 3, 35, 1],
... [7, 80, 4, 36, 2]]])
>>> x
array([[[ 5, 78, 2, 34, 0],
[ 6, 79, 3, 35, 1],
[ 7, 80, 4, 36, 2]],

[[ 5, 78, 2, 34, 0],
[ 6, 79, 3, 35, 1],
[ 7, 80, 4, 36, 2]],

[[ 5, 78, 2, 34, 0],
[ 6, 79, 3, 35, 1],
[ 7, 80, 4, 36, 2]]])
>>> x.ndim
3

 

3D 张量, 时间序列数据, 形状为(samples, timesteps, features)

例如股票价格数据集: 每一分钟,股票的当前价格、前一分钟最高价格和前一分钟的最低价格保存下来。

因此每分钟被编码为3D向量,整个交易日被编码为一个开关为(390, 3)的2D张量中,250 的数据则可以保存

在一个形状为(250, 390, 3)的3D张量中,这里每个样本是一天的股票数据。

 

 

将多个3D张量组合成一个数组, 可以创建一个4D张量,以此类推。

4D 张量,图像,形状为(samples, height, width, channels)

5D张量, 视频,形状为(samples, frames, height, width, channels)

 

 

1.2 张量的属性

张量有三个关键属性

* 维度(ndim):就是属于几D张量。

* 形状: 表示张量沿每个维度的大小(元素个数),所以是一个整数元组。 

           例如标量的形状是空,即()

                  向量的形状只包含一个元素(5,)

                  矩阵示例形状为3行5列(3, 5)。

                  立方体的形状为3高(层),3长(行),5宽(列) (3, 3, 5)

* 数据类型(dtype):  float32, uint8, float64 , char

 

查看mnist数据集中张量的属性值

from keras.datasets import mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

接下来,我们给出张量 train_images 的轴的个数,即 ndim 属性。
>>> print(train_images.ndim)
3

下面是它的形状。
>>> print(train_images.shape)
(60000, 28, 28)

下面是它的数据类型,即 dtype 属性。
>>> print(train_images.dtype)
uint8

使用Matplolib 显示

digit = train_images[4]
import matplotlib.pyplot as plt
plt.imshow(digit, cmap=plt.cm.binary)
plt.show()

 

 

 

 

2. 张量运算

所有计算机程序进入CPU运算时都只表示高低电平,运算只有AND,OR,NOR等。

与此类似,深度神经网络学到的所有变化都是张量运算。

 

2.1 逐元素运算

relu 运算与加法都是逐元素的运算,即该运算独立地应用于张量中的每个元素。

 

relu 的简单代码实现 

def naive_relu(x):
  assert len(x.shape) == 2
  x = x.copy()

  for i in range(x.shape[0]):
    for j in range(x.shape[1]):
       x[i, j] = max(x[i,j], 0)
  return x

 

 

加法运算的简单实现 

def naive_add(x, y):

  assert len(x.shape) == 2
  assert x.shape == y.shape

  x = x.copy()
  for i in range(x.shape[0]):
    for j in range(x.shape[1]):
      x[i, j] += y[i, j]
  return x

 

 

减法与乘法使用相同的方法实现,numpy 将这个都已经封装起来,交给了BLAS(Basic linear algebra subprograms)实现。

 

可以直接这么用

import numpy as np

 

z = x + y

z = np.maximum(z, 0)

 

 

2.2 广播

如果两个不同形状的张量数据进行加法操作,较小的张量会被广播,以匹配较大的张量的形状。

广播包含以下两步:

(1) 向较小的张量添加轴(叫作广播轴), 使其ndim 与 较大的张量相同

(2) 将较小的张量沿着新轴重复,使其形状与较大的张量相同。

 

具体例子

假设x是一个2D矩阵,形状为(32, 10), y是一个数组,形状为(10, ), 现在要执行 x + y 操作。

第一步: 给y添加空的第一个轴,这样y的形状变为(1, 10)。 

第二步:将 y 沿着新轴重复32次, 这样得到的张量 y 的形状为 (32, 10), 并且 y[i, :] == y 。

现在可以相加, 因为形状相同。

 

 

2.3 张量点积

点积运算,也叫张量积,与诸元素运算不相同。是最常见也是最有用的张量运算。

与逐元素的运算不相同,它将输入张量的元素合并在一起。

两个向量之间的点积是一个标量,而且只有元素个数相同的向量之间才能做点积。

import numpy as np

z = np.dot(x, y)

 

 

数学符号中的 . 表示点积去处

 z = x.y

 

def naive_vector_dot(x, y):
  assert len(x.shape) == 1
  assert len(y.shape) == 1
  assert x.shape[o] == y.shape[o]

  z = 0.
  for i in range(x.shape[0]):
    z += x[i] * y[i]
  return z

 

 

 

一个矩阵x 和 一个向量 y 做点积,返回值是一个向量,其中每个元素是y 和 x 的每一行之间的点积。

def naive_metric_vector_dot(x, y):
  assert len(x.shape) == 2
  assert len(y.shape) == 1
  assert x.shape[1] == y.shape[0]

  z = np.zeros(x.shape[0])
  for i in range(x.shape[0]):
    for j in range(x.shape[1]):
      z[i] += x[i, j] * y[j]
  return z

 

 

 

2.4 张量变形

张量变形是指改变张量的行和列,以得到想要的形状。 变形后的张量的元素总个数与初始张量相同。

 

>>> x = np.array([[0., 1.],
[2., 3.],
[4., 5.]])
>>> print(x.shape)
(3, 2)
>>> x = x.reshape((6, 1))
>>> x
array([[ 0.],
[ 1.],
[ 2.],
[ 3.],
[ 4.],
[ 5.]])
>>> x = x.reshape((2, 3))
>>> x
array([[ 0., 1., 2.],
[ 3., 4., 5.]])

 

 

 

经常遇到的一种特殊的张量变形是转置transposition)。对矩阵做转置是指将行和列互换,
使 x[i, :] 变为 x[:, i]
>>> x = np.zeros((300, 20))
>>> x = np.transpose(x)
>>> print(x.shape)
(20, 300)
创建一个形状为 (300, 20) 的零矩阵



 

posted @ 2019-12-30 14:23  elewei  阅读(449)  评论(0编辑  收藏  举报