【518】1D CNN原理详细说明

参考：Convolutional Neural Networks for Text Classification

参考：【book】- Neural Network Methods for NLP

参考：自然语言处理中CNN模型几种常见的Max Pooling操作

---

　　原图：

       

 

 　　简单说明：

　　个人理解：

　　关于一维卷积神经网络的具体实现过程全网说的比较隐晦，貌似默认大家都懂，但是之前一直没看懂，按照自己的理解画出下图。

 

• filter 做点积再求和，每次只生成 1 个数字
• 整个数据走一遍，生成一个向量
• 每一个 filter 生成一个向量
• 组合在一起就是一个新的二维向量

　　对于 keras 实现 1D CNN 的说明

　　语法：

?

1

keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)

　　说明：

• filters：卷积核的数目（即输出的维度），有几个 filter，最终就是几个维度（影响单词向量维度）

• kernel_size：整数或由单个整数构成的list/tuple，卷积核的空域或时域窗长度（影响文本长度的维度）

• strides：整数或由单个整数构成的list/tuple，为卷积的步长。任何不为1的strides均与任何不为1的dilation_rate均不兼容

• padding：补0策略，为“valid”, “same” 或“causal”，“causal”将产生因果（膨胀的）卷积，即output[t]不依赖于input[t+1：]。当对不能违反时间顺序的时序信号建模时有用。参考WaveNet: A Generative Model for Raw Audio, section 2.1.。“valid”代表只进行有效的卷积，即对边界数据不处理。“same”代表保留边界处的卷积结果，通常会导致输出shape与输入shape相同。

• activation：激活函数，为预定义的激活函数名（参考激活函数），或逐元素（element-wise）的Theano函数。如果不指定该参数，将不会使用任何激活函数（即使用线性激活函数：a(x)=x）

 

　　测试输出维度：

?

1 2 3 4 5 6

>>> import numpy as np >>> words = np.zeros((20, 30, 40)) >>> import keras >>> out = keras.layers.Conv1D(33, 5)(words) >>> out.shape TensorShape([20, 26, 33])