Torch7学习笔记（二）nn Package
神经网络Package
【目前还属于草稿版，等我整个学习玩以后会重新整理】
模块Module
module定义了训练神经网络需要的所有基础方法，并且是可以序列化的抽象类。
module有两种状态变量：output和gradInput
[output] forward(input)
利用input对象计算其对应的output。通常input和output都是Tensor类型的。有时候会有例外例如table layers（Tensor的子类）。Forward之后，output变量应该被更新为新的值了。
不建议重写这个函数，二是应该去实现updateOutput(input)函数。
[gradInput] backward(input, gradOutput)
在module内进行反向传播，默认前向传播已经做过了且这个input应该和前向传播的input是一样的。否则梯度计算会出错。
同样的gradInput也是tensor类型，也有可能是table layers。
反向传播过程包括计算两种类型的梯度。
这个函数会调用下面两个函数
updateGradInput(input,gradOutput)
accGradParameters(input,gradOutput,scale).
同样的，最好不要重载backward函数，重载上面的这两个函数会好一些。
updateOutput(input)
这个函数利用当前参数和input计算output，其结果就保存在output属性。
updateGradInput(input,gradOutput)
计算这个模块的input对应的梯度，这个应用应该是在NLP中，例如词向量，它是input但是它同时是parameter，因此需要更新。
accGradParameters(input,gradOutput,scale)
计算模块的参数的梯度咯，如果一个模块没有参数，那么就不需要做这一步。这些参数对应的状态变量的名字是与模块有关的。
scale这个参数是在参数梯度集成之前要乘上去的一个因子。
type(type [,tensorCache])
可用于将所有参数转化为对应的type类型。
tensors can be provided as inputs as well as modules
模块中包含模型参数以及参数的梯度
这一点非常好，免得我们自己去求导。
weight和gradWeight是它的参数名字，它们是table类型
parameters()函数
如果自己写模块要重载这个函数。
[flatParameters,,flatGradParameters] getParameters()
这个函数返回两个tensor
不能重载这个函数。
training()
这个函数把train属性设置为true。它的好处在于对于一些特殊的模块例如dropout，在training和evaluation过程是不一样的。
evaluate()
这个函数把train设置为false。
findModules(typename)
Containers
这个类可以轻松建立复杂的神经网络。
Container是基类，
Sequential，Parallel，Concat都是继承它，DepthCOntact继承concat类。
有两个方法
add（module）
get(index)
listModules()
把网络中所有的模块都列出来，其中包括container模块，self，以及其他的组件。
Transfer function
包括Tanh(),Sigmoid()
HardTanh()
这些非线性转换函数都是element-wise的
HardShrink
module = nn.HardShrink(lambda)
相当于是一个阈值函数，绝对值大于lambda的书就是他本身，否则为0.
SoftShrink
和Hard差不多只不过这次平滑化一下。
具体公式见Torch官方文档
SoftMax
这个不用解释了
SoftMin
哈哈 居然还有这个呢
SoftPlus
保证输出地全是正数；
再有就是Sigmoid和RELU了。这个就不再一一赘述了。
网络层类型
1.简单的类型
（需要参数的）
Linear：做线性变换
SparseLinear对sparse的输入数据进行线性变换
Add 对输入数据加上一个偏置项
Mul 对输入数据乘上一个因子
CMul component-wise乘法？？
CDiv 除
Euclidean 计算输入数据到k means中心店的欧氏距离
weightedEuclidean 不用多说，加权的欧氏距离
（不需要参数，自适应的）
copy 对输入进行copy 可能会进行类型转变
Narrow 在制定维度上进行narrow操作
replicate 类似于MATLAB的repmat
reshape
view
select
Max
Min
Mean
Sum
这四个函数是在制定维度上做相应地操作
Exp，Abs，Power，Square，Sqrt，这是element-wise
Normalize 对输入进行进行L_p正则化。
MM 矩阵矩阵相乘
其他的模块
BatchNormalization 对一块数据标准化
Identity 恒等函数 在paralleltable中很有用
dropout
SpatialDropout
Padding 在某一维度上补充
L1Penalty 对输入加 sparsity
Table Layers
使用table构建更加复杂的网络结构
table是container模块的子模块
concatTable
