随笔分类 - PyTorch&Keras
摘要：Torch笔记 numpy知识回顾 获取tensor基本信息 tensor数据类型转换 设备类型转换 tensor 转换到 numpy数据 tensor的维度变换 squeeze_ reshape() tanspose() 从只包含一个元素的张量中提取值 拼接张量 例如当参数是3个10×5的张量，t
阅读全文
摘要：1 正则化 2 Dropout 3 BatchNormalization "参考链接"
阅读全文
摘要：learning rate 和keras的参数不一样 SGD的在0.5左右 Adam的在0.01左右 训练数据一定要打乱 测试数据不用打乱
阅读全文
摘要：调参技巧 层叠LSTM的层时 尽量保持两个隐藏层个数一致 收敛的快的多 两层LSTM比一层好很多 激活函数很重要 relu通常效果比较好 "激活函数使用笔记" "激活函数介绍" 学习率太大(0.02),记得要是0.001数量级的学习率，否则直接不收敛，因此学习率不要太大，越小越好 正则化参数 L1正
阅读全文
摘要：Dense 默认没有激活函数 处理层 BatchNormalization 加速训练过程 使用 BN_layer= BatchNormalization()(merge_layer) Dropout随机失活 参数最大可以设置0.5 关于mask层 "参考博客解释"
阅读全文
摘要：手工特征https://www.jianshu.com/p/827dd447daf9
阅读全文
摘要：交叉熵计算函数 第一种代码 第二种代码 mask作用 tensor([[ 0.5354, 1.2540, 0.4883, 0.1540], [ 0.1744, 0.4162, 0.8495, 0.3767], [ 0.7846, 1.0294, 0.5631, 0.0470]]) tensor([[
阅读全文
摘要：1 与 的不同 pytorch的LSTM初始化时的句子长度不是固定的，是可以动态调整的，只是作为batch训练时，需要保证句子的长度是统一的。 keras初始化模型是必须传入句子长度，也就是lstm的单元数，这个是模型参数的一部分 经实验证明，不同的输入长度，对于lstm网络的参数总量是一样的，ls
阅读全文
摘要：开启visdom python m visdom.server
阅读全文
摘要：```python
import tensorflow as tf
class myCallback(tf.keras.callbacks.Callback): def on_epoch_end(self,epoch,logs={}): if logs.get('acc')>0.99: print('\nReaching 99% accuracy s...
阅读全文
摘要：Torch笔记 初始化很重要 切记 ！不同的初始化产生的结果完全不同 relu函数可以解决sigmod函数梯度弥散的问题 tanh函数在卷积用的比较多 Leaky Relu 泄露的relu函数 使x
阅读全文
