10 2019 档案
摘要：数据操作 保存与读取文件 df.to_csv("fasttext_data.csv",sep="\t",header=None,index=None) 忽略行号和列号 pd.read_excel(header=None) 设置第一行不为索引 pd.read_excel(names=[名字列表]) 为
阅读全文
摘要：learning rate 和keras的参数不一样 SGD的在0.5左右 Adam的在0.01左右 训练数据一定要打乱 测试数据不用打乱
阅读全文
摘要：假设现在有一个句子（s1,s2,s3）,v是s的转置 第一个词和每一个词的内积 相似度越大 结果越大 s1 v1 s1 v2 s1 v3 第二个词和每一个词的内积 s2 v1 s2 v1 s2 v3 第三个词和每一个词的内积 s3 v1 s3 v2 s3v3 横向在每一行内做softmax可以得到每
阅读全文
摘要：调参技巧 层叠LSTM的层时 尽量保持两个隐藏层个数一致 收敛的快的多 两层LSTM比一层好很多 激活函数很重要 relu通常效果比较好 "激活函数使用笔记" "激活函数介绍" 学习率太大(0.02),记得要是0.001数量级的学习率，否则直接不收敛，因此学习率不要太大，越小越好 正则化参数 L1正
阅读全文
摘要：Dense 默认没有激活函数 处理层 BatchNormalization 加速训练过程 使用 BN_layer= BatchNormalization()(merge_layer) Dropout随机失活 参数最大可以设置0.5 关于mask层 "参考博客解释"
阅读全文
摘要：手工特征https://www.jianshu.com/p/827dd447daf9
阅读全文
摘要：生成器 生成器函数 在一个函数体内使用 表达式会使这个函数变成一个生成器，该函数为生成器函数。当一个 生成器函数被调用 的时候，它返回一个迭代器，称为生成器。 结论： 生成器用于生成提供迭代数据。 所有生成器都是迭代器。 迭代器用于遍历集合。 生成器能做到迭代器能做的所有事，而且因为自动创建 和`n
阅读全文
摘要：变量定义尽量靠近使用 当一个函数返回多个变量时，使用_忽略多返回的值，或者使用dict返回
阅读全文
摘要：1. 所有神经网络处理的的数据都是平均值接近0，标准差接近1的，这样可以保证神经网络尽快的收敛 2. batchNormalization是指从数据中减去平均值，然后再除以标准差的操作，可以像一个层一样添加到激活函数输入前面
阅读全文
摘要：a.完整特征工程竞赛 b.野博客理论入门理解 c.再回到代码深入理解模型内部 d.再跨理论，查阅经典理论巨作。这时感性理性都有一定高度，会遇到很多很大的理解上的疑惑，这时3大经典可能就可以发挥到最大作用了。
阅读全文
