摘要：
本节总结一下NLP中常见的任务，从一个全局观来看看NLP： NLP任务总结 一：词法分析 分词 (Word Segmentation/Tokenization, ws): 在对文本进行处理的时候，会对文本进行一个分词的处理，下面是一个常用的词库。 库开源or商业支持语言分词词性标注命名实体识别费用 阅读全文
摘要：
1. 数据预处理是必要的，这里以最简单的MNIST dataset的输入数据预处理为例。 A. 设置随机种子 np.random.seed(1337) # for reproducibility B. 输入数据维度规格化，这里每个样本只是size为784的一维数组。 X_train = X_trai 阅读全文
摘要：
我们在Python · 神经网络（三*）· 网络这里曾经介绍过附加层（特殊层）SubLayer的概念，这一章我们则会较为详细地介绍一下十分常用的 SubLayer 之一——Normalize（当然直接看原 paper 是最好的，因为我虽然一直在用这玩意儿但真的很难说有深刻的理解…… ( σ'ω')σ 阅读全文
摘要：
关于损失函数宽泛而准确的数学定义，我感觉我不会说得比 Wiki 更好，所以这一章主要还是介绍一些神经网络中常用的损失函数。然而即使把范围限制在 NN，如何选、为何选相应的损失函数仍然是一个不平凡的数学问题。囿于时间（和实力）、这一章讲的主要是几个损失函数的定义、直观感受和求导方法 从名字上可以看出， 阅读全文
摘要：
2017.05.16 更新 更细致的说明可以参见这里 分割线的说 神经网络的数学部分可能会让许多人望而生畏，各种梯度的计算可能也会让人有些吃力 事实上…… 确实如此（喂）。不过，如果静下心来好好推导一下的话，可能又会觉得它比想象中的简单 这一章我们要介绍的是算法中比较简单的前向传导算法（感谢评论区 阅读全文
摘要：
（这里是本章会用到的 GitHub 地址） （感谢评论区 @陌烛 指出本文的诸多错误！！真的非常感谢！！【拜】） RNN 的“前向传导算法” 在说明如何进行训练之前，我们先来回顾一下 RNN 的“前向传导算法。在上一章中曾经给过一个没有激活函数和变换函数的公式： 在实现层面来说，这就是一个循环的事儿 阅读全文