摘要：
为了评估模型拟合的好坏，通常用损失函数（觉得严格来说相当于下面的目标函数）来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。 每一个算法都有一个目标函数（objective function），算法就是让这个目标函数达到最优。对于分类的算法，都会有对错。错了就会有代价 阅读全文
摘要：
参考： https://mp.weixin.qq.com/s/NvwB9H71JUivFyL_Or_ENA http://yangminz.coding.me/blog/post/MinkolovRNNLM/MinkolovRNNLM_thesis.html 语言模型本质上是在回答一个问题：出现的语 阅读全文
摘要：
1.所谓概率函数就是要在整个样本空间分配概率值，概率值总和为1 2.一个完备的概率空间应该由样本空间，概率函数和事件域这三部分组成，在统计自然语言处理中，我们的目标就是为建立的模型定义一个符合上述条件的概率空间。 3.随机变量有一个取值的范围，因此我们避免了直接和事件本身打交道，而是处理代表它们的随 阅读全文
摘要：
1、过拟合 所谓过拟合就是：把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致训练出的模型其泛化能力降低，这就是过拟合。 如何解决？ 1）Early stopping Early stopping便是一种通过提前截断迭代次数来防止过拟合的方法，即在模型对训练数据集迭代收敛之前 阅读全文
摘要：
以下内容是个人参考网上的学习资料以及自己的理解进行总结的 1、循环神经网络的介绍具体看 https://www.cnblogs.com/pinard/p/6509630.html 深度神经网络无法利用数据中时间序列信息，循环神经网络应势而生。循环神经网络的主要用途是处理和预测序列数据，它最擅长解决的 阅读全文
摘要：
1、神经网络中损失函数和优化函数的作用 训练出一个网络模型之后如何对模型进行评估？往往是衡量预测值与真实值之间的差异程度，这就是通过损失函数来完成的。另外损失函数也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接近真实值，模型的准确 阅读全文
摘要：
参照百度百科 在操作系统中，并发是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行。 操作系统并发程序执行的特点: 并发环境下，由于程序的封闭性被打破，出现了新的特点： ①程序与计算不再一一对应，一个程序副本可以 阅读全文
摘要：
主要是对 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding提出的BERT 清华和华为提出的ERNIE: Enhanced Language Representation with Info 阅读全文
摘要：
1.使用L1,L2正则化防止过拟合的原理 L1正则化是使得那些原先在0附近的权重参数W往零移动，从而减弱那些可能是某些批次数据所特有的特征对网络模型的影响，它偏向于产生少量的特征。L2正则化起到使得权重参数W变小加巨的效果，从而降低网络模型的复杂度，W的减小会使得激活函数的取值范围减小，一定程度上会 阅读全文
摘要：
Tensor(张量)意味着N维数组，Flow（流）意味着基于数据流图的计算。TensorFlow的运行机制属于“定义”和“运行”相分离。模型的构建只是相当于定义了一个图结构（代表一个计算任务），图中有多个操作节点，每个节点可以有一个或多个tensor作为输入，也会输出1个或多个tensor，只有通过 阅读全文