1033020837 - 博客园

2021年2月

摘要： LDA是什么隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA)，是由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出的一种主题模型，是一种无监督机器学习技术，它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分阅读全文

posted @ 2021-02-09 23:12 1033020837 阅读(297) 评论(0) 推荐(0) 编辑

特征工程之特征选择

摘要：特征选择的目标构造机器学习的模型的目的是希望能够从原始的特征数据集中学习出问题的结构与问题的本质，此时的挑选出的特征就应该能够对问题有更好的解释；特征决定了机器学习的上限，而模型和算法只是去逼近这个上限，所以特征选择的目标大概如下：提高预测的准确性；减少模型的运行时间；能够对模型有更好的理解阅读全文

posted @ 2021-02-03 15:57 1033020837 阅读(295) 评论(0) 推荐(0) 编辑

特征工程之降维算法

摘要：数据降维简介数据降维即对原始数据特征进行变换，使得特征的维度减少。依据降维过程是否可以用一个线性变换表示，降维算法可以分为线性降维算法和非线性降维算法，下图展示了各种降维算法及其类别：降维的必要性：多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。阅读全文

posted @ 2021-02-02 22:03 1033020837 阅读(708) 评论(0) 推荐(0) 编辑

2021年1月

线性回归

摘要：什么是线性回归不同于分类问题的待预测变量为离散变量，回归问题中待预测变量即因变量为连续变量。人们在测量事物的时候因为客观条件所限，求得的都是测量值，而不是事物真实的值，为了能够得到真实值，无限次的进行测量，最后通过这些测量数据计算回归到真实值，这就是回归的由来。线性回归假设自变量与因变量之间存在阅读全文

posted @ 2021-01-31 20:09 1033020837 阅读(2019) 评论(0) 推荐(0) 编辑

BERT

摘要：什么是BERT BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，其结构采用Transformer的Encoder部分，主要创新点都在pre-train方法上，即用了Masked L 阅读全文

posted @ 2021-01-29 21:30 1033020837 阅读(511) 评论(0) 推荐(0) 编辑

聚类算法

摘要：什么是聚类算法聚类是一种机器学习技术，它涉及到数据点的分组。给定一组数据点，我们可以使用聚类算法将每个数据点划分为一个特定的组。理论上，同一组中的数据点应该具有相似的属性和/或特征，而不同组中的数据点应该具有高度不同的属性和/或特征。聚类是一种无监督学习的方法，是许多领域中常用的统计数据分析技术。阅读全文

posted @ 2021-01-28 17:38 1033020837 阅读(879) 评论(0) 推荐(0) 编辑

深度学习中的优化算法

摘要：深度学习中的优化问题通常指的是：寻找神经网络上的一组参数$\theta$，它能显著地降低代价函数$J(\theta)$。这里介绍的方法都基于以下两点：梯度的负方向是函数在当前点减小最快的方向；使用一阶泰勒展开式近似当前点的函数值，即： \[ f(x)\approx f(x_0)+f'(x_0) 阅读全文

posted @ 2021-01-27 18:00 1033020837 阅读(393) 评论(0) 推荐(0) 编辑

Transformer

摘要： Transformer是什么 Transformer是Google在2017年的论文《Attention Is All You Need》中所提出的一种Seq2Seq的模型，该模型完全的抛弃了以往深度学习所使用的CNN、RNN等结构而全部使用Attention结构。Transformer的效果和并行阅读全文

posted @ 2021-01-26 15:22 1033020837 阅读(383) 评论(0) 推荐(0) 编辑

Seq2Seq

摘要：什么是Seq2Seq Seq2Seq模型，全称Sequence to sequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。Encoder将一个序列编码为一个固定长度的语义向量，Decoder将该语义向量解码为另一个序列。输入阅读全文

posted @ 2021-01-25 14:59 1033020837 阅读(357) 评论(0) 推荐(0) 编辑

CNN

摘要：什么是CNN 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。CNN最常用于CV领域，但是在NLP等其阅读全文

posted @ 2021-01-24 15:43 1033020837 阅读(559) 评论(0) 推荐(0) 编辑

公告