胖墩哥

摘要： sklearn: 利用TruncatedSVD做文本主题分析 利用一个demo学习使用TruncatedSVD做文本主题分析。 通过主题分析，我们可以得到一个语料中的关键主题，即各个词语在主题中的重要程度，各个文章在各个主题上的倾向程度。并且可以根据它们，得到主题对应的关键词以及代表性文本。 1、使 阅读全文

摘要： sklearn: TfidfVectorizer 中文处理及一些使用参数 常规使用 TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型(如LSI)，文本搜索排序等一系列应用奠定基础。基本应用如： from sklearn.feature_e 阅读全文

摘要： gensim包使用 1 gensim介绍 gensim是一款强大的自然语言处理工具，里面包括N多常见模型： 基本的语料处理工具 LSI LDA HDP DTM DIM TF-IDF word2vec、paragraph2vec 2 Word2Vector使用 训练思路： 将语料库预处理：一行一个文档 阅读全文

摘要： 分类模型的F1分值、Precision和Recall 计算过程 引入 通常，我们在评价classifier的性能时使用的是accuracy 考虑在多类分类的背景下 accuracy = (分类正确的样本个数) / (分类的所有样本个数) 这样做其实看上去也挺不错的，不过可能会出现一个很严重的问题：例 阅读全文

摘要： RNN总结 循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN 就能够很好地解决这类问题。 RNN基本结构 这里： x为当前状态下 阅读全文

摘要： 这个是在公众号中看到的，提供一个笔记。 从深度学习基础、卷积网络和循环网络三个方面介绍该笔记。 深度学习基础 1. 深度学习基本概念 监督学习： 所有输入数据都有确定的对应输出数据，在各种网络架构中，输入数据和输出数据的节点层都位于网络的两端，训练过程就是不断地调整它们之间的网络连接权重。 左上： 阅读全文

摘要： torch.nn.Embedding 在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding import torch def look_up(): word_to_ix={'天':0,"地":1} lookup_tensor = torch.tenso 阅读全文

摘要： 梯度下降法主要分为三种， 梯度下降法 随机梯度下降 小批量梯度下降 下面分别来介绍一下，这样更加有助于理解它们之间的联系。 梯度下降法 梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降 下面就以均方误差讲解一下，假设损失函数如下： 其中 是预测值， 是真实值，那么要最小化上面损失 阅读全文

摘要： 使用pycharm、跳板机连接内网服务器 接手实验室服务器后，大部分同学在GPU集群上跑程序都是直接在ssh界面上跑，这里想着通过pycharm通过跳板机来连接服务器。 总体就是实验室服务器仅限内网访问，同时实验室也提供了一个跳板机，可以先ssh到跳板机再从跳板机ssh到内网服务器。然而这种方式不方 阅读全文

摘要： SpringBoot执行定时任务@Scheduled 在做项目时，需要一个定时任务来接收数据存入数据库，后端再写一个接口来提供该该数据的最新的那一条。 数据保持最新：设计字段sign的值（0，1）来设定是否最新 定时任务插入数据：首先进行更新，将所有为1即新数据设置过期，然后插入新数据，设置sign 阅读全文