杨杨09265 - 博客园

nltk(二)

摘要： 1.collocations模块用于计算一组单词中，没window_size个单词中n个词同时出现的次数 from nltk.collocations import * sent = 'this this is is a a test test'.split() b = BigramColloca 阅读全文

posted @ 2020-03-12 01:24 杨杨09265 阅读(186) 评论(0) 推荐(0) 编辑

语义

摘要： 1.短语分类 ADJP 形容词短语 ADVP 由副词开头的副词短语，状语 CLP 量词短语 CP 由补语引导的补语从句、关系从句 DNP XP+DEP结构构成的短语 DP 限定词短语 DVP XP+DEV结构构成的短语 FRAG 片段 IP 简单句 LCP 处所词为中心的短语 LST 用于解释说明性阅读全文

posted @ 2020-03-11 01:07 杨杨09265 阅读(376) 评论(0) 推荐(0) 编辑

nltk(一)

摘要： 1.wsd模块返回上下文中不明确单词的synset。 nltk.wsd.lesk(['I', 'went', 'to', 'the', 'bank', 'to', 'deposit', 'money', '.'], 'bank') 2.util模块 from nltk.util import * 阅读全文

posted @ 2020-03-10 00:51 杨杨09265 阅读(180) 评论(0) 推荐(0) 编辑

CRF条件随机场

摘要： 1.概述 X={X1,X2……Xn}和Y={Y1,Y2……Yn}都是联合随机变量，若随机变量Y构成一个无向图G=(V,E)表示的马尔可夫随机场(MRF),则其条件概率分布P(Y|X)称为条件随机场。即P(Yv|X,Yw,w!=v) = P(Yv|X,Yw,w=v),w=v表示与节点v相连的所有节点w 阅读全文

posted @ 2020-03-09 00:41 杨杨09265 阅读(126) 评论(0) 推荐(0) 编辑

rnn神经网络

摘要： 1.概述循环神经网络是一种能对序列数据进行精确建模的有力工具。实际上，循环神经网络的理论计算能力是图灵完备的。自然语言是一种典型的序列数据（词序列），近年来，循环神经网络及其变体在自然语言处理的多个领域，如语言模型、句法解析、语义角色标注（或一般的序列标注）、语义表示、图文生成、对话、机器翻译等任阅读全文

posted @ 2020-03-07 01:31 杨杨09265 阅读(228) 评论(0) 推荐(0) 编辑

paddle线性回归

摘要： 1.构建输入变量和输出变量 x = fluid.data(name='x', shape=[None, 1], dtype='float32')y = fluid.data(name='y', shape=[None, 1], dtype='float32') 2.建立神经网络 y_predict 阅读全文

posted @ 2020-03-06 06:05 杨杨09265 阅读(191) 评论(0) 推荐(0) 编辑

自然语言处理

摘要： 1.处理框架 Ltp:中文分词、分词标注、未登陆词识别、句法分析、语义角色标注 Stanford NLP:中文分词、分词标注、未登陆词识别、句法分析 FudanNLP:中文分词、句法分析 HanLP:中文分词、句法分析等各类算法 ICTCLAS分词系统:具有里程碑意义的中文分词系统 Anjs中文分词阅读全文

posted @ 2020-03-05 02:21 杨杨09265 阅读(154) 评论(0) 推荐(0) 编辑

GDBT回归

摘要： 1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，阅读全文

posted @ 2020-03-04 01:33 杨杨09265 阅读(188) 评论(0) 推荐(0) 编辑

广义线性回归

摘要： 1.概述广义线性模型[generalize linear model]线性模型的扩展，通过联结函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。其特点是不强行改变数据的自然度量，数据可以具有非线性和非恒定方差结构。是线性模型在研究响应值的非正态分布以及非线性模型简洁直接的线性转化时的一种阅读全文

posted @ 2020-03-03 02:06 杨杨09265 阅读(777) 评论(0) 推荐(0) 编辑

采样

摘要： 1.高斯随机数用于获取两个独立的0均值且单位方差的正态分布的高斯变量实现步骤：选择两个均匀分布的随机数0<=U1,U2<=1 设定thtea = 2piU1 和 r=sqrt(-2ln(U2)) 那么x=rsin(thtea),y=rcos(thtea)就是0均值单位方差的独立高斯分布变量 2 阅读全文

posted @ 2020-03-01 22:52 杨杨09265 阅读(297) 评论(0) 推荐(0) 编辑

yangyang12138

导航

公告