上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 64 下一页
摘要: (1)Gaussian 满足mean=0,std=1的高斯分布x∼N(mean,std2) (2)Xavier 满足x∼U(−a,+a)x∼U(−a,+a)的均匀分布, 其中 a = sqrt(3/n) (3)MSRA 满足x∼N(0,σ2)x∼N(0,σ2)的高斯分布,其中σ = sqrt(2/n 阅读全文
posted @ 2020-06-22 20:35 今夜无风 阅读(745) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- # author:ShidongDu time:2020/6/3 import time import pandas as pd import re # 结点类 class node: def __init_ 阅读全文
posted @ 2020-06-11 14:46 今夜无风 阅读(271) 评论(0) 推荐(0) 编辑
摘要: ner(命名实体识别)一般是词典和模型方式结合,词典负责已有词识别,模型负责未知词识别。 在不需发现未知词的情况下基于词典的实体识别已足够 基于字典的ner也有两种做法:字符串多模匹配 和 切词(词典加入自定义词库) 字符串多模匹配多模匹配有两种基本算法:trie树 和 记录长度集合的最长匹配 tr 阅读全文
posted @ 2020-06-11 14:37 今夜无风 阅读(2941) 评论(0) 推荐(1) 编辑
摘要: python 实现 def edit_distance(word1, word2): len1 = len(word1) len2 = len(word2) dp = np.zeros((len1 + 1,len2 + 1)) for i in range(len1 + 1): dp[i][0] = 阅读全文
posted @ 2020-06-10 15:22 今夜无风 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 点互信息算法(PMI) 基本思想:是统计两个词语在文本中同时出现的概率,如果概率越大,其相关性就越紧密,关联度越高。 PMI > 0;两个词语是相关的;值越大,相关性越强。 PMI = 0;两个词语是统计独立的,不相关也不互斥。 PMI < 0;两个词语是不相关的,互斥的。 从概率思想理解: 如果两 阅读全文
posted @ 2020-06-10 14:58 今夜无风 阅读(1921) 评论(0) 推荐(0) 编辑
摘要: 有时候经常容易忘一些快速的数据实现结构,从此做一些记录。 1. 根据二维数组首元素排序,如下: data = [[2,3],[5,4],[9,6],[4,7],[8,1]] data.sort(key=lambda x:x[0]) print(data) [[2, 3], [4, 7], [5, 4 阅读全文
posted @ 2020-05-20 09:12 今夜无风 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 自动识别语料库中词汇的频率分布 方法描述 fdist=FreqDist(samples) 创建包含给定样本的频率分布(samples可以是nltk.text.Text、空格分割的字符串、列表或者其他) fdist.inc(sample) 增加样本 fdist[word] word在样本中出现的次数 阅读全文
posted @ 2020-05-18 14:18 今夜无风 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 地址:https://github.com/Tencent/wwsearch/blob/master/doc/wwsearch-implement.md 背景 企业微信作为典型企业服务系统,其众多企业级应用都需要全文检索能力,包括员工通讯录、企业邮箱、审批、汇报、企 业CRM、企业素材、互联圈子等。 阅读全文
posted @ 2020-05-07 16:19 今夜无风 阅读(734) 评论(0) 推荐(0) 编辑
摘要: 功能实现: input: 查询词 output:存现的对应的文档中的所有行号id 实现: 阅读全文
posted @ 2020-05-07 15:29 今夜无风 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 对一段文本中的人、事、地、物、组织、时间等关键要素进行抽取,以为下游提供数据支撑。针对时间抽取,发现一个小工具,分享给大家: 开源地址: https://github.com/zhanzecheng/Time_NLP 功能: 用于句子中时间词的抽取和转换 使用示例: res = tn.parse(t 阅读全文
posted @ 2020-05-07 09:27 今夜无风 阅读(1438) 评论(0) 推荐(0) 编辑
上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 64 下一页