农夫三拳有點疼

摘要： 本文将对三种中文分词工具进行使用尝试，这三种工具分别为哈工大的LTP，结巴分词以及北大的pkuseg。 首先我们先准备好环境，即需要安装三个模块：pyltp, jieba, pkuseg以及LTP的分词模型文件cws.model。在用户字典中添加以下5个词语： 经 少安 贺凤英 F-35战斗机 埃达 阅读全文

摘要： 一、情感分析简介 文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析 阅读全文

摘要： 一、词义消岐简介 词义消岐，英文名称为Word Sense Disambiguation，英语缩写为WSD，是自然语言处理（NLP）中一个非常有趣的基本任务。 那么，什么是词义消岐呢？通常，在我们的自然语言中，不管是英语，还是中文，都有多义词存在。这些多义词的存在，会让人对句子的意思产生混淆，但人通 阅读全文

摘要： 一、CRF与NER简介 CRF，英文全称为conditional random field, 中文名为条件随机场，是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫（Markov）随机场。 较为简单的条件随机场是定义在线性链上的条件随机场，称为线性 阅读全文

摘要： 在日常的中文NLP中，经常会涉及到中文的繁简体转换以及拼音的标注等问题，本文将介绍这两个方面的实现。 首先是中文的繁简体转换，不需要使用额外的Python模块，至需要以下两个Python代码文件即可： langconv.py 地址： https://raw.githubusercontent.com 阅读全文

摘要： pyltp的简介 语言技术平台(LTP)经过哈工大社会计算与信息检索研究中心 11 年的持续研发和推广， 是国内外最具影响力的中文处理基础平台。它提供的功能包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等。 语言技术平台架构 pyltp 是 LTP 的 Python 封装，同时支持 阅读全文

该文被密码保护。 阅读全文

摘要： 本文将会简单介绍自然语言处理（NLP）中的命名实体识别（NER）。 常见算法如下： 命名实体识别（Named Entity Recognition，简称NER）是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的 阅读全文

摘要： 词形还原（Lemmatization）是文本预处理中的重要部分，与词干提取（stemming）很相似。 简单说来，词形还原就是去掉单词的词缀，提取单词的主干部分，通常提取后的单词会是字典中的单词，不同于词干提取（stemming），提取后的单词不一定会出现在单词中。比如，单词“cars”词形还原后的 阅读全文

摘要： TF-IDF介绍 TF-IDF是NLP中一种常用的统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度，通常用于提取文本的特征，即关键词。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 在NLP中，TF-IDF的计算公式如下： 阅读全文

摘要： 本文将会介绍NLP中常见的词袋模型（Bag of Words）以及如何利用词袋模型来计算句子间的相似度（余弦相似度，cosine similarity）。 首先，让我们来看一下，什么是词袋模型。我们以下面两个简单句子为例： 通常，NLP无法一下子处理完整的段落或句子，因此，第一步往往是分句和分词。这 阅读全文

该文被密码保护。 阅读全文

摘要： Keras介绍 Keras是一个开源的高层神经网络API，由纯Python编写而成，其后端可以基于Tensorflow、Theano、MXNet以及CNTK。Keras 为支持快速实验而生，能够把你的idea迅速转换为结果。Keras适用的Python版本是：Python 2.7-3.6。 Kera 阅读全文

摘要： 在我们的日常生活中，所碰到的图像往往都有一定的倾斜。那么，如何用OpenCV来获取图像的旋转角度呢？ 我们以下面的图片为例，简单介绍如何用OpenCV来获取图像的旋转角度。 4.png 可以看到，该图像存在着许多噪声，且是彩色图片，因此，需要对图像做预处理。 预处理 图像的预处理包括去除边缘，去除噪 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： RNN介绍 在读本文之前，大家应该对全连接神经网络（Fully Connected Neural Network， FCNN）和卷积神经网络（ Convolutional Neural Network， CNN）有一定的了解。对于FCNN和CNN来说，他们能解决很多实际问题，但是它们都只能单独的取处 阅读全文

摘要： OpenCV获取验证码的单个字符（字符切割）中，介绍了一类验证码的处理方法，该验证码如下： 该验证码的特点是字母之间的间隔较大，很容易就能提取出其中的单个字符。接下来，将会介绍如何在另一种验证码中提取单个字符的方法。 测试的验证码来源于某个账号注册的网站，如下： 一共收集了346张验证码。我们可以看 阅读全文

摘要： 介绍 在我们日常上网注册账号以及制作网络爬虫时，经常会遇到奇奇怪怪的验证码，有些容易，有些连人眼都无法辨识。于是，大牛们想到了用深度学习的方法来破解验证码，对于一般的验证码往往能出奇制胜，取得不俗的识别效果。对于利用深度学习方法识别验证码，其预处理就是获取验证码中的单个字符，即字符切割。 本文将通过 阅读全文

摘要： 简介 OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方 阅读全文