2022-04-11 08:00:02

命名实体识别：

命名实体识别（NER）用于确定文本中哪些词条属于命名实体，这些词条可以被定位并归入预定义的类别，类别的范围包括人名，组织，地点，还有货币价值和百分比。

看下面的例子：

NER之前：Martin bought 300 shares of SAP in 2016.

NER之后：[Martin]Person bought 300 shares of [SAP]Organization in [2016]Time.

关系抽取：

关系提取采用“命名实体识别（NER）”的命名实体，并识别它们之间的语义关系。这可能意味着它能够发现文本中词语之间的关联性，例如谁与谁结婚，某人在哪个公司工作等。这个问题也可以转换为分类问题，然后为每种关系类型训练机器学习模型。

情感分析：

通过情感分析，我们想要确定例如说话者或作者关于文档，互动或事件的态度（例如情绪）。因此，需要理解文本以预测潜在意图是一种自然语言处理问题。情绪主要分为积极，消极和中性两类。通过使用情感分析，我们希望根据他撰写的关于产品的评论来预测客户对产品的看法和态度。因此，情感分析广泛应用于评论，调查，文档等等

如果你对使用Python中的某些技术感兴趣，可以查看我创建的Python的自然语言工具包（NLTK）的Jupyter Notebook。你还可以查看我的博客文章，了解如何使用Keras构建神经网络，我将训练神经网络进行情感分析。

5.深度学习和NLP

深度学习和自然语言的核心是“词义”，在这里，单词用一个实数向量来表示。因此，通过向量来代表单词单词，我们可以将单词置于高维度的空间中，由向量表示的单词起到语义空间的作用。这仅仅意味着在该高维向量空间中，形近意近的单词倾向于聚集在一起。下图中，可以看到单词含义的直观展示：

 

 

在此空间中，如果想要知道某一组聚集成类的单词的含义，可以通过使用主成分分析法（PCA），也可以使用降维法。但这些方法太简单并且会遗漏了周边的大量信息，因而产生误差。在研究的初始阶段，这些方法很好用，（如数据科学中的逻辑或线性回归）但并不是前沿技术。

我们还可以将单词的一部分当作向量，这些向量可以代表单词的含义。想象一下“undesirability”这个词。使用“形态学方法”，它涉及一个词所具有的不同部分，我们认为它由词素（单词部分）构成：“Un + desire + able + ity”。每个语素都有自己的向量。这允许我们构建一个神经网络，它可以构成一个更大的单位的意义，而更大的单位又由所有这些语素组成。

深度学习还可以通过创建句法分析器来理解句子的结构，谷歌正在使用这样的依赖解析技术，在他们的“McParseface”和“SyntaxNet”（两种语言解析器），不过更加宏大，更加复杂。

通过分析句子结构，我们开始理解句子的意义，可以从单词的含义开始，也可以从整个短语和句子开始，无论单词的意义、短语还是句子，都用向量来表示。如果想知道句子之间的关系，我们可以创建神经网络来帮助分析。

深度学习也适用于情感分析。请看这个电影评论：“这部电影不在乎是不是巧妙，也不在乎幽默与否”。传统的机器学习算法会认为这是一个积极的评论，因为“聪明”和“幽默”是积极的词汇，但是神经网络能够识别出它的真正含义。

另外，深度学习算法实现的机器翻译中，它从句子开始翻译，并生成一个向量，然后用另外一种语言生成所需要的信息。

 

总而言之，NLP与深度学习相结合，就是表示单词、短语的向量，以及它们的含义。