属性情感分类文献综述
摘 要:本文采用文献调研的方法,从情感分析文本粒度层次出发,介绍了属性级情感分析以及其子任务坼坼属性情感分类的相关概念和部分模型,整理了情感分析的部分语料资源以及词典资源,最后对属性级情感分析的研究难点与未来方向进行探讨,做出总结。
关键词:属性情感分类;属性级情感分析;NLP;LSTM
A literature review of Aspect-Oriented Sentiment Classification
Abstract: This paper adopts the method of literature research,starts from the granularity level of sentiment analysis text,introduces the relevant concepts and some models of attribute-level sentiment analysis and its subtask-attribute sentiment classification,sorts out some corpus resources and dictionary resources of sentiment analysis,and finally discusses the research difficulties and future directions of attribute-level sentiment analysis,and summarizes.
Key word: Aspect-Oriented Sentiment Classification, Aspect-Level Sentiment Analysis NLP, LSTM
1 引言
情感分析是文本分类的一种,主要方法是提取文本的表示特征,并基于这些特征进行分类。文本情感分析也称意见挖掘,是指用自然语言处理、文本挖掘以及计算机语言学等方法来识别和提取原文本素材中的主观情感倾向。
情感分析根据研究对象的粒度不同可分为文本级(Document-Level)、句子级(Sentence-Level)、属性级(Aspect-level),分别对相应单位的文本进行情感倾向分析。其中,较细粒度的情感分析为属性级情感分析(Aspect-level Sentiment Analysis, ASA),需要同时考虑目标属性以及其对应的情感,任务输入为一段文本和指定的待分析对象,输出为针对该对象的情感倾向,是应用粒度最细的任务,和人类观点分析最接近。
用户在互联网上会产生大量的评论数据来分享他们对日常生活中一些产品或者服务的看法,对于这些评论句,往往包括几个评论方面,在这些方面情绪各不相同,使得句子的整体意思对于两极分化毫无意义。属性级情感分析的产生就是为了确定这类句子的情感极性,得到更加全面、精确的情感信息。
属性级情感分析任务的难点在于,文本中表示情感判断的词汇与对应对象的关系是不确定的,分析工具需要挖掘语意特征和句法结构特征,正确提取制定对象的情感词汇,排除其他情感词汇的干扰;另一方面,情感分析在应用中要求工具能解释做出判断的依据,这对模型的可解释性提出了要求。
Figure 1: ABSA的十项子任务
ABSA的十项子任务如上图所示。我们可以看出ABSA的子任务自上而下是逐渐细化的趋势,这是技术不断进步的表现,也是行业不断发展的需求所在。
Figure 2: 2019-2021年NLP顶会情感分析论文统计
从图2我们可以看出,在NLP顶会情感分析中的属性情感分类(Aspect-Oriented Sentiment Classification)子任务论文数量最多,图3中显示在近十年来发展趋势也较为突出,由此可以看出它对于属性级情感分析发展的重要性以及生命力,故将对国内外属性情感分类的研究现状以及部分方法进行梳理、评述,可以对属性级情感分析的研究提供一定的参考价值。
Figure 3: 近十年ABSA子任务的发展趋势
2 相关概念
基于特征的观点挖掘最早出现于2004年,它包括了两个步骤:属性抽取(即属性本身的抽取)与属性情感分类(甄别判断句子中针对不同属性所表达的观点倾向/情感极性)。
Figure 4: 近十年ABSA子任务的发展
2.1 观点(Opinion)
观点对象包含五个元素:
(表达者,实体,方面,时间,情感)。其中,表达者是观点表达的主体:实体是主体评价的客体;方面是实体的一个方面;情感一般包括正面、负面和中立等;时间是发表观点的时间。
2.2 实体(Entity)
实体是评论的目标,这个目标可以是产品、服务、话题、时间、人物、组织或事件等。属性级情感分析研究中的每个观点都有一个目标实体,可以是被评价的实体本身,也可以是实体的一部分、一个模块或相关实体。
2.3 方面(Aspect)
属性是评论的对象实体属性(如在餐厅评论中,一个属性可以是食品的价格,质量等)。属性是一个较高层次的概念,相对于评论文本包含的词汇,属性概念集合规模很小。
2.4 属性表述(Aspect Expression)
指示评价对象的实体与属性,通常是评论文本中的名词或名词短语。
2.5 属性类别(Category)
指属性在特定领域下的一组预定义的类别标签。
2.6 观点表述(Opinion Expression)
针对属性的主观表述,常被标注为一个主观性的词或短语。
2.7 情感(Sentiment)
针对属性的情感类别/极性,也可将其理解为Opinion Category。
Figure 5: 相关概念举例说明
2.8 情感极性(Sentiment Polarity)
指评论文本中表达的正面(positive)、负面(negative)、中性(neutral)或者冲突(conflict)的情感。其中,冲突(conflict)是指评论文本对评价对象既表示了正面情感又表达了负面情感。
2.9 准确率(Accuracy)
作为一种经验法则,准确率可以快速得出模型是否被正确训练以及总体性能,通常被定义为真正类和假正类的结果之和占总样本的百分比,是文本分类任务中最为常用的评价指标。
其中,TP、TN、FP、FN分别表示真正例、真负例、假正例、假负例。
2.10 精准率(Precision)
是针对预测结果而言,所有预测为Positive的数据中真正类的概率。
2.11 召回率(Recall)
是针对原样本数据而言,所有的正类数据中被成功预测为Positive的概率。
2.12 F-Score
是兼顾精准率(Precision)和召回率(Recall)的一种评价指标,其计算P和R的加权调和平均来获得评价结果。
Figure 6: 精准率和召回率关系示意图
3 几种属性情感分类的模型框架
3.1 基于属性的情感分类的依赖图增强双变结构
注意机制和卷积神经网络(CN)己被广泛应用于基于属性的情感分类。近年来,又引入了用图卷积网络(G©)实现的语义依赖树来描述方面与相关情感词之间的内在联系,但由于依赖树的噪声和不稳定性,改进效果较为有限。针对这一问题,该模型建立了一种依赖图增强双变压器网络,通过迭代交互方式联合考虑从Transformer?学习的平面表示和从相应依赖图学习的基于图的表示,将依赖树中的连接视为GCN的补充模块,并在传统Transformer中采用类似Transformer的结构进行自对齐。
其中,方面表示是从其属性跨度中的嵌入累积而来的,因此注意模块也是属性敏感的。
Figure 7: DGEDT流程演示图
简化的双变压器结构由两个子模块组成,一个是标准变压器,另一个是由BGC实现的类变压器结构,并使用依赖图进行监督。
该模型首先利用BiLSTM或来自transformer(BERT)的双向编码器表示作为基于方面的编码器,提取隐藏的上下文表示。然后,在方面修正依赖图的指导下,将这些隐藏表示输入到我们提出的双变压器结构中。最后,通过maxpooling)对所有方面表示进行聚合,并应用注意模块对上下文词和目标方面进行对齐。这样就可以利用依赖信息自动选择相关方面敏感的语境词进行情感分类。
双变压器结构由一个多层Transformer和一个多层BiGCN组成。通过考虑依赖图中每个边的方向来设计一个BiGCN。
Figure 8: 一个简化的双变压器结构演示
该模型实验在五个数据集上进行,其中一个数据集(Twitter)最初由Dong等人(2014)构建,其他四个数据集(Lapl4,Rest14,Rest15,Rest16)分别来自SemEval2014任务4,SemEval 2015任务12和SemEval2016任务5。结果如下图所示:
Figure 9: 实验中五个数据集的详细统计
DGEDT使用并组合了两个子模块(传统Transformer和依赖图增强GCN),性能优于任何单个子模块。当依赖树作为一个补充而不是一个单独的决定性模块时,使用依赖树确实有助于提高性能。
3.2 基于文档级情感倾向的对象级情感分类模型
该模型针对传统属性级情感分类工作都将其视为基于句子的独立任务,未结合文章或句段上下文综合考虑的问题,探讨了文本内部的两种情感偏好信息,即同一属性的情境情感一致性在即属性内情感一致性圩和所有相关属性的情境情感倾向(即属性间情感倾向)。
在此基础上,提出了一种协同图注意网络(COGAN)方法,用于协同学习属性相关句子表示。利用两个图注意网络分别对上述两种文档级情感偏好信息进行建模,并通过交互机制对两种偏好进行整合。
该方法假设是短文本(如商品评价)中针对同一问题的情感表述较为一致,甚至整个文本的情感基调都较连贯,基于此构建了句子间的相关网络。其他句子为所预测句子的情感分析任务提供了支持信息。
Figure 10: 该文章中的两种模型
(1)对象内一致性模型(Intra-Aspect Consistency Modeling),其中包含注意力网络,即句子Sentence与对象Aspect之间关联性的网络;对句子和对象,注意力权重的计算公式如下:
(2)跨对象倾向性模型(Inter-Aspect Tendency Modeling);其中注意力网络为,即句子与之间关联性,其注意力权重的计算公式如下:
Figure 11: COGAN的总体框架
该模型使用了一种融合机制,包括金字塔形隐藏层设计和适应性层融合技术,以此使两种表示之间存在沟通渠道。具体而言,金字塔隐藏层设计中,每一层向量的长度都比上一层缩小一倍,即,其中为当前层数;而适应性层融合技术是指将上述金字塔隐藏层的各层表示拼接起来,并经过线性变换和激活从而得到最终的句子表示向量。
Figure 12: 由BERT、IMN和CoGAN三种方法预测极性的测试数据示例
该方法的主要思想是将两种情感偏好信息(即属性内一致性和属性间倾向)合并到一个文档中,以弥补ASC中的信息缺失问题。在句内含义较为隐晦时,对象内情感一致性可以通过其他句子给出正确的判断:而在更为隐晦而难以判断的文本中,跨对象情感倾向性可以发挥作用,通过整体的情感判断给出某个对象的情感。
3.3 应用上下文及句法特征的对象级情感分类
针对将ABSA两个步骤一对象抽取和情感分类分离开,使得隐藏在句法结构中的信息就无法被充分利用的问题,来自伍伦贡大学的两位研究者构建了一种端到端的对象级情感分析方法,可以充分利用语法信息,并使用自注意力机制充分挖掘句法结构。
该方法运用自我注意机制进行句法学习,结合了词性嵌入、基于依赖性的嵌入和上下文化嵌入(如BERT、RoBERT)来增强属性提取器的性能,提出句法相对距离的概念,以淡化不相关词的不利影响,增加了属性情感分类器的准确性。
该方法包括两个核心单元,其一是对象抽取(AE),该单元的主要目标是标识句中每一个单词是否属于对象词汇。本文的对象抽取模块称为“基于句法的结构化对象抽取"(contextualized syntax-based aspect extraction,( CSAE),包含part-of-speech:表示、依存表示和上下文嵌入(如BERT,RoBERT),其中前两者还加入了自注意力机制。具体而言,POS标签来自Universal POS tags.工具,之后有自注意力层负责抽取整个句子的语法依存关系。依存表示模块使用了基于句法关系的依存表示,首先要对每个目标词汇及其修饰词建立上下文集合,随后的依存关系学习可以延伸到距离较远的上下文,还能将不相关词汇(即使距离很近)的重要性降低。该单元的架构图如下所示:
Figure 13: CSAE的总体架构
另一个核心单元负责对象级情感分析(ASC),将挖掘局部上下文注意力的信息,负责将上文得到的上下文表示和对象术语转换为情感分类标签,具体思路是将相关性较小的信息的权重降低。该单元主要有两个组成部分,其一是局部上下文特征,通过将局部上下文向量送入上下文特征权重动态遮罩工具和动态调整工具,分别可以调整距离对象较远的词汇的权重(去除和降低):在特征权重动态遮罩工具中,若当前词的相对距离大于预设的阈值,重要性矩阵对应该词的一列为,否则该列为,即全0或全1向量;在特征权重动态调整工具中,若当前词的相对距离大于预设的阈值,重要性矩阵对应该词的一列为;否则,该列为。另一组成部分为全局上下文特征。该单元的架构图如下所示:
Figure 14: LCFASC的整体架构
预期具有基于依赖特性的RoBERTa的F1 scorel略高于具有POS特性的RoBERTa,CSAE在这两个组件的充分补充下获得了显著的改进。在不同数据集中与其他模型比较的实验结果如下图所示:
Figure 15: 该方法最佳表现AE模型变体与最新方法对不同数据集实验的比较
在属性级情感分类任务上,本文的方法均取得了最佳效果,且没有使用外部词库。与其他模型在同一数据集的F1和准确率的结果比较如下表所示:
Figure 16: 该方法最佳表现AE模型变体与最新方法在F1和准确率方面的比较
结果表明,对句子句法结构的利用使语境化模型在ASC和AE任务的基础上得到改进。该属性情感分类器优于训练后的ASC模型,并支持创建独立于领域的解决方案。提出的SRD允许属性情感分类器关注关键情感词,通过基于依赖的结构修改目标属性术语。这些显著的改进突出了最近的上下文化嵌入模型在“理解”句法特征方面的不佳表现。
3.4 基于注意的长短期记忆递归神经网络(LSTM)
该方法是一个基于注意的长短期记忆网络用于方面层面的情感分类。当以不同的方面作为输入时,注意机制可以集中在句子的不同部分。
循环神经网络RN)是传统前馈神经网络的延伸。但是标准RN存在梯度消失(标准缸ST的体系结构)或爆炸问题(神经网络的权重/偏置梯度极大,导致神经网络参数调整幅度过大,矫枉过正)。为了克服这些问题,人们开发了长短时记忆网络(LST),并取得了优越的性能(Hochreiter和Schmidhuber,l997)。
Figure 17: 标准LSTM的体系结构
标准的LSTM无法检测出哪一部分是属性级情感分类的重要部分,为了解决这一问题,该模型提出了设计一种注意机制,可以捕捉句子的关键部分,以响应给定的方面。
Figure 18: 基于注意的LSTM(AT-LSTM)的体系结构
AE-LSTM中使用方面信息的方法是让方面嵌入在计算注意权重中发挥作用。为了更好地利用方面信息,将输入方面嵌入到每个单词输入向量中。通过这种方式,输出隐藏表示,可以从输入方面获得信息。因此,在接下来的步骤中计算注意权重,可以对单词和输入方面之间的依赖关系进行建模。
Figure 19: 面向方面嵌入的基于注意的LSTM体系结构
当给出不同的属性时,AE-LSTM和ATAE-LSTM模型可以集中在句子的不同部分,从而在属性级情感分类中更具竞争力。在SemEval2014数据集上进行实验,结果表明AE LSTM和ATAE-LSTM模型比基线模型具有更好的性能。
Figure 20: 饭店属性术语极性分类的准确性实验结果
Figure 21: 笔记本电脑相位极性分类的准确性实验结果
3.5 面向属性层次情感分类的参数化卷积神经网络
本模型首次尝试了使用卷积神经网络来解决属性情感分类的问题,设计了两个考虑目标方面的新型神经单元一参数化滤波器、参数化栅极,这些单元都是从方面特定的特征生成的。使用参数化滤波器和参数化门,将属性信息合并到卷积神经网络(CNN)中。
标准卷积神经网络不考虑来自属性项的信息,卷积神经网络(PFCN)的参数化滤波器通过使用方面术语参数化过滤器来克服这个问题。参数化门控卷积神经网络(PG-CN)与PF- CNN类似,也利用卷积神经网络从属性术语中提取特征,将其应用于句子的CNN的门。
Figure 22: PF-CNN和PG-CNN的整体架构
与基线方法的比较表明,该模型有效地学习了面向方面的情绪表达;与多个强神经基线相比,实验结果显示了显著的改善。
Figure 23: 在SemEval 2014数据集的实验结果
3.6 面向属性情感分类的交互式注意网络
传统方法中,目的是通过生成目标特定的表示来精确地建模上下文,但是忽略了在上下文的帮助下目标的单独建模。例如,当“短”和“电池寿命”搭配在一起时,人们的情绪往往是消极的。但当“短”与“勺”连用在“短胖面勺,比较深一些弧度”的语境中,则可产生神经上的情绪,只有目标及其上下文的协调才能真正提高情感分类的性能。
针对如何同时精确地对目标和上下文建模的问题。首先,目标和上下文可以确定彼此的表示。例如,当目标“画质”出现时,语境词“清晰”自然与该目标联系在一起。反之亦然。在这种情况下,目标和上下文可以分别建模,但可以从它们的相互作用中学习。针对不同的词可能对最终表示有不同贡献的问题,该模型分别计算目标和上下文的注意权重。
该模型认为目标和语境都值得特殊对待,需要通过互动学习来学习它们自己的表征,提出一个基于长短期记忆网络(LST)和注意机制的互动注意网络(IAN)模型。IAN利用与目标相关的注意机制从情境中获取重要信息,并计算情境表示进行情感分类。此外,IAN利用来自情境的交互信息来监督目标的建模,有助于判断情绪。最后,结合目标表征和情境表征,IAN预测了目标在其情境中的情绪极性。
Figure 24: IAN的整体架构
IAN模型由两个部分组成,分别对目标和上下文进行交互建模。以词嵌入为输入,利用LST网络分别获取目标和上下文的词级隐藏状态。我们利用目标的隐藏状态和上下文的隐藏状态的平均值来监督注意向量的生成,利用注意机制来捕捉上下文和目标中的重要信息。通过这种设计,目标和上下文可以交互地影响其表示的生成。最后,将目标表示和上下文表示连接为最终表示,并将其输入到一个softmax函数中进行方面级情感分类。
该模型在SemEval2014数据集上的实验结果证明了其有效性,实验结果如下图所示:
Figure 25: SemEval 2014 Task 4 3类预测的准确性实验结果
在实验中设计了Target2 Content,它使用两个LSTM网络学习目标和上下文表示,但只考虑通过目标表示关注上下文单词。Target2 Content与IAN的唯一区别是IAN在建模目标时也采用了注意机制。从下图中,可以看到IAN模型比No-Target模型取得了更好的性能,故目标应单独建模,目标表征有助于判断目标的情感极性。对于无交互模型,它在所有方法中得到了最差的结果。与Target2 Content和IAN相比,目标和上下文之间没有交互。因此,目标和内容之间的交互作用对于生成更好的目标情感预测表示具有重要作用。其结果也逊于无目标,这可能是因为在通过注意监督学习内容表示方面,由局部注意产生的目标表示效果不如目标信息的影响重要。
至于Target2 Content,它优于No-Interaction,但不如IAN。与IAN相比,它只通过LSTM网络学习目标表示,不需要上下文监督,这意味着目标与内容之间的相互作用对目标情感极性的分类至关重要,单向的关注对最终的表征是不够的。
Figure 26: 互动注意网络分析
IAN模型充分考虑了目标的影响以及目标与语境的相互作用,对目标情感分类做出了贡献。在IAN中利用LSTM网络和交互注意对目标进行建模,LSTM网络和交互注意对长目标的建模比对短目标的建模更有效。该模型能够密切关注目标和上下文中的重要部分,并很好地生成目标和上下文的表示形式。
3.7 基于深度记忆网络的属性情感分类
该方法引入了一种用于方面层次情感分类的深度记忆网络。与基于特征的支持向量机和LSTM等顺序神经模型不同,该方法在推断一个方面的情感极性时明确地捕获了每个上下文单词的重要性,这种重要程度和文本表示是通过多个计算层来计算的,每一个计算层都是一个外部记忆的神经注意模型。
该方法由多个计算层(跃点)组成,每个计算层包含一个注意层和一个线性层。在第一个计算层(hop1)中,我们将方面向量作为输入,从记忆中自适应地选择重要证据,穿过注意层。将注意层的输出和aspect vector2的线性变换相加,并将结果作为下一层(hop2)的输入。同样,我们将多个跳进行堆叠,并多次运行这些步骤,最后一层的输出向量被认为是句子在方面的表示,进一步被用作方面层次情感分类的特征。其中,注意和线性层的参数在不同层中是共享的。因此,一层模型和九层模型具有相同数量的参数。
Fige 27: 用三个计算层(跃点)解释属性级情感分类的深度记忆网络
在所有这些模型中,使用多个计算层可以特续提高分类精度。当层数大于5时,这些模型的性能基本相当。其中模型2较为直观、计算成本小且不损失精度。
Figure 28: 不同注意模型对餐厅数据集的分类精度
在笔记本电脑和餐厅数据集上的实验表明,该方法可以与基于特征的支持向量机系统相媲美,并且大大优于基于LSTM和基于注意力的LSTM体系结构。在这两个数据集上的实验结果证明了多个计算层可以提高性能,具有9层的深内存网络比具有CPU实现的LSTM快15倍。
Figure 29: 不同分类方法在笔记本电脑和餐厅数据集上的实验结果
Figure 30: 餐厅数据集上每个模型训练历的运行时间(秒)
3.8 面向属性情感分类的交互注意胶囊网络
现有的神经模型大多倾向于利用静态池化操作或注意机制来识别情感词,不足以处理重叠特征。针对这一问题,该模型首次利用胶囊网络通过EM路由算法构造基于向量的特征表示和聚类特征,在胶囊路由过程中引入交互注意机制,迭代路由从全局的角度对句子进行编码,对属性术语与上下文之间的语义关系进行建模。具有交互注意力的胶囊网络(IACapsNet)由输入嵌入层、双向RNN层、主包层和输出层组成。
整个模型的核心在于交互注意力机制的EM路由算法。低阶矢量特征通过基于EM的算法聚集在高级胶囊中,其中高级胶囊的输出为高斯函数,而低级胶囊的输出向量则扮演数据点的角色。输出胶囊的均值,方差和激活概率,以及输入胶囊的分配概率R在E步和M步之间交替进行迭代更新。这种机制可以看作是反向的并行注意机制,可以根据句子的全局表示来调整更低阶单词的作用。此外,为了建模术语和上下文之间的语义关系,文章设计了一种基于交互的路由机制.
初级胶囊层的重叠特征可以通过迭代的方式路由聚类到高级胶囊层。但是单纯地交替使用e-步和m-步会忽略上下文和方面项之间的关系。因此,除了分配概率之外,该模型还引入了一个交互注意权重,可以实现在上下文和方面项之间交互学习。
Figure 31: IACapsNet的架构
通过与IAN模型进行实例对比分析,交互注意EM路由方法可以根据不同的方面来调整注意过的单词,从而有助于正确地进行所有预测。而且,这种路由方法可以更有效地定位在更重要的单词上。如下图中,就“price'”而言,它倾向于“n't”和“justify”这两个词,它们是相应的基本情感词。但是,它们被普通的注意力机制所忽略,这导致了IAN错误的预测。
Figure 32: 交互注意EM路由机制可视化
实验结果表明,IACapsNet在所有三个数据集上都表现最好,改进的主要原因是考虑上下文整体意义的特征聚类处理重叠特征的能力和耦合系数的迭代更新。此外,与同样以静态方式对典型注意机制进行整体表示的Cabasc方法相比,该迭代方法具有显著的优势。
Figure 33: 实验结果展示
4 属性情感分析数据资源
4.1 语料库
可用于属性级情感分析的数据资源对情感分析的发展至关重要,国内外的研究者针对情感分析任务、粒度、语种的不同构建了多个公开的语料库,下面总结了近年来应用较为广泛的中英文数据集以及相应的参考下载地址:
(1)面向属性类别情绪分析(ACSA)和评论评级预测(RP)的大型中餐馆评论数据集(ASAP)。包括来自领先的线上到线下(O2O)电子商务平台大众点评App的46,730条真实用户评论。除5星评级外,每条评论都根据其对18个预定义属性类别(包括食物、服务、环境等)的情绪极性进行了手动注释。下载地址:https://github.com/Meituan-Dianping/asap.git
Figure 34: 数据集部分展示
(2)大型影评数据集IMDb。包括了来自Internet Movie Database(IMDb)的50O00条电影评论,分别标注为正面和负面两类情感,包含偶数个正面和负面评论评论打分满分为10分,分数<=4归为负面评论,分数>=7归为正面评论。下载地址: https://www.kaggle.com/datasets/lakshmi25npathi/imdb-dataset-of-50k-movie-reviews
(3)Amazon商品评论数据集。亚马逊产品(如Kindle,Fire TV Stick等)的340O0多条消费者评论的列表,包括每个产品的基本产品信息、评级、评论文本等。下载地址: https://www.kaggle.com/datasets/datafiniti/consumer-reviews-of-amazon-products
(4)Stanford Sentiment Treebank标准情感数据集。包括11855个句子的解析树中215154个短语的细粒度情感标签,模型在细粒度上进行评估(五向)或基于准确性的二元分类。下载地址:https://nlp.stanford.edu/sentiment/code.html
(5)Sentihood。用于基于属性的目标情感分析的数据集,包含5,215个句子,其中3,862个包含单个目标,其余多个目标,旨在识别针对特定属性的细粒度极性。下载地址:https://github.com/uclmr/jack/tree/master/data/sentihood
(6)酒店评论语料。谭松波整理的一个较大规模的酒店评论语料,语料规模为10000篇,语料从携程网上自动采集,并经过整理而成。
(7)豆瓣网影评情感测试数据集。来自豆瓣网对电影《紅CE AGE3》的评论,评分标准均按照5 stars评分在网页中有标注,每页20条短评,共计11323条评论。
(8)THUCNews数据集。根据新浪新闻RSS订阅频道20052011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19GB),均为UTF-8纯文本格式。下载地址:http://thuctc.thunlp.org/
(9)今日头条新闻文本分类数据集。来源于今日头条客户端,共382688条,分布于15个分类中。下载地址:https://github.com/aceimnorstuvwxz/toutiao-text-classfication-dataset
4.2 词典
词典资源在情感分析中起着十分重要的作用,这些词典的特点各不相同。目前用于情感分析的词典有:
(1)知网的情感词典。由知网发布的词典,包括中文情感词典和英文情感词典。
(2)台湾大学的情感极性词典。包括2810个正极性词语和8276个负极性词语,准确度高。
5 面临的挑战与未来的研究方向
5.1 面临的挑战
(1)属性级情感分析的隐式属性与隐式观点表达情感的语言学模板因为囿于自身在应用和描述上的困难而导致其应用效率仍然差强人意,现实世界中的文本具有许多无法直接分辨的情感属性,例如:“今天吃了块一个小时的饭”,其中包含着无法直接识别出的隐式属性与隐式观点。如何将隐式属性与隐式观点提取分析以及如何分析各种属性与观点组合的文本句段是该领域仍未很好解决的问题。
(2)属性级情感分析的细粒度标注领域依赖由于情感分析应用的主要领域在用户对产品或者服务的评论方向,故对该评论场景的依赖性很强。在单个场景下训练得到的分类训练器将不能很好地适用于其他差别较大的场景。如何综合不同领域标注分析是该领域的一大问题。
5.2 未来的研究方向
(1)数据预处理方法评论文段中可能会存在许多由于用户拼写错误、表达不清等问题导致的噪声数据,将会影响到模型的训练效果。如何去掉各种拼写、语法和标点错误等数据噪声,实现预处理将会是该领域的一个发展方向。
(2)预训练模型预训练模型能有效解决传统方法中存在的问题,如不能并行化计算的限制等,还能有效捕获词语之间的相互关系,并且通过微调就能在下游任务中实现较好的效果,但也会存在模型参数量大,训练时间较长的问题。如何在模型的参数量小,有效缩短训练时间的前提下,达到好的分类效果。
(3)多领域融合模型解决属性级情感分析的细粒度标注领域依赖问题,将多个领域的内容结合,进行情感分类,提高模型的泛用性能将会是该领域未来的一个发展方向。
(4)词典构建更新随着互联网的高速发展,带有情感倾向的网络用语等越来越频繁地出现,当训练地文段中出现此类具有反讽或者暗喻的词语时,情感极性判断的难度将会大幅增加,需要进一步的研究。
6 总结
本文采用文献调研的方法,从情感分析文本粒度层次出发,介绍了属性级情感分析以及其子任务一属性情感分类的相关概念和部分模型,包括基于属性的情感分类的依赖图增强双变结构、基于文档级情感倾向的对象级情感分类模型、应用上下文及句法特征的对象级情感分类方法、基于注意的长短期记忆递归神经网络(LSTM)、面向属性层次情感分类的参数化卷积神经网络、面向属性情感分类的交互式注意网络、基于深度记忆网络的属性情感分类和面向属性情感分类的交互注意胶囊网络。
接着整理了情感分析的部分语料资源以及词典资源,并给出了相关介绍与下载地址。最后进一步探讨了属性级情感分析的研究挑战与未来的研究发展方向,发现数据预处理方法、预训练模型、多领域融合模型等方向具有强大的发展前景与潜力。
参考文献
Binxuan Huang,Kathleen Carley.2018.Parameterized Convolutional Neural Networks for Aspect Level Sentiment Classification.EMNLP 2018.
Chen,Xiao,et al.2020.Aspect Sentiment Classification with Document-level Sentiment Preference Modeling.Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.
Chunning Du,Haifeng Sun,Jingyu Wang,Qi Qi,Jianxin Liao,Tong Xu and Ming Liu.2019.Capsule Network with Interactive Attention for Aspect-Level Sentiment Classification.EMNLP 2019.
Chenhua Chen,Zhiyang Teng,Yue Zhang.2020.Inducing Target-Specific Latent Structures for Aspect Sentiment Classification.EMNLP 2020.
Dehong Ma,Sujian Li,Xiaodong Zhang and Houfeng Wang.2017.Interactive Attention Networks for Aspect-Level Sentiment Classification.IJCAI 2017.
Duyu Tang,Bing Qin and Ting Liu.2016.Aspect Level Sentiment Classification with Deep Memory Network.EMNLP 2016.
Duyu Tang,Bing Qin,Xiaocheng Feng and Ting Liu.2016.Effective LSTMs for Target-Dependent Sentiment Classification with Long Short Term Memory.COLING 2016.
Hao Tang,Donghong Ji,Chenliang Li,Qiji Zhou.2020.Dependency Graph Enhanced Dual-transformer Structure for Aspect-based Sentiment Classification.ACL 2020.
Jingjing Wang,Changlong Sun,Shoushan Li,Xiaozhong Liu,Min Zhang,Luo Si and Guodong Zhou. 2019.Aspect Sentiment Classification Towards Question-Answering with Reinforced Bidirectional Attention Network.ACL 2019.
Jungi Dai,Hang Yan,Tianxiang Sun,Pengfei Liu,Xipeng Qiu.2021.Does syntar matter?A strong baseline for Aspect-based Sentiment Analysis with RoBERTa.NAACL 2021.
Kai Wang,Weizhou Shen,Yunyi Yang,Xiaojun Quan,Rui Wang.2020.Relational Graph Attention Network for Aspect-based Sentiment Analysis.EMNLP 2020.
Liu,B.2012.Sentiment analysis and opinion mining.Synthesis lectures on human language technologies, 5(1):1-167.
Qingnan Jiang,Lei Chen,Ruifeng Xu,Xiang Ao and Min Yang.2019.A Challenge Dataset and Effective Models for Aspect-Based Sentiment Analysis.EMNLP 2019.
Richard Socher Alex Perelygin,Jean Wu ,Jason Chuang ,Christopher Manning;Andrew Ng,Christopher Potts.2013.Compositional Vector Grammars.EMNLP.
Ronald Seoh,Ian Birle,Mrinal Tak,Haw-Shiuan Chang,Brian Pinette,Alfred Hough.2021.Open Aspect Target Sentiment Classification with Natural Language Prompts.EMNLP 2021.
Shuai Wang Sahisnu Mazumder Bing Liu Mianwei Zhou and Yi Chang.2018.Target-Sensitive Memory Networks for Aspect Sentiment Classification.ACL 2018.
Xin Li,Lidong Bing,Wai Lam and Bei Sh.2018.Transformation Networks for Target-Oriented Sentiment Classification.ACL 2018.
Yequan Wang,Minlie Huang,Li Zhao and Xiaoyan Zhu.2016.Attention-based LSTM for Aspect-level Sentiment Classification.EMNLP 2016.
Yuncong Li,Cunxiang Yin,Sheng-hua Zhong,Xu Pan.2020.Multi-Instance Multi-Label Learning Networks for Aspect-Category Sentiment Analysis.EMNLP 2020.
Zhang,Ji,et al.2020.Target-Guided Structured Attention Network for Target-Dependent Sentiment Analysis.the Association for Computational Linguistics,8 (2020):172-182.
Zheng Zhang,Zili Zhou,Yanna Wang.2022.SSEGCN:Syntactic and Semantic Enhanced Graph Convolutional Network for Aspect-based Sentiment Analysis.NAACL 2022.
陈苹,冯林.情感分析中的方面提取综述J刃计算机应用,2018,38(S2):84-88+96.
江红.情感分析研究综述J.智能计算机与应用,2018,8(05):103-105.
李林川.方面级文本情感分析的研究与应用D引.兰州交通大学,2021,
程涛.基于深度学习的方面级情感分类方法研究D].南京信息工程大学,2021
谭翠萍.文本细粒度情感分析研究综述[J]大学图书馆学报,2022,40(04):85-99+119.
余静莹.基于双向长短期记忆网络的文本情感分类算法研究D安徽大学,2021,
张严,李天瑞.面向评论的方面级情感分析综述[J.计算机科学,2020,47(06):194-200.