[译] 第二十天：Stanford CoreNLP - 用Java对Twitter进行情感分析

前言

今天的30天挑战，我决定学习用斯坦福CoreNLP Java API执行情感分析。几天前，我写了怎样用TextBlob API用Python进行情感分析。我开发了个程序对给定的一些关键字在tweets给出情感分析，现在来看看这个程序看它怎样分析的。 

程序

今天的demo放在OpenShift上 http://sentiments-t20.rhcloud.com/. 有两个功能。

  1. 首先，如果你给出一些twitter搜索条目，它会显示至少20条最新对应的tweets情感观点。你需要勾上如图所示的激活框，支持的观点显示绿色，反对的显示红色。
     
  2. 第二个功能是如图所示的对一些文字做情感分析。
      

Stanford CoreNLP是什么？

Stanford CoreNLP是一个Java自然语言处理库，它集成了所有NLP工具，包括POS(part-of-speech) tagger, NER(the named entity recognizer), parser工具, 指代消解(coreference resolution)系统，情感分析工具和提供对英文分析的模型文件。 

前提准备

  1. Java基础知识，安装最新的Java Development      Kit(JDK), 可以安装OpenJDK 7或者Oracle JDK 7, OpenShift支持OpenJDK 6 和7.
  2. 从官网下载Stanford CoreNLP包。
  3. 在OpenShift上注册。OpenShift完全免费，红帽给每个用户免费提供了3个Gears来运行程序。目前，这个资源分配合计有每人1.5GB内存，3GB磁盘空间。
  4. 在本机安装rhc 客户端工具，rhc是ruby gem包，所以你需要安装1.8.7或以上版本的ruby。安装rhc，输入 sudo      gem install rhc. 如果已经安装了，确保是最新的，要更新rhc,输入sudo gem update rhc. 想了解rhc command-line 工具，更多帮助参考 https://www.openshift.com/developers/rhc-client-tools-install.
  5. 用rhc setup 命令安装OpenShift. 执行命令可以帮你创建空间，上传ssh 密钥到OpenShift服务器。 

Github仓库

今天的demo放在github: day20-stanford-sentiment-analysis-demo. 

快速启动和运行SentimentsApp

先来创建demo程序，命名sentimentsapp.

$ rhc create-app sentimentsapp jbosseap --from-code=https://github.com/shekhargulati/day20-stanford-sentiment-analysis-demo.git

如果你有普通gears权限，可以用以下命令。

$ rhc create-app sentimentsapp jbosseap -g medium --from-code=https://github.com/shekhargulati/day20-stanford-sentiment-analysis-demo.git

这会创建一个叫gear的程序容器，安装所需的SELinux策略和cgroup配置，OpenShift也会为你安装一个私有git仓库，克隆到本地，然后它会把DNS传播到网络。可访问 http://sentimentsapp-{domain-name}.rhcloud.com/ 查看程序。替换你自己唯一的OpenShift域名(有时也叫命名空间)。
 

这个程序也需要对应到twitter程序的4个环境变量，到 https://dev.twitter.com/apps/new 去新建twitter程序，创建如下4个环境变量。

$ rhc env set TWITTER_OAUTH_ACCESS_TOKEN=<please enter value> -a sentimentsapp

 

$ rhc env set TWITTER_OAUTH_ACCESS_TOKEN_SECRET=<please enter value> -a sentimentsapp

 

$rhc env set TWITTER_OAUTH_CONSUMER_KEY=<please enter value> -a sentimentsapp

 

$rhc env set TWITTER_OAUTH_CONSUMER_SECRET=<please enter value> -a sentimentsapp
View Code

现在重启程序，确保服务器可访问环境变量。

$ rhc restart-app --app sentimentsapp

后台

从pom.xml里给stanford-corenlp和twitter4j添加maven依赖开始，请用3.3.0版本的stanford-corenlp,因为添加的是这个版本的情感分析API.

<dependency>

    <groupId>edu.stanford.nlp</groupId>

    <artifactId>stanford-corenlp</artifactId>

    <version>3.3.0</version>

</dependency>

 

<dependency>

    <groupId>org.twitter4j</groupId>

    <artifactId>twitter4j-core</artifactId>

    <version>[3.0,)</version>

</dependency>
View Code

Twitter4j依赖在twitter搜索时需要。
 

更新pom.xml里几个属性把maven项目更新到Java 7.

<maven.compiler.source>1.7</maven.compiler.source>

<maven.compiler.target>1.7</maven.compiler.target>
View Code

现在更新Maven项目, 右击>Maven>Update Project. 

激活CDI

我们会用CDI注入依赖，CDI或者Context和依赖注入是Java EE 6的特性，可以在Java EE 6项目里激活依赖注入。CDI为Java EE定义了安全类型的依赖注入机制。几乎所有的POJO可以作为CDI bean注入。 

在src/main/webapp/WEB-INF文件夹下新建beans.xml文件，用以下内容更新beans.xml.

<beans xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/beans_1_0.xsd">

</beans>
View Code

用关键字搜索twitter

现在新建类TwitterSearch, 用Twitter4J支持关键字搜索，这个API需要twitter程序配置参数，我们用环境变量而不是hard coding来获取值。

import java.util.Collections;

import java.util.List;

 

import twitter4j.Query;

import twitter4j.QueryResult;

import twitter4j.Status;

import twitter4j.Twitter;

import twitter4j.TwitterException;

import twitter4j.TwitterFactory;

import twitter4j.conf.ConfigurationBuilder;

 

public class TwitterSearch {

 

    public List<Status> search(String keyword) {

        ConfigurationBuilder cb = new ConfigurationBuilder();

        cb.setDebugEnabled(true).setOAuthConsumerKey(System.getenv("TWITTER_OAUTH_CONSUMER_KEY"))

                .setOAuthConsumerSecret(System.getenv("TWITTER_OAUTH_CONSUMER_SECRET"))

                .setOAuthAccessToken(System.getenv("TWITTER_OAUTH_ACCESS_TOKEN"))

                .setOAuthAccessTokenSecret(System.getenv("TWITTER_OAUTH_ACCESS_TOKEN_SECRET"));

        TwitterFactory tf = new TwitterFactory(cb.build());

        Twitter twitter = tf.getInstance();

        Query query = new Query(keyword + " -filter:retweets -filter:links -filter:replies -filter:images");

        query.setCount(20);

        query.setLocale("en");

        query.setLang("en");;

        try {

            QueryResult queryResult = twitter.search(query);

            return queryResult.getTweets();

        } catch (TwitterException e) {

            // ignore

            e.printStackTrace();

        }

        return Collections.emptyList();

    }

}
View Code

以上代码，我们过滤了搜索结果，确保没有retweet, 带链接的tweet, 或者带图片的tweet返回，因为我们要确保得到的tweet要有文字。 

情感分析器

接下来我们创建一个类SentimentAnalyzer,用于对单个tweet执行情感分析。

public class SentimentAnalyzer {

 

    public TweetWithSentiment findSentiment(String line) {

 

        Properties props = new Properties();

        props.setProperty("annotators", "tokenize, ssplit, parse, sentiment");

        StanfordCoreNLP pipeline = new StanfordCoreNLP(props);

        int mainSentiment = 0;

        if (line != null && line.length() > 0) {

            int longest = 0;

            Annotation annotation = pipeline.process(line);

            for (CoreMap sentence : annotation.get(CoreAnnotations.SentencesAnnotation.class)) {

                Tree tree = sentence.get(SentimentCoreAnnotations.AnnotatedTree.class);

                int sentiment = RNNCoreAnnotations.getPredictedClass(tree);

                String partText = sentence.toString();

                if (partText.length() > longest) {

                    mainSentiment = sentiment;

                    longest = partText.length();

                }

            }

        }

        if (mainSentiment == 2 || mainSentiment > 4 || mainSentiment < 0) {

            return null;

        }

        TweetWithSentiment tweetWithSentiment = new TweetWithSentiment(line, toCss(mainSentiment));

        return tweetWithSentiment;

 

    }

}
View Code

我们复制了englishPCFG.ser.gz 和sentiment.ser.gz 模型到src/main/resources/edu/stanford/nlp/models/lexparser 和src/main/resources/edu/stanford/nlp/models/sentiment 文件夹。 

创建SentimentsResource

最后，创建JAX-RS资源类。

public class SentimentsResource {

 

    @Inject

    private SentimentAnalyzer sentimentAnalyzer;

 

    @Inject

    private TwitterSearch twitterSearch;

 

    @GET

    @Produces(value = MediaType.APPLICATION_JSON)

    public List<Result> sentiments(@QueryParam("searchKeywords") String searchKeywords) {

        List<Result> results = new ArrayList<>();

        if (searchKeywords == null || searchKeywords.length() == 0) {

            return results;

        }

 

        Set<String> keywords = new HashSet<>();

        for (String keyword : searchKeywords.split(",")) {

            keywords.add(keyword.trim().toLowerCase());

        }

        if (keywords.size() > 3) {

            keywords = new HashSet<>(new ArrayList<>(keywords).subList(0, 3));

        }

        for (String keyword : keywords) {

            List<Status> statuses = twitterSearch.search(keyword);

            System.out.println("Found statuses ... " + statuses.size());

            List<TweetWithSentiment> sentiments = new ArrayList<>();

            for (Status status : statuses) {

                TweetWithSentiment tweetWithSentiment = sentimentAnalyzer.findSentiment(status.getText());

                if (tweetWithSentiment != null) {

                    sentiments.add(tweetWithSentiment);

                }

            }

 

            Result result = new Result(keyword, sentiments);

            results.add(result);

        }

        return results;

    }

}
View Code

以上代码：

  1. 先检查searchekeywords是否非NULL或非空，然后分割到数组中，只考虑3个搜索条目。
  2. 然后对每个搜索条目找到tweet再做情感分析。
  3. 最后呈现结果给用户。 

这就是今天的内容，继续给反馈吧。 

原文：https://www.openshift.com/blogs/day-20-stanford-corenlp-performing-sentiment-analysis-of-twitter-using-java

posted on 2014-01-07 16:30  百花宫  阅读(2520)  评论(0)  编辑  收藏  举报

Powered by: 博客园 Copyright © 2024 百花宫
Powered by .NET 9.0 on Kubernetes