随笔分类 - 自然语言处理NLP
摘要:Keras 是一个用 Python 编写的高级神经网络 API,它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转换为实验结果,是做好研究的关键。 本文以Kaggle上的项目:IMDB影评情感分析为例,
阅读全文
摘要:以boss直聘https://www.zhipin.com/上面搜索nlp为例,我们抓取数据,探索一下市场上对nlp人才的需求. 代码放在https://github.com/sdu2011/nlp.你可以稍加改造,看看自己所在地区,目标职位都要求一些什么技能. 以南京地区的nlp岗位为例. 要抓取
阅读全文
摘要:概率图模型 HMM 先从一个具体的例子入手,看看我们要解决的实际问题.例子引自wiki.https://en.wikipedia.org/wiki/Hidden_Markov_model Consider two friends, Alice and Bob, who live far apart
阅读全文
摘要:主要翻译自http://blog.echen.me/2012/01/03/introduction to conditional random fields/,原作者是MIT的大神,加入了一些我自己的理解. 问题由来 给你某人一天内一系列生活照片,让你为每一张照片添加label(比如唱歌,跳舞,吃饭
阅读全文
摘要:在自然语言处理入门里我们提到了词向量的概念,tf-idf的概念,并且在实际的影评正负面预测项目中使用了tf-idf,取得了还算不错的效果.这一篇,我们来尝试一下使用来自google的大名鼎鼎的word2vec。 gensim是一个常用的python自然语言处理库.其中封装了c语言版本的word2ve
阅读全文
摘要:海王是前段时间大热的影片,个人对这种动漫题材的电影并不是很感兴趣.然鹅,最近这部电影实在太热了,正好最近看自然语言处理的时候,无意间发现了word cloud这个生成词云的库,还蛮好玩的,那就抓抓这部电影的影评来试试吧. 爬虫抓取豆瓣海王影评 首先我们登陆豆瓣,进入海王的影评页面.然后打开影评的每一
阅读全文
摘要:自然语言处理NLP( natural language process)是这几年越来越火了,kaggle上的比赛有关NLP的也日渐多起来了. NLP的应用场景很多,情感分析,邮件过滤,ai客服,机器翻译等等等等,就像这几年越来越火有成为BAT之后第四极的今日头条,为什么能够为每个人推送不同的感兴趣的
阅读全文