seo与python大数据结合给文本分词并提取高频词

  最近研究seo和python如何结合，参考网上的一些资料，写的这个程序。

  目的：分析某个行业（例如：圆柱模板）用户最关心的一些词，根据需求去自动调整TDK,以及栏目，内容页的规划

  使用方法：

    

?

1 2 3 4 5 6 7 8 9 10 11 12

1、下载安装cygwin：http://www.cygwin.com/ 2、cygwin安装时别忘记安装curl，wget，iconv，lynx，dos2unix，Python等常用工具，特别是Python，这次主要就是用它了。 3、去下载jieba中文分词组件： 首选：https://github.com/fxsjy/jieba/archive/master.zip 备用：https://pypi.python.org/pypi/jieba/ 4、安装jieba中文分词组件： 全自动安装： easy_install jieba 或者 pip install jieba / pip3 install jieba 半自动安装：先下载 https://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install 手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录 通过 import jieba 来引用 5、复制以下代码，另存为“jiebacmd.py” 6、新建一个文件夹，将你需要分词的文本和jiebacmd.py拷进去，记住文本需要另存为utf-8编码，然后在cygwin里用cd命令把工作目录切换进新建的文件夹，再输入以下命令：cat abc.txt|python jiebacmd.py|sort|uniq -c|sort -nr|head -100

　　代码：

   

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

#encoding=utf-8 #usage example (find top 100 words in abc.txt): #用途：找出abc.txt文件中出现频率最高的前100个词 #复制以下命令到cygwin里运行，abc.txt是你文本的文件名，head -100可以自己改成想要提取的前多少个词 #cat abc.txt | python jiebacmd.py | sort | uniq -c | sort -nr -k1 | head -100 #以上都是注释，不影响程序运行 from __future__ import unicode_literals import sys sys.path.append("../") reload(sys) sys.setdefaultencoding( "utf-8" ) import jieba default_encoding='utf-8' if len(sys.argv)>1:     default_encoding = sys.argv[1] while True:     line = sys.stdin.readline()     if line=="":         break     line = line.strip()     for word in jieba.cut(line):         print(word)