2011年8月19日
摘要: 无论是要进行全文检索,还是对文章进行自动聚类分析,都需要将文章表示为术语向量(Term Vector),在Lucene内部就是通过术语向量来对文章进行索引和搜索的,但是Lucene没有向外提供合适的术语向量计算接口,所以对术语向量计算还必须我们自己来做。术语向量解述众所周知,一篇文章由一个个的单词组成,我们在进行文本处理时,首先进行中文分词,包括去除“的、地、得”等常用停止词,对关键词加上同义词,如缩写和全称,如果是英文可能还需要变为小写,去除复数和过去分词等,可能还需要提取词根,总之经过上述步聚的预处理,文章将变成由一系列单词组成的字符串数组。对一系统中的每一篇文章,我们首先计算每个单词的出 阅读全文
posted @ 2011-08-19 16:39 程序员新鲜事 阅读(263) 评论(0) 推荐(0) 编辑
摘要: 股权激励之惑终于通过程序可以把京成商城所有产品的页面全都通过网络爬虫程序全部下载到本地来了,吴言心满意足坐在了电脑椅的靠背上,这才发现自己已经足足一动不动的在这编了将近五个小时的程序了,好累呀,吴言很有成就感地伸了一个懒腰。“哎呦!”吴言不小心把堆在电脑桌上最上面的一本书碰到的地上,低头一看,那本书打开了扣在地上,原来是于丹的论语心得。吴言弯腰把书捡了起来,一看翻开的章节正是在讲“君子不器”的那一页,此时看到这句,吴言感慨颇深。记得自己刚开始工作时,对于工作的认识只是VC、VB、Java以及数据库读写等,没有独立工作的机会,那时的自己还不能称之为器,因为还缺乏独立工作的能力。后来,自己对工作的 阅读全文
posted @ 2011-08-19 08:59 程序员新鲜事 阅读(129) 评论(0) 推荐(0) 编辑