摘要：最近在忙某个商业银行的项目，需要引入外部互联网数据作为参考，作为技术选型阶段的工作，之前已经确定了中文分词工具，下一个话题就是网络爬虫的选择，目标很明确，需要下载一些财经网站的新闻信息，然后进行文本计算。记得上一次碰爬虫还是5年前，时过境迁，不知道爬虫的世界里是否有了新的崛起。比较过一些之后，初步认定Heritrix基本能够满足需要，当然肯定是需要定制的了。 阅读全文

摘要：中文分词一直是自然语言处理的一个痛处，早在08年的时候，就曾经有项目涉及到相关的应用（Lunce构建全文搜索引擎），那时的痛，没想到5年后的今天依然存在，切分效果、扩展支持、业务应用等方面依然不甚理想。收费的版本不提了，原因自不必言表，开源版本中，发现之前曾经活跃的版本，大多已经没落（好几年没更新了），存活下来的寥寥无几。我是一个守旧的人，评估版本的选择有些保守，至少目前为止，只看1.0正式版本之后的版本，0.XX的不在考虑范围之内，用了一个周末的时间，对比了十多款的样子，个人感觉源于中科院ICTCLAS的smartcn和IKAnanlyzer效果还是不错的。 阅读全文

摘要：习惯了MyEclipse的你是否曾想过基于Eclipse进行Dynamic Web Project项目开发呢？网上资料颇多，但是实践起来却发现总有这样那样的问题，设计Lucene搜索引擎项目的一个需要，重新搭建了一次环境，感触颇多，先总结下来，以备后用。 阅读全文

摘要：以上程序不会有任何异常提示，是不是就代表没有内存泄露了呢。如果此时i最大值设为：100000000会怎么样呢？不妨自己跑一下程序，下面是我实测的结果，与具体JVM参数设置有关，各人的极限值可能不同。 阅读全文