2015年1月15日

Lucene、Compass学习以及与SSH的整合

摘要： 一、准备 个人在学习中采用Struts2 + Hibernate3.2 + Spring2.5 + Compass2.2.0， 一下图片为本次学习中用到的jar包：图中圈出的jar包为本次学习的主要部分，另外用绿色框圈出的jar包为分词器，主要用来做实验看分词效果的，选用一个即可。二、什么是Comp... 阅读全文

posted @ 2015-01-15 17:21 为努力骄傲 阅读(940) 评论(0) 推荐(0) 编辑

Hadoop集群（第9期）_MapReduce初级案例

摘要： 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。... 阅读全文

posted @ 2015-01-15 17:05 为努力骄傲 阅读(334) 评论(0) 推荐(0) 编辑

Hadoop 学习总结之一：HDFS简介

摘要： 一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的... 阅读全文

posted @ 2015-01-15 16:45 为努力骄傲 阅读(147) 评论(0) 推荐(0) 编辑

Lucene的例子

摘要： lucene爬数据库中的数据无非也是查询数据。所有我们用lucene搜索数据主要有下面几个步骤：(代码紧供参考) 一 ，从数据库中查数据 ====爬数据-------------1public ArrayList getDate(String sql) throws SQLException {Ar... 阅读全文

posted @ 2015-01-15 16:18 为努力骄傲 阅读(152) 评论(0) 推荐(0) 编辑

导航