2017年12月20日

[Hadoop]MapReduce中的InputSplit

摘要： 在查看数据块的如何处理之前，我们需要更仔细地了解Hadoop如何存储数据。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。 例如，示例数据集包含有关1987至2008年间美国境内已完成航班的信息。如果要下载数据集可以打开如下网址： http://stat-compu 阅读全文

posted @ 2017-12-20 21:32 悟倩 阅读(1735) 评论(0) 推荐(0) 编辑

JAVA正则表达式：Pattern类与Matcher类详解(转)

摘要： java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。它包括两个类：Pattern和Matcher Pattern 一个Pattern是一个正则表达式经编译后的表现模式。 Matcher 一个Matcher对象是一个状态机器，它依据Pattern对象做为匹配模式 阅读全文

posted @ 2017-12-20 21:21 悟倩 阅读(116) 评论(0) 推荐(0) 编辑

hadoop2升级的那点事情(详解)

摘要： 前言 前阵子，公司的hadoop从hadoop1.02升级到hadoop2.4.1，记录下升级的步骤和遇到的问题，和大家分享，希望别人可以少走一些弯路 技术选型 当前使用版本： apache hadoop 1.0.2 hive 0.10 升级目标版本 Apache hadoop 2.4.1 Hive 阅读全文

posted @ 2017-12-20 21:19 悟倩 阅读(408) 评论(0) 推荐(0) 编辑

导航