05 2018 档案

Hive部署

摘要：Hive安装阅读全文

posted @ 2018-05-31 22:32 py小杰阅读(326) 评论(0) 推荐(0) 编辑

MapReduce过程详解(基于hadoop2.x架构)

摘要：本文基于hadoop2.x架构详细描述了mapreduce的执行过程，包括partition，combiner，shuffle等组件以及yarn平台与mapreduce编程模型的关系。阅读全文

posted @ 2018-05-29 09:56 py小杰阅读(15610) 评论(1) 推荐(4) 编辑

MapReduce编程中常用的字符操作

摘要：本文主要用于记录自己在编写mapreduce程序时常用的一些方法，后期会不断更新，用于自己复习和给新手一些帮助。阅读全文

posted @ 2018-05-17 10:24 py小杰阅读(1216) 评论(0) 推荐(0) 编辑

【图文详解】深入HDFS原理

摘要：本文主要详述了HDFS的组成结构，客户端上传下载的过程，以及HDFS的高可用和联邦HDFS等内容。阅读全文

posted @ 2018-05-06 13:40 py小杰阅读(4766) 评论(1) 推荐(2) 编辑

MapReduce编程模型详解（基于Windows平台Eclipse）

摘要：本文基于Windows平台Eclipse，以使用MapReduce编程模型统计文本文件中相同单词的个数来详述了整个编程流程及需要注意的地方。阅读全文

posted @ 2018-05-03 20:31 py小杰阅读(1613) 评论(3) 推荐(0) 编辑

HDFS的java API操作（基于Windows平台的Eclipse）

摘要：HDFS的java api操作是通过构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS集群上的文件。阅读全文

posted @ 2018-05-02 19:55 py小杰阅读(2208) 评论(0) 推荐(0) 编辑

hadoop简介

摘要：##hadoop简介 Hadoop 是一个由 Apache 基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非阅读全文

posted @ 2018-05-01 16:25 py小杰阅读(2955) 评论(0) 推荐(0) 编辑