摘要: 本文基于Windows平台Eclipse,以使用MapReduce编程模型统计文本文件中相同单词的个数来详述了整个编程流程及需要注意的地方。 阅读全文
posted @ 2018-05-03 20:31 py小杰 阅读(1609) 评论(3) 推荐(0) 编辑
摘要: HDFS的java api操作是通过构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS集群上的文件。 阅读全文
posted @ 2018-05-02 19:55 py小杰 阅读(2148) 评论(0) 推荐(0) 编辑
摘要: ##hadoop简介 Hadoop 是一个由 Apache 基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。适合处理非 阅读全文
posted @ 2018-05-01 16:25 py小杰 阅读(2938) 评论(0) 推荐(0) 编辑
摘要: HADOOP是apache旗下的一套开源软件平台,利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理。 阅读全文
posted @ 2018-04-29 13:45 py小杰 阅读(4169) 评论(0) 推荐(1) 编辑
摘要: 本文主要是一些常用的linux配置,linux系统版本为CentOs6.3 阅读全文
posted @ 2018-04-28 20:26 py小杰 阅读(1871) 评论(0) 推荐(0) 编辑
摘要: 大规模分布式系统需要解决各种类型的协调需求,目前比较有名的协调系统有Google的Chubby,Yahoo的Zookeeper。Chubby强调系统的可靠性以及高可用性等,而不追求处理高吞吐量;Zookeeper是一个开源的可扩展的高吞吐分布式协调系统,应用场景十分广泛。 阅读全文
posted @ 2018-04-27 23:11 py小杰 阅读(8020) 评论(0) 推荐(1) 编辑
摘要: ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 阅读全文
posted @ 2018-04-25 20:48 py小杰 阅读(363) 评论(0) 推荐(0) 编辑
摘要: linux下各种集群搭建往往需要配置远程免密登录,本文主要描述了CentOs6.3系统下配置免密登录的详细过程。 阅读全文
posted @ 2018-04-24 10:35 py小杰 阅读(32979) 评论(0) 推荐(2) 编辑
摘要: 新装好的虚拟机往往还无法连接网络,本文描述了如何在CentOs6.3系统上配置网络信息 阅读全文
posted @ 2018-04-23 14:10 py小杰 阅读(1154) 评论(0) 推荐(0) 编辑
摘要: Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。 阅读全文
posted @ 2018-04-23 12:47 py小杰 阅读(918) 评论(1) 推荐(1) 编辑