Hadoop - 随笔分类 - limeOracle

摘要：1.获取ES连接 2.CURD操作 -- -- -- -- -- -- -- -- -- -- -- -- 3.返回数据啦啦啦阅读全文

posted @ 2017-08-03 15:12 limeOracle 阅读(333) 评论(0) 推荐(0) 编辑

摘要：一、HDFS读写文件过程 1.读取文件过程 1) 初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件 2) FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 3) Fil 阅读全文

posted @ 2017-07-29 13:18 limeOracle 阅读(293) 评论(0) 推荐(0) 编辑

Hadoop -- RPC机制

摘要：一、Hadoop的RPC通信机制 1.什么是RPC l RPC（Remote Procedure Call）远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模阅读全文

posted @ 2017-07-29 13:02 limeOracle 阅读(189) 评论(0) 推荐(0) 编辑

Hadoop安装教程_集群/分布式配置

摘要：配置集群/分布式环境集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yar 阅读全文

posted @ 2017-07-15 17:57 limeOracle 阅读(406) 评论(0) 推荐(0) 编辑

Hadoop安装教程_单机/伪分布式配置

摘要：原文：http://www.powerxing.com/install-hadoop/ 环境本教程使用 Ubuntu 14.04 64位作为系统环境（Ubuntu 12.04 也行，32位、64位均可），请自行安装系统。本教程基于原生 Hadoop 2，在 Hadoop 2.6.x (stab 阅读全文

posted @ 2017-07-15 16:28 limeOracle 阅读(653) 评论(0) 推荐(0) 编辑

随笔分类 - Hadoop