摘要：
第一部分：什么是RPC RPC (Remote Procedure Call Protocol) – 远程过程协议调用 。通过 RPC 我们可以从网络上的计算机请求服务，而不需要了 解底层网络协议。 Hadoop 底层的交互都是通过 rpc 进行的。例 如： datanode 和 namenode 阅读全文
摘要：
前言 前言 HDFS 是一个能够面向大规模数据使用的，可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。即使系统中有某些节点脱机，整体来说系统仍然 阅读全文
摘要：
使用Cloudera Manager部署安装的CDH和Impala，Hive中新增加的表，impala中查询不到，其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件： 将hadooop-core.xml,hdfs-site.xml,hive-site.xml拷贝到c 阅读全文
摘要：
经常使用df和du命令相结合使用。 du 统计文件大小相加 df 统计数据块使用情况 df命令可以显示目前所有文件系统的可用空间及使用情形 df -hdu：查询文件或文件夹的磁盘使用空间 du -h --max-depth=1 work/testing 查看linux文件目录的大小和文件夹包含的文件 阅读全文