yyyyyyyyyyyyyyyyyyyy

摘要： 1、MapReduce理论简介1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoo... 阅读全文

摘要： 1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CR... 阅读全文

摘要： 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网... 阅读全文

摘要： 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。 在速度... 阅读全文

摘要： 1、准备安装1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat企业级 Linux提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每两年发行一次，而每个版本的 CentOS 会定期... 阅读全文

摘要： 1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特... 阅读全文

摘要： l扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。l成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。l高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（pa... 阅读全文

摘要： (1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。... 阅读全文

摘要： 1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。 1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回... 阅读全文

摘要： 1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1.... 阅读全文