摘要：
一、 课程设计的题目和内容 题目：设计一台嵌入式CISC模型计算机 采用定长CPU周期、联合控制方式，并运行能完成一定功能的机器语言源程序进行验证，机器语言源程序功能如下： 任意输入5个整数，输出最小负数的绝对值。 二、 系统的总体设计 2.1 CISC模型机数据通路框图 CISC模型机数据通路框图 阅读全文
摘要：
1. Hadoop的文件压缩需求 文件压缩对于大容量的分布式存储系统而言是必须的，它能带来两个好处： 1）减少了文件所需的存储空间； 2）加快了文件在网络上或磁盘间的传输速度。 2. Hadoop支持的压缩格式 首先看一下 Hadoop 常见压缩格式，如DEFLATE、Gzip、bzip2、LZO、 阅读全文
摘要：
1. 配置Maven环境 首先检查Windows是否配置了maven,进入cmd命令行，输入mvn -version命令，如果出现下图所示的 情形则表示满意配置maven。 从浏览器进入maven官网，下载maven压缩包：http://maven.apache.org/download.cgi。下 阅读全文
摘要：
1. 基础环境搭建 新建3个CentOS6.5操作系统的虚拟机，命名（可自定）为masternode、slavenode1和slavenode2。该过程参考上一篇博文CentOS6.5安装配置详解 2.Hadoop集群搭建（以下操作中三个节点相同的地方就只给出主节点的截图，不同的才给出所有节点的截图 阅读全文
摘要：
1. 环境要求 VMWare软件； CentOS6.5对应的iso镜像文件（位数对应个人计算机位数）。 2. 安装步骤 打开VMWare，文件->新建虚拟机（以下几步默认跳过即可） 命名和选择安装路径 关联镜像文件 启动虚拟机进行安装操作 选择跳过即可 该提示忽略即可，点击OK 选择语言，默认跳过就 阅读全文
摘要：
1. YARN产生背景 MapReduce本身存在着一些问题： 1）JobTracker单点故障问题；如果Hadoop集群的JobTracker挂掉，则整个分布式集群都不能使用了。 2）JobTracker承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如Stor 阅读全文
摘要：
项目需求 自定义输入格式，将明星微博数据排序后按粉丝数 关注数 微博数 分别输出到不同文件中。 数据集 下面是部分数据，猛戳此链接下载完整数据集 数据格式： 明星 明星微博名称 粉丝数 关注数 微博数 黄晓明 黄晓明 22616497 506 2011 张靓颖 张靓颖 27878708 238 38 阅读全文
摘要：
今天跑Hadoop程序时一直提示我无法加载本地库，然后就直接退出运行了，如下图所示。 原因是由于Apache提供的Hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。下载地址：http://dl.bintray.com/sequenceiq/sequencei 阅读全文