摘要：
二、实验内容 1.虚拟机集群搭建部署hadoop 安装VM 在VM中安装Linux 在linux中安装hadoop 2.HDFS文件操作 启动hadoop 上传文件 3.MAPREDUCE并行程序开发 3.1 求每年最高气温 import java.io.IOException; import or 阅读全文
摘要：
实验目的 1.准确理解ChainMapReduce的设计原理 2.熟练掌握ChainMapReduce的程序代码编写 3.了解ChainMapReduce的使用场景 实验原理 一些复杂的任务难以用一次MapReduce处理完成，需要多次MapReduce才能完成任务。Hadoop2.0开始MapRe 阅读全文
摘要：
实验目的 1.了解倒排索引的使用场景 2.准确理解倒排索引的设计原理 3.熟练掌握MapReduce倒排索引程序代码编写 实验原理 "倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容 阅读全文
摘要：
实验目的 1.准确理解MapReduce二次排序的设计原理 2.了解二次排序的适用场景 3.熟练掌握MapReduce二次排序程序代码编写 实验原理 在Map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时Input 阅读全文
摘要：
实验目的 1.准确理解MapReduce单表连接的设计原理 2.熟练掌握MapReduce单表连接程序的编写 3.了解单表连接的运用场景 4.学会编写MapReduce单表连接程序代码解决问题 实验原理 以本实验的buyer1(buyer_id,friends_id)表为例来阐述单表连接的实验原理。 阅读全文
摘要：
验目的 1.准确理解Mapreduce排序的实验原理 2.熟练掌握Mapreduce排序的程序代码编写 3.培养编写MapReduce排序代码解决问题的能力 实验原理 Map、Reduce任务中Shuffle和排序的过程图如下： 流程分析： 1.Map端： （1）每个输入分片会让一个map任务来处理 阅读全文
摘要：
实验目的 1.准确理解Mapreduce求平均值的设计原理 2.熟练掌握Mapreduce求平均值程序的编写 3.学会编写Mapreduce求平均值程序代码解决问题 实验原理 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之 阅读全文
摘要：
实验目的 1.准确理解MapReduce去重的设计原理 2.熟练掌握MapReduce去重的程序编写 3.学会自己编写MapReduce去重代码解决实际问题 实验原理 “数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞 阅读全文
摘要：
用例编号：001 用例名称：导入数据 执行者 用户 前置条件 用户上传文件 后置条件 用户上传文件正确 涉众利益 用户：上传方便，步骤简单 基本路径 1.用户访问系统 2.系统提示用户上传文件 3.用户上传文件 4.系统验证文件类型 5.系统处理文件，导入数据库 6.提示用户导入完成，进行下一步操作 阅读全文
摘要：
顶层数据流图： 一层数据流图： 阅读全文
摘要：
一、 数据说明： 1、数据组成 （1）增值税发票数据，文件名zzsfp （2）发票对应货物明细数据，文件名zzsfp_hwmx （3）企业信息，文件名nsrxx 2、数据字段说明 （1）zzsfp表字典 字段名称 字段含义 数据类型 备注 fp_nid 发票id String 发票唯一标识 xf_i 阅读全文
摘要：
实验步骤 1、数据导入展示： 将所有类别的新闻导入数据库中。以树形目录形式展示新闻类别，每个树形节点代表 新闻分类，括号中代表该类新闻的数量，选择每个新闻，以列表形式显示新闻标题，点击新 闻标题，可以查看详细信息。 2、文章统计： 统计各个类别的文章总数，以柱状图表示。 3、文章分词： 使用中文分词 阅读全文