实验四MapReduce编程实践实验
摘要：一、编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 输入文件A的样例如下： 20150101 x 20150102 y 20150103 x 2
阅读全文
posted @
2022-05-31 09:17
一路向北~~
阅读(2182)
推荐(0) 编辑
实验三HBase编程实践实验
摘要：现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 2015001 Zhangsan male 23 2015002 Mary female 22 201500
阅读全文
posted @
2022-05-31 09:11
一路向北~~
阅读(548)
推荐(0) 编辑
实验二HDFS编程实践
摘要：一、编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同的任务。 （1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件； if $(hadoop fs -test -e text.txt); then $(hadoo
阅读全文
posted @
2022-05-31 08:59
一路向北~~
阅读(1166)
推荐(0) 编辑
实验一Hadoop的搭建
摘要：实验要求： （1）掌握Linux虚拟机的安装方法 （2）掌握一些常用的Linux命令 （3）掌握Hadoop的伪分布式安装方法 （4）掌握Hadoop的常用操作 实验内容： 一 、安装Linux虚拟机（Ububtu系统）。 二、熟悉常用的Linux命令 1．cd命令：切换目录 （1）切换到目录 /u
阅读全文
posted @
2022-05-30 19:51
一路向北~~
阅读(393)
推荐(0) 编辑
