摘要：
步骤 1.1 本地数据集上传到数据仓库Hive 数据集下载与查看 数据集预处理 把数据集导入HDFS中 在Hive上创建数据库 1.2 Hive数据分析 给出数据分析需求 用select语句实现数据分析 数据分析结果查看与保存 1.3 Hive、MySQL、HBase数据互导 操作过程 2.1 数据 阅读全文
摘要：
一、测试文件 1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 二、电纸书 1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文
摘要：
1.准备本地txt文件 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文
摘要：
列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数; 关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据 学生表student 课程表cou 阅读全文
摘要：
1.词频统计 1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2.编写map与reduce函数 授权 3.本地测试map与reduce echo "foo foo quux labs foo bar quux" | ./mapper.py echo "foo foo quux labs 阅读全文
摘要：
1.本地文件系统创建一个文件，输入带姓名学号信息。 2.本地文件系统创建一个文件，输入带姓名学号信息。 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDF 阅读全文
摘要：
1.用自己的图，描述HDFS体系结构、工作原理与流程。 图1 体系结构 图2 工作原理 图3 读流程 图4 写流程 2.伪分布式安装Hadoop （1）创建hadoop用户 （2）更新apt （3）安装SSH ，配置无密码SSH登录 （4）安装JAVA环境 （5）安装 Hadoop 3.2.1 （6 阅读全文
摘要：
3.Linux和MySQL的安装与基本操作 （1）上面完成了Linux系统的安装以后，如果读者是初次使用Linux系统，请熟悉一下Linux常用命令 阅读全文
摘要：
1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最 阅读全文
摘要：
1.了解微信、微博、小视频每天产生的数据量与数据类型。 微信的数据不会很大 聊天记录都是在本地的上传的聊天记录也只保存七天,存储的数据就是你的个人资料 你的好友关系 好友的备注 之类的; 微博那个数量级还是很大的 ,每天那么多微博按照32M和32G，技术进步也是有的; 小视频格式文件通常比较大，千万 阅读全文