2019年3月22日
HDFS常用API（2）
摘要： 一、读取HDFS文件数据、将本地文件写入HDFS中文件、使用IOUtils读写数据 阅读全文
posted @ 2019-03-22 22:34 给你一个公主抱 阅读(258) 评论(0) 推荐(0) 编辑
HDFS常用API（1）
摘要： 一、HDFS集群API所需要jar包的maven配置信息 二、从HDFS下载数据文件/上传文件到HDFS文件系统 思路：1.获取配置信息 2.设置配置信息(块大小、副本数) 3.构造客户端 4.下载数据文件/上传数据文件 5.关闭资源 (1)下载文件 （2）上传文件 三、对HDFS系统进行操作的AP 阅读全文
posted @ 2019-03-22 22:28 给你一个公主抱 阅读(607) 评论(0) 推荐(0) 编辑
HDFS分布式文件系统的常用命令行操作
摘要： 一、HDFS的客户端种类 1.网页形式 =>用于测试 网址为你的namenode节点的ip+50070的端口号，如： 192.168.50.128:50070 2.命令行形式 =>用于测试 3.企业级API 二、HDFS客户端的命令行操作 注释：/hdfs为HDFS上的目录 /root/linux为 阅读全文
posted @ 2019-03-22 16:11 给你一个公主抱 阅读(824) 评论(0) 推荐(0) 编辑
大数据及Hadoop的概述
摘要： 一、大数据存储和计算的各种框架即工具 1.存储：HDFS：分布式文件系统 Hbase：分布式数据库系统 Kafka：分布式消息缓存系统 2.计算：Mapreduce：离线计算框架 storm：实时流式计算 spark：离线批处理/实时流处理计算框架（MR的二次封装） 3.辅助类工具：hive：数据仓 阅读全文
posted @ 2019-03-22 15:08 给你一个公主抱 阅读(354) 评论(0) 推荐(0) 编辑