随笔分类 -  hadoop

大数据hadoop平台
Hadoop和Hive的关系
摘要：Hadoop和Hive的关系 1.Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最核心的设计就是hdfs和mapreduce，hdfs提供存储，mapreduce用于计算。2.Hive是Hadoop的延申。hive是一个提供了查询功能的数据仓库核心组件，Hadoop底层的hd 阅读全文
posted @ 2022-12-05 16:34 潜摩羯 阅读(753) 评论(0) 推荐(0) 编辑
hadoop的常用命令
摘要：hadoop fs -help --查看帮助 hadoop fs -put /mydir/dept.txt hdfs://hadoop-master:9000/mytable/test/ 把数据文件上传到hadoop hadoop fs -mkdir hdfs://hadoop-master:900 阅读全文
posted @ 2022-05-08 14:15 潜摩羯 阅读(158) 评论(0) 推荐(0) 编辑
hadoop的基本情况
摘要：一、什么是hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（H 阅读全文
posted @ 2022-05-08 12:20 潜摩羯 阅读(76) 评论(0) 推荐(0) 编辑