摘要: Hive简介 Hive 是一种大数据处理工具,使用类SQL 的HiveQL 语言实现数据查询,它底层封装了Hadoop ,所有Hive 的数据都存储在Hadoop 兼容的HDFS中。 更官方的描述: Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和 阅读全文
posted @ 2023-09-23 20:47 小海哥哥de 阅读(39) 评论(0) 推荐(0) 编辑
摘要: Hadoop 首先大数据时代有两个问题? 1、数据怎么存? 2、数据怎么算? 单机时代 数据存储和计算都是在本地。 以2U服务器为例:硬盘20T、cpu128 core、内存256G,可以满足单表10亿条数据。 随着数据越来越多,单机无法满足要求,因此需要管理多台服务器。 Hadoop HDFS:负 阅读全文
posted @ 2023-09-23 19:44 小海哥哥de 阅读(182) 评论(0) 推荐(0) 编辑