博客:https://www.cnblogs.com/enhaofrank/,公众号:生信AI区块链科技前沿,github:https://github.com/enhaofrank

功不唐捐 玉汝于成

2021年12月25日

SQL学习

摘要: hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本 阅读全文

posted @ 2021-12-25 15:31 enhaofrank 阅读(123) 评论(0) 推荐(0) 编辑

大数据与MapReduce

摘要: 实际生活中的数据量是非常庞大的,采用单机运行的方式可能需要若干天才能出结果,这显然不符合我们的预期,为了尽快的获得结果,我们将采用分布式的方式,将计算分布到不同的机器上。Mapreduce就是一个典型的分布式框架,Hadoop则是用java编写的一个Mapreduce实现。 分布式和并行的区别在于分 阅读全文

posted @ 2021-12-25 08:56 enhaofrank 阅读(145) 评论(0) 推荐(0) 编辑

导航