2018 年 7月 28 日随笔档案 - oifengo

摘要： HDFS简介Hadoop的文件系统设计结构1 Block(块) HDFS将文件分配成block来存储，每个块默认64MB，块是文件存储处理的逻辑单元，按照block管理 2 NameNode 管理节点，存放元数据文件与数据块的映射表数据块与数据节点的映射表 HDFS... 阅读全文

posted @ 2018-07-28 22:40 oifengo 阅读(223) 评论(0) 推荐(0) 编辑

摘要：现在的大数据已经成为了Hadoop生态的天下HIVE 可以不用编写复杂程序需要要编写sql语句功能：把sql语句转化为Hadoop任务去执行HABSE ：存储结构化数据的分布式数据库和传统关系型数据库不同：放弃事物特性追求高拓展和HDFS对比：数据的随机... 阅读全文

posted @ 2018-07-28 21:21 oifengo 阅读(313) 评论(0) 推荐(0) 编辑

摘要： Hadoop是什么开源的分布式存储+分布式计算平台 Hadoop目前作为Apache的顶级项目http://hadoop.apache.org/Hadoop的功能HDFS +MapReduceHDFS分布式存储系统，存储海量的数据MapReduce并行处理框架，实... 阅读全文

posted @ 2018-07-28 21:08 oifengo 阅读(1114) 评论(0) 推荐(0) 编辑

摘要：无处不在的大数据随着科技的发展，数据越来越多，也越来越有价值。更有形象的描述：数据就是未来的石油。云端的服务器也越多，也是未来的发展方向。越来越多的企业把数据存储在云端，并从中获取有用的价值。马云多次强调;alibaba是一家数据公司！！！如何对数据进行存储... 阅读全文

posted @ 2018-07-28 20:55 oifengo 阅读(316) 评论(0) 推荐(0) 编辑

oifengo