摘要: 搭建hadoop伪分布式环境时,要先搭建hadoop环境,参考 url: https://www.cnblogs.com/gzgBlog/p/13702720.html 1.进入hadoop配置文件目录 cd /app/hadoop-2.2.0/etc/hadoop 2.修改core-site.xm 阅读全文
posted @ 2020-09-20 23:44 nohert 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 1.使用vmware 创建了两个虚拟机 2.分别更改ip可参考url: https://www.cnblogs.com/gzgBlog/p/13693754.html 此处主节点IP : 192.168.10.11 从节点IP: 192.168.10.12 3.分别修改主机名:vi /etc/hos 阅读全文
posted @ 2020-09-20 22:27 nohert 阅读(163) 评论(0) 推荐(0) 编辑
摘要: Hadoop简介 Apache Hadoop本身是一个框架,它可以用简单的编程模型在计算机集群中对大型数据集进行分布式处理。它可以被设计成单个机器或成千上万台机器的集群,实现提供计算和存储服务。 Hadoop简介与意义 Apache开源软件基金会开发了运行在大规模普通服务器上,用于大数据存储、计算、 阅读全文
posted @ 2020-09-20 18:46 nohert 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 大数据技术框架 大数据技术框架主要包含6个部分,分别是数据收集、数据存储、资源管理、计算框架、数据分析和数据展示,每部分包括的具体技术如图1.1所示。 大数据的特点 大数据的特点可以用“4v”来表示,分别为volume、variety、velocity和value,下面具体介绍。 ·海量性(volu 阅读全文
posted @ 2020-09-20 18:42 nohert 阅读(620) 评论(0) 推荐(0) 编辑