随笔分类 -  大数据hadoop

大数据知识
Hadoop完全分布式安装
摘要：一、软件版本 Hadoop版本号：hadoop-2.6.0.tar； VMWare版本号：VMware-workstation-full-11.0.0-2305329 Ubuntu版本号：ubuntu-14.04.1-desktop-i386 其他版本也可 Jdk版本号：jdk-6u45-linux 阅读全文
posted @ 2018-07-04 22:36 别动我的猫 阅读(138) 评论(0) 推荐(0) 编辑
Hadoop和Spark的异同
摘要：解决问题的层面不一样 Hadoop和Spark两者都是大数据框架，但是各自存在的目的不尽相同。 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题，是一个分布式数据基础设施。 HDFS，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储， 阅读全文
posted @ 2018-03-31 17:51 别动我的猫 阅读(422) 评论(0) 推荐(0) 编辑
hadoop简介
摘要：A、简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：HadoopDistributed File System (HDFS) 和一个分布式计算引擎，该引擎 阅读全文
posted @ 2018-03-31 17:48 别动我的猫 阅读(562) 评论(0) 推荐(0) 编辑
Hadoop安装-部署-测试
摘要：一:准备Linux环境[安装略] a.修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=kevin1 b.修改IP(通过修改配置文件) vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVI 阅读全文
posted @ 2018-03-31 17:39 别动我的猫 阅读(275) 评论(0) 推荐(0) 编辑
Hadoop完全分布式安装教程
摘要：一、软件版本 Hadoop版本号：hadoop-2.6.0.tar； VMWare版本号：VMware-workstation-full-11.0.0-2305329 Ubuntu版本号：ubuntu-14.04.1-desktop-i386 其他版本也可 Jdk版本号：jdk-6u45-linux 阅读全文
posted @ 2018-03-31 17:32 别动我的猫 阅读(269) 评论(0) 推荐(0) 编辑