摘要: 一、准备工作: 1、环境:CentOS6.4-64bit JDK1.7-64bit 基于虚拟机拷贝4个虚拟机,一个作为Master,另外三个作为Slave,在这拷贝出来的四台虚拟机上分别执行下面的脚本初始化网卡eth0设备: 2、配置集群网络 A、Master机器: B、Slave机器: 注意:另外 阅读全文
posted @ 2018-04-24 16:52 老王和小杨 阅读(773) 评论(0) 推荐(0) 编辑
摘要: 一、hadoop组件依赖关系 二、hadoop日志格式: 两种日志,分别以out和log结尾: 1 以log结尾的日志:通过log4j日志记录格式进行记录的日志,采用日常滚动文件后缀策略来命名日志文件,内容比较全。 2 以out结尾的日志:记录标准输出和标注错误的日志,内容比较少。默认的情况,系统保 阅读全文
posted @ 2018-04-24 16:25 老王和小杨 阅读(674) 评论(0) 推荐(0) 编辑
摘要: 一、hadoop1.x的生态系统 HBase:实时分布式数据库 相当于关系型数据库,数据放在文件中,文件就放在HDFS中。因此HBase是基于HDFS的关系型数据库。实时性:延迟非常低,实时性高。 举栗:在近18亿条数据的表中查询1万条数据仅需1.58s,这是普通数据库(Oracle集群,Mysql 阅读全文
posted @ 2018-04-24 15:26 老王和小杨 阅读(1070) 评论(0) 推荐(0) 编辑