摘要：
一：推文 Kafka学习之路 （一）Kafka的简介 Kafka学习之路 （二）Kafka的架构 Kafka学习之路 （三）Kafka的高可用 Kafka学习之路 （四）Kafka的安装 Kafka学习之路 （五）Kafka在zookeeper中的存储 二：Kafka架构原理 （一）Kafka应用场 阅读全文
摘要：
一：安装storm （一）安装一个zookeeper集群 注意：需要先启动zookeeper集群才可以，不然后面容易出错 （二）上传storm的安装包，解压 （三）修改配置文件storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.servers: - "hado 阅读全文
摘要：
补充：实时流计算和离线数据流计算 （一）离线计算 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度平台 3、Hadoop集群运维 阅读全文
摘要：
补充：Hadoop生态圈 一：Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表 阅读全文
摘要：
一：Java类于HBase数据模型 二：HBaseConfiguration 包名 ： org.apache.hadoop.hbase.HBaseConfiguration作用：对HBase进行配置。使用方法演示样例： HBaseConfiguration hconfig = new HBaseCo 阅读全文
摘要：
补充：使用secure CRT操作hbase （一）修改secureCRT配置环境 （二）使用hbase，查看所有命令 一：create建表（创建user表，包括base_info、extra_info两个列族） create 'user',{NAME=>'base_info',VERSIONS=> 阅读全文
摘要：
一：HBase简介 （一）HBase了解（实现对大<普通PC集群、十亿行，百万列>数据随机、实时存取操作） 前提： 基于Hdfs的查询由于其存储机制的限制，导致查询速度响应缓慢，无法解决一些对速度有要求的场景；传统数据库虽然查询快，但是无法支撑海量数据。因此就出现了HBase这种"数据库"。 HBa 阅读全文
摘要：
一：数据表建立 （一）创建数据库 hive> create database hadoop; hive> use hadoop; 数据库位置在 hdfs://ns1/user/hive/warehouse/hadoop.db目录下 （二）建表 hive> create table t_order(i 阅读全文
摘要：
一：hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常 阅读全文
摘要：
一：HDFS系统架构 （一）利用secondary node备份实现数据可靠性 （二）问题：NameNode的可用性不高，当NameNode节点宕机，则服务终止 二：HA架构 提高NameNode服务的可用性 架构中至少有两个NameNode节点 （此处以两个NameNode举例） （一）两个NN节 阅读全文