上一页 1 2 3 4 5 6 7 ··· 28 下一页
摘要: #! /bin/bash for host in pc001 pc002 pc003 do echo " $host " ssh $host "jps" done 阅读全文
posted @ 2021-10-17 17:56 Norni 阅读(54) 评论(0) 推荐(0) 编辑
摘要: #! /bin/bash function kafka_start(){ for host in pc001 pc002 pc003 do echo " 启动kafka服务 $host " ssh $host "kafka-server-start.sh -daemon $KAFKA_HOME/co 阅读全文
posted @ 2021-10-17 17:55 Norni 阅读(46) 评论(0) 推荐(0) 编辑
摘要: #! /bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi # 检查进程是否正常运行,参数1为进程名,参数2为进程端口 function check_proces 阅读全文
posted @ 2021-10-17 17:51 Norni 阅读(199) 评论(0) 推荐(1) 编辑
摘要: #! /bin/bash if [ $# -lt 1 ] then echo "Tips:请输入参数" exit fi case $1 in "start") echo " 启动集群 " echo " 启动历史服务器 " ssh pc001 "mapred --daemon start histor 阅读全文
posted @ 2021-10-17 17:50 Norni 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 1、HBase概述 1.1 Hbase定义 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库 1.2 HBase数据模型 逻辑上,HBase的数据模型通关系型数据库类似,数据存储在一张表中,有行有列,但HBase的底层物理存储结构为k-v。 HBase逻辑结构 row key有序排 阅读全文
posted @ 2021-10-17 17:37 Norni 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 背景 将HBase的基础信息,配置完毕后,访问http://pc001:16010时,网页端无法访问 分析 查看对应的启动log日志:tail -f /opt/software/hbase-1.3.1/logs/hbase-nuochengze-master-pc001.log 发现自己的**$HB 阅读全文
posted @ 2021-10-13 15:22 Norni 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 1、Sqoop概述 简介 Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的 数据导进到 Hadoop 的 HDFS 阅读全文
posted @ 2021-10-12 23:17 Norni 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 问题描述 使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly 分析 对于HiveConf.class类是存在的 措 阅读全文
posted @ 2021-10-12 22:41 Norni 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 1、概述 1.1 定义 Kafka是一个分布式的基于 发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。 1.2 消息队列 1.2.1 使用消息队列的好处 解耦 在确保遵循同样的接口约束时,可以独立的扩展或修改对数据的处理过程 可恢复性 系统的一部分组件失效时,不 阅读全文
posted @ 2021-10-12 00:02 Norni 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 1、Hive基本概念 1.1 什么是Hive hive简介 Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。 Hive的本质 Hive的本质,是将HQL转 阅读全文
posted @ 2021-10-06 23:03 Norni 阅读(123) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 28 下一页