摘要:
一、Flume监控之Ganglia 1.1 前言 Ganglia是UC Berkeley发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为gmond的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这 阅读全文
摘要:
一、Flume概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。 1.2 Flume的优点 可以和任意存储 阅读全文
摘要:
一、Fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM EMP;在这种情况下,Hive可以简单地读取EMP对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-default.xml.template文件中hi 阅读全文
摘要:
一、函数 1.1 系统内置函数 查看系统自带的函数:hive> show functions; 显示自带的函数的用法:hive> desc function upper; 详细显示自带的函数的用法:hive> desc function extended upper; 1.2 自定义函数 当Hive 阅读全文