摘要：
ctrl+Hnew 它的实现类ctrl+r替换格式化ctrl+alt+l ctrl+fctrl+alt+v 替换 < " < < > > Kafka生产者Java API 创建生产者 不带回调函数的 public class CustomProducer { public static 阅读全文
摘要：
1.kafka Manager 1.上传压缩包kafka-manager-1.3.3.15.zip到集群 2.解压到/opt/module 3.修改配置文件conf/application.conf kafka-manager.zkhosts="kafka-manager-zookeeper:218 阅读全文
摘要：
1. 概述 数据层：结构化数据+非结构化数据+日志信息（大部分为结构化） 传输层：flume（采集日志 >存储性框架（如HDFS、kafka、Hive、Hbase））+sqoop（关系型数据性数据库里数据 >hadoop）+kafka（将实时日志在线 >sparkstream在数据进行实时处理分析） 阅读全文
摘要：
Hive常用函数大全一览 hive中split、coalesce及collect_list函数的用法（可举例）Split将字符串转化为数组。split('a,b,c,d' , ',') ==> ["a","b","c","d"]COALESCE(T v1, T v2, …) 返回参数中的第一个非空值 阅读全文
摘要：
调优 Hive提供三种可以改变环境变量的方法，分别是： （1）修改${HIVE_HOME}/conf/hive-site.xml配置文件； 所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xm 阅读全文
摘要：
1. 与Hive的集成 Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL， 通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduc 阅读全文
摘要：
一、Hadoop压缩配置 修改Hadoop集群具有Snappy压缩方式: 查看hadoop支持的压缩方式 [kris@hadoop101 datas]$ hadoop checknative 将编译好的支持Snappy压缩的hadoop-2.7.2.tar.gz包导入到hadoop101的/opt/ 阅读全文
摘要：
Hive中执行SQL语句时，出现类似于“Display all 469 possibilities? (y or n)”的错误，根本原因是因为SQL语句中存在tab键导致，tab键在linux系统中是有特殊含义的。 基本查询 desc formatted stu_buck;desc stu_buck 阅读全文
摘要：
类型转换 可以使用CAST操作显示进行数据类型转换 例如CAST('1' AS INT)将把字符串'1' 转换成整数1；如果强制类型转换失败，如执行CAST('X' AS INT)，表达式返回空值 NULL。 0: jdbc:hive2://hadoop101:10000> select '1'+2 阅读全文
摘要：
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1. Hive架构原理 h 阅读全文