摘要：
一、实践先行，直接上手 1. hive 表及数据准备 建表，并插入初始数据。向表中插入 hive> use test; hive> create table kwang_test (id int, name string); hive> insert into kwang_test values(1 阅读全文
摘要：
一、WordCount原理 初学MapReduce编程，WordCount作为入门经典，类似于初学编程时的Hello World。WordCount的逻辑就是给定一个/多个文本，统计出文本中每次单词/词出现的次数。网上找的一张MapReduce实现WordCount的图例，基本描述清楚了WordCo 阅读全文
摘要：
一、手动导入 scm 库 背景：正常安装 cloudera-scm-server 时，安装 scm 库是通过脚本 /usr/share/cmf/schema/scm_prepare_database.sh 来自动建库的。 /usr/share/cmf/schema/scm_prepare_datab 阅读全文
摘要：
背景：部署CDH集群的 hive 服务，选用 mysql 作为 hive 元数据的存储数据库，通过 hive cli 建表时发现中文注释均乱码。 现象：hive端建表中文注释乱码。 定位： 已经确认过 mysql 库的默认编码是 utf-8，并且 mysql 中建库建表不存在中文乱码的情况。 于是查 阅读全文
摘要：
一、OpenLDAP命令汇总 ldapsearch：搜索 OpenLDAP 目录树条目。 ldapadd：通过 LDIF 格式，添加目录树条目。 ldapdelete：删除 OpenLDAP 目录树条目。 ldapmodify：修改 OpenLDAP 目录树条目。 ldapwhoami：效验 Ope 阅读全文
摘要：
一、OpenLDAP介绍 LDAP 全称轻量级目录访问协议（英文：Lightweight Directory Access Protocol），是一个运行在 TCP/IP 上的目录访问协议。LDAP实现提供被称为目录服务的信息服务，可以看做是一张特殊的数据库系统。可以有效的解决众多网络服务的用户账户 阅读全文
摘要：
空行处理 linux系统下删除空行，用vim底行模式'%s/^n$//g' 可以删除空行并真正修改文件，但文件数量太大时耗时不可预估，于是操作文件删除空行并重定向到一个新的文件是不错的选择。 常用特殊符号的含义：^代表行开头，\转义 *重复匹配 $代表行尾 d删除 \s是空白匹配 *代表出现0次或者 阅读全文
摘要：
cloudera公司发布的CDH集群，使用Cloudera Manager来管理整个集群，使用过程中主要涉及到几个关键概念：cluster、service、role、host。直接上图，直观理解几个概念。 cluster、service cluster顾名思义是集群，所有组件组合的集合，一个Clou 阅读全文
摘要：
本文主要介绍 Hadoop 常用的命令。 test命令 用于检测文件或目录是否存在，判断文件或目录大小。 用例： 1.判断文件或目录是否存在 2.判断文件或目录大小是否为0 【参考资料】 [1]. https://hadoop.apache.org/docs/r2.6.0/hadoop-projec 阅读全文
摘要：
执行hadoop任务时报错： 产生原因： 以上报错原因基本都是由于HDFS上的文件异常结束导致的，通过查看log，发现/flume/nginx/app1/2019-06-05/00/app1@flume23_10003_4.1559665890953.gz:0+0 这个文件的大小为0字节。要理解空文 阅读全文