摘要：
centos6安装redis-2.8.13.tar.gz 1、检查安装依赖程序 yum install gcc-c++ yum install -y tcl yum install wget 2、获取安装文件 wget http://download.redis.io/releases/redis- 阅读全文
摘要：
1.数据从mysql到hdfs /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop import \--connect jdbc:mysql://mysql_ip:3306/mysql_database \--u 阅读全文
摘要：
CDH平台中的安全，认证（Kerberos/LDAP）是第一步，授权（Sentry）是第二步。如果要启用授权，必须先启用认证。但在CDH平台中给出了一种测试模式，即不启用认证而只启用Sentry授权。但强烈不建议在生产系统中这样使用，因为如果没有用户认证，授权没有任何意义形同虚设，用户可以随意使用任 阅读全文
摘要：
1.if语句的日常操作 #!/bin/bash if [ $? -eq 0 ]; then echo "执行成功" else echo "mkl" fi #判断文件夹是不是存在 test_dir=/root/bin/ if [ ! -d "$test_dir" ]; then echo "是文件夹" 阅读全文
摘要：
1.常识 输入到字符串或者一定内容到另一个文件(会把目标的文件清空) echo "hello world!" > a.txt cat a.txt > b.txt 输入到字符串或者一定内容到另一个文件(不会把目标文件清空,会继续追加,) echo "hello world!" >> a.txt cat 阅读全文
摘要：
#当前没有partition元信息 hive> show partitions cr_cdma_bsi_mscktest; OK Time taken: 0.104 seconds #创建两个分区目录 hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi 阅读全文
摘要：
一.总结 分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值得hash值进行区分，如要安装name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。几个 阅读全文
摘要：
前言 用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。 分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。Hive分区分为静态分区和动态分区 1、建表语句 先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句是 阅读全文