葫芦杯

摘要： 1.设置参数 conf.setBoolean(CommonConfigurationKeys.IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY, true); 这个参数会在连接kerberos失败时退回到simple认证。 2.提前加载krb5.conf文 阅读全文

摘要： 原始代码为： org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf) 出现错误： Can't get Kerberos realm 原因： 程序读取不到krb5.conf 解决办法： 在JVM启动参数中添加了参数 阅读全文

摘要： hive与hadoop的兼容性问题 1. 问题出现 工作需要，在本地安装hive进行相关测试工作，版本选的是hadoop-3.0.0，hive-2.1.1。这个版本是按照CDH集群版本配的，本来以为没有冲突 #报错信息 Exception in thread "main" java.lang.Ill 阅读全文

摘要： hive-jdbc和jetty冲突，所以在hive-jdbc中对jetty进行排除就OK <exclusions> <exclusion> <groupId>org.eclipse.jetty.aggregate</groupId> <artifactId>*</artifactId> </excl 阅读全文

摘要： NUMBER往往没有指定P，S的值，那么默认情况下，NUMBER的P、S的值分别是多少呢？ 武断的判断“如果不指定p和s，NUMBER类型，它的默认精度值为38, 默认的scale值为0” 创建表create table test(id number, id1 number(38,4));插入数据 阅读全文

摘要： 1.查看所有数据库容量大小 select table_schema as '数据库', sum(table_rows) as '记录数', sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)', sum(truncate(index_length 阅读全文

摘要： 列出文件目录 hdfs dfs -ls /user/hive/warehouse 列出全部目录与文件 hdfs dfs -ls -R /user/hive/warehouse 查看目录文件大小 hdfs dfs -du -s -h /user/hive/warehouse 查看目录概况 hdfs d 阅读全文

摘要： #!/bin/bash datebeg=$1 dateend=$2 set -e beg_s=` date -d "$datebeg" +%s` end_s=` date -d "$dateend" +%s` while((end_s>=beg_s)) do incdate=`date -d @$b 阅读全文

摘要： 第一种： 这个命令会让你输入一个字符串，然后会再输出一串加密了的数字。 加密代码 python -c 'print reduce(lambda a,b: a*256+ord(b), raw_input("string: "), 0)' 解密代码[数字后+P] dc -e 输出的数字P 第二种： 用 阅读全文

摘要： 主要以下有几种方式： CommandExplanation fork 新开一个子 Shell 执行，子 Shell 可以从父 Shell 继承环境变量，但是子 Shell 中的环境变量不会带回给父 Shell。 exec 在同一个 Shell 内执行，但是父脚本中 exec 行之后的内容就不会再执行 阅读全文