摘要： ERROR transport.TSaslTransport: SASL negotiation failurejavax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid crede 阅读全文

摘要： 执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048] 原因分析 shell脚本中一次提交的hql-mr作业量太大，其中包含的信息超过oozie launcher一次容许的最大值2K 阅读全文

摘要： 最近项目组用CDH搭建数据开发环境，有用到Kerberos安全组件。如下是相关命令，请参考： 进入kadmin kadmin.local / kadmin 创建数据库 kdb5_util create -r HADOOP.COM -s 启动kdc服务 service krb5kdc start 启动 阅读全文

摘要： 问题描述 tinyInt 的数据类型，在JAVA数据类型 和 MySQL的数据类型转换，要注意存储长度为 1 的情况。查询时，该字段对应的Java类型为Boolean 源数据： 读取后数据： 问题分析 MySQL官方的JDBC文档定义转换规则如下： 如果tinyInt1isBit=true（默认）， 阅读全文

摘要： 抛出异常截图： 异常原因 系统时区原因。 解决办法 在数据库连接串加上 &serverTimezone=Asia/Shanghai 即可~ conn_str="jdbc:mysql://${hostname}/${db_name}?useUnicode=true&characterEncoding= 阅读全文

摘要： 问题起因 之前一直使用Oracle数据，对MySQL数据库使用不多，因此搞不懂MySQL的日期“0000-00-00 00:00:00”对程序会产生怎样的影响。费了我一下午的时间 -_-^^。 首先：Google “Zero date value prohibited”一番，发现问题的原因是表中日期 阅读全文

摘要： 说明 该脚本是根据输入起始日期-结束日期，执行从数据库拉取日期间隔数据到HDFS。日期间隔中的日期就是每一年的自然日。 日期格式可以是以下几种：2018-01-01 2018-12-31 [-][/][.]['']2018/01/01 2018/12/31 [-][/][.]['']20180101 阅读全文

摘要： Ubuntu 安装Spark出现的问题及解决 最近在搭建Hadoop集群环境和Spark集群环境，出现的问题可能不太复杂，纯粹记录安装步骤和问题解决办法。集群环境使用的是（2台）阿里云主机，操作系统是Ubuntu 16.04.9版本 运行环境 Linux 操作系统：Ubuntu 16.04.9Spa 阅读全文

摘要： 报错问题出现原因 第一次使用Ubuntu操作系统，很多命令及软件安装方式与以往使用的Linux操作系统（CentOS）有很大区别。现在总结使用Ubuntu在安装JDK中，遇到的问题及解决方法。 root@slave1:~/hadoop# rpm -i jdk-7u80-linux-x64.rpm r 阅读全文

摘要： 上传本地代码/文件->Github 折腾了半天时间。。。 Github前期准备部分 1）登录github，新建一个 repository 2）repository 命名 3）Github是一个托管平台，相当于一台服务器，如果想对其进行操作，还必须安装Git客户端，使用相应的git指令对其进行操作 G 阅读全文