01 2020 档案
摘要：impala支持的数据库里的double(float)类型，通过迁移inceptor后，double类型的值都变成了null。 通过查阅日志发现默认将double转换成Decimal(38,10)然而他们的数据小数点后面不止10位。 然而那边的平台不支持decimal这个数据类型（数据目前存放在另一
阅读全文
摘要：注意事项：mv与cp的结果不同，mv好像文件“搬家”，文件个数并未增加。而cp对文件进行复制，文件个数增加了。 一、cp命令 cp命令用来将一个或多个源文件或者目录复制到指定的目的文件或目录。它可以将单个源文件复制成一个指定文件名的具体的文件或一个已经存在的目录下。cp命令还支持同时复制多个文件，当
阅读全文
摘要：当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~ with as 也叫做子查询部分，首先定义一个sql片段，该sql片段会被整个sql语句所用到，为了让sql语句的
阅读全文
摘要：下面代码报空指针 with `__all_dim__` as ( select * from ( select from_unixtime(unix_timestamp(`__bts__`) -1,'yyyy-MM-dd HH:mm:ss') as `__bts__` from ( select c
阅读全文
摘要：原文链接：lxw的大数据田地 » hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations) 关键字：hdfs fsck、block、locations 在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置
阅读全文
摘要：HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能 1.开启快照支持功能，在0
阅读全文
摘要：今天遇到一个SQL跑不通的问题： 去掉cast as 去掉round 最初以为是Inceptor不兼容ORACLE语句Cast as 导致的，做的以下测试 发现都能跑通，说明Cast as语句在Inceptor中能正常使用。 然后仔细检查Sql语句 最初语句报错信息如下： 只执行前半部分，去掉lef
阅读全文
摘要：在安装之前需要对docker分区进行格式化处理： Redhat/CentOS 在Redhat/CentOS上，docker分区必须采用XFS格式，实现的步骤如下： 1. 创建目录/var/lib/docker mkdir -p /var/lib/docker 2. 对分区进行xfs格式化 mkfs.
阅读全文
摘要：最初使用下面代码 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; imp
阅读全文
摘要：今天使用snapshot list这个命令时查询出了所有的表，没注意下面报错： NoMethodError:undefined method '-@' for #<Array:0x54326e9> 又使用list_snapshots 查询出了所有快照信息，在这两条命令之间徘徊了很久查它们有什么区别。
阅读全文
摘要：用法 -mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选项
阅读全文
摘要：hadoop fs： 使用面最广，可以操作任何文件系统。 hadoop dfs与hdfs dfs ： 只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 以下内容参考自stackoverflow： Following are the thre
阅读全文
摘要：重装hbase后导致出险问题:hbase(main):007:0> create 'test_t2','f1' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoo
阅读全文
摘要：package com.zy; import java.io.IOException; import org.apache.commons.lang.time.StopWatch; import org.apache.hadoop.conf.Configuration; import org.apa
阅读全文
