gxg123

摘要： 最近在研究elasticsearch（es）后面简称es。关于es的安装如下 （1）去官网下载你所要安装的es的安装包 下载地址如下： https://www.elastic.co/downloads/past-releases 下载好包之后然后上传，或者采用wget的方式在线安装。 然后解压文件 阅读全文

摘要： 下面是一道题目： 在一个排序了的整数数组中（包含100万整数），寻找某一个特定的数。二分搜索、先构建二叉树再利用这棵树作为索引进行搜索，这两种搜索的时间复杂度都是logN。 什么时候该用第一种，什么时候该用第二种？ 看到这道题目考察的是二分查找和二叉树查找的比较和优劣选择的关系。 （1）这里数组是一 阅读全文

摘要： 最近发现通过sqoop将oracle数据库当中的数据到如到hive当中，发现oracle数据库当中number类型的数据变成了hive当中的double类型。不只是变成了double类型，数据好像稍微有点变化。 比如原来的：3769.14 变成了 3769.1399999999999 ，还有就是17 阅读全文

摘要： 最近发现了一个很好用的工具streamsets工具。我将oracle数据库当中的数据增量的导入到hive当中。导入是按照唯一的主键ID将数据导入进来。 出现的问题如下： （1）数据精度的问题： 因为表是提前创建好的，我将id字段定义为int类型，但是在oracle数据库当中的数据类型是number类 阅读全文

摘要： 最近在CM集群上集成组件，但是发现好多组件都不支持JDK1.7.要使用1.8的jdk才可以的比如spark2.2。还有Streamsets等组件。特别是比较新的组件都有这个问题出现 所以升级jdk是必须的事情了。具体的操作步骤详见下面这个链接： http://vlambda.com/wz_yLrxM 阅读全文

摘要： 最近在做sqoop的增量导入操作，但是当我们在导入数据的时候出现合并失败的现象。出现的错误如下: 这个问题最终的解决方式是修改hive的null值存储，不适用默认的 \n 对数据进行存储，这样就解决了这个问题。所以看到后面的报错不一定就是时间的问题，要从原理上进行分析总结找问题。 阅读全文

摘要： 今天有人问我他们的数据库当中的表清空了怎么办，想到的方法就是使用binlog来恢复删除的数据。 关于binlog他是一个二进制的文件，要恢复需要通过转换成正常的sql脚本然后执行数据的恢复，或者采用管道流的方式执行（实际还是转换成脚本的形式执行） （1）要读取binlog文件必须首先开启binlog 阅读全文

摘要： 今天在多sqoop的增量导入操作，遇到下面这个问题（报错如下）： 这里有一个逗号，当好我的默认分割符号是逗号，也就是在检查完这一行数据是更新的数据，然后按照一个一个字段进行匹配的时候，突然将时间赋值给这个字符串的时候就出现问题了 所以才会报 Caused by: java.lang.IllegalA 阅读全文

摘要： 今天做sqoop的增量导入操作，但是在第一次执行的时候，数据是全量的，后面数据就是按照增量的方式对数据进行导入操作。不想手动的去操作shell命令，就对 是否是全量导入还是变量导入做了一个判断操作但是使用下面的shell命令好像不管用 -test -[defsz] <path> : Answer v 阅读全文

摘要： 今天在将公司的oracle的数据抽取到hive当中，根据时间字段做增量插入，然后合并采用按照id唯一主键的方式进行合并操作。 ERROR tool.ImportTool: Import failed: java.io.IOException: Could not load jar /tmp/sqoo 阅读全文