摘要：
样例如下： 当某个coordinator job 开始执行时，oozie会首先检查所有的input-events是否都已满足条件，主要检查以下内容：uri-template 1、uri-template 指定路径的文件或文件夹是否已经存在； 2、done-flag 指定的文件是否存在。 只有当inp 阅读全文
摘要：
1. 环境配置 2. 脚本配置 3. 执行job 4. 查看结果 待发布 。。 阅读全文
摘要：
1.准备数据源 mysql中表bigdata,数据如下： 2. 准备目标表 目标表存放hive中数据库dw_stg表bigdata 保存路径为 hdfs://localhost:9000/user/hive/warehouse/dw_stg.db/bigdata hive中建表语句如下： 注意点： 阅读全文
摘要：
安装步骤 mysql的配置 oozie的安装 oozie的配置 oozie的启动与登录 常用oozie的命令 1. mysql的配置 mysql的安装自行解决，然后在mysql上 创建oozie数据库，创建oozie用户名和密码，并赋值oozie账号登陆oozie数据库的权限。 创建oozie数据库 阅读全文
摘要：
hive中有很多关键字，直接作为列名，会出错的 例如 下面 user就是关键字，作为字段时报以下错误。 解决方案： 使用·· (ESC下面的那个键，点号)两个符号包裹即可。 阅读全文
摘要：
1. 数据源信息 2. 创建hive表 分析数据源，由于是json格式， student字段使用map结构，sub_score字段使用array嵌套map的格式， 这样使用的好处是如果数据源中只要第一层字段不会改变，都不会有任何影响，兼容性较强。 创建表语句如下, 注意使用下面这个json包，这样解 阅读全文
摘要：
在hive中对于json的数据格式，可以使用get_json_object或json_tuple先解析然后查询。 也可以直接在hive中创建json格式的表结构，这样就可以直接查询，实战如下(hive-2.3.0版本)： 1. 准备数据源 将以下内容保存为test.txt 2. 创建hive表 注意 阅读全文
摘要：
#!/bin/sh ## 参数定义 dt=`date +"%Y%m%d" -d "-1 days"` outpath=/xxxx_log_${dt}.txt brokerlist=192.168.1.100:9092,192.168.1.101:9092,192.168.1.102:9092 echo $dt $outpath $brokerlist ## 查询hive表，输出文件到... 阅读全文
摘要：
1. 查找 .vimrc文件 通常有2个地方保存这个文件的： (1) 在/etc/文件夹下面，是所有用户的vim配置 (2)每个用户的开始登录的文件夹下面，有些不一定有，比如hadoop用户，则在/home/hadoop下面。 2. 修改.vimrc文件 建议修改当前使用的用户下面，这样只会影响到当 阅读全文
摘要：
1. date -d操作 2. 常用日期格式输出 3. 日期格式转换 4. 获取上月末和最近一年的日期 dt: 20190301 dt_lastyear: 20180301 lastday: 20190228 lastday_lastyear: 20180228 阅读全文
摘要：
1. Error: HTTP error code: 404 : Not Found 原因： 在环境变量中配置的OOZIE_URL有问题配置成了 export OOZIE_URL=http://dwtest-name1:11000 正确配置应该是 export OOZIE_URL=http://dw 阅读全文
摘要：
scala中经常遇到最头疼的问题，就是类型不匹配或者带Any，Option的提示错误信息。 最近碰到的是取最大值，但是明明已经Long类型的，却提示下面这个错误信息。 相关的源程序如下： 这里如果将上面的第2行添加返回类型，则会提示以下错误： 解决方法： 添加转换_.toLong 阅读全文
摘要：
简单直接的方法： 自己建立一个mysql.sock文件，放到mysql目录下，然后使用软链接指向到tmp文件夹下 注意mysql账号有读写/mysql/mysql.sock的权限 阅读全文
摘要：
mysql命令行用的不多，大部分使用工具类替代，所以这里记录下命令行模式下创建用户和赋予权限的命令，不用每次麻烦百度。 1. 创建oozie用户，%符号表示仅限于远程登录 2. 赋予权限 all指所有功能，如果all被替换为select,则只有查询功能。 on后面的oozie指数据库名称 to后面o 阅读全文
摘要：
1.Java版本1.8 [root@sht-sgmhadoopdn-04 app]# java -versionjava version "1.8.0_66"Java(TM) SE Runtime Environment (build 1.8.0_66-b17)Java HotSpot(TM) 64 阅读全文
摘要：
查看系统版本： 阅读全文
摘要：
hive从低版本升级到高版本或者做hadoop的集群数据迁移时，需要重新创建表和表分区，由于使用的是动态分区，所以需要重新刷新分区表字段，否则无法查看数据。 在hive中执行中以下命令即可自动更新元数据中的表分区： MSCK REPAIR TABLE 表名;这个更高级，如果有直接删除hdfs文件，导 阅读全文
摘要：
这个问题研究好久。。。头大，不记得有fold用法了。 fold函数：折叠，提供一个输入参数作为初始值，然后大括号中应用自定义fun函数并返回值。 上面代码意思是 1) 给定初始值空的Map() 2) 然后对list中每个元素做折叠累加， ++ 是连接两个map的方法。 3) 最后返回所有map的连接 阅读全文
摘要：
对于java中的集合元素并不能在scala中拿来就用的，需要进行相应的转换。 1. 转换规则如下 从下面可以看出，有些可以相互转换的，有些只能单向转换： 2. 转换操作步骤 1) 导入包 import scala.collection.JavaConverters._ 2) 添加 .asScala或 阅读全文
摘要：
1.当前的数据库连接数 select count(*) from v$process where program='ORACLE.EXE(SHAD)'; 2.数据库允许的最大连接数 select value from v$parameter where name ='processes' 3.修改最大连接数，需要重启数据库才能生效: alter system set processes =... 阅读全文