摘要:
1. 给数据库添加登录用户和权限 阅读全文
摘要:
程序员圈子想创业的人大笔,一方面拥有相应的技术能力,特别在当下互联网+的时代,看起来起步相对来说门槛较低。 以下是别人总结的几个观点,觉得还是不错的,值得深思,括号内为自己的观点: 1、首要忌讳:态度不坚决,兼职创业,没有ALL IN心态和放手一搏意识的; (这点其实阻碍了大多数人的行动,全职创业确 阅读全文
摘要:
java实时程序在运行过程中偶尔出现异常信息中断的情况,通过shell脚本即可完成自启动。 以下为监控一个实时的java程序的shell脚本。 通过每10秒检查一次java程序的进程,来判断程序是否处于运行中。如果未发现程序,则执行程序的启动脚本。 对于启动过程中的状态信息,会通过钉钉机器人实时发送 阅读全文
摘要:
hive表增量抽取到oracle数据库的通用程序(一) 前一篇介绍了java程序的如何编写、使用以及引用到的依赖包。这篇接着上一篇来介绍如何在oozie中使用该java程序。 在我的业务中,分为两段: 1. 查询hive表中的信息,通过oozie可以设置不同的变量作为增量查询的条件。 2. 将hiv 阅读全文
摘要:
当jar程序执行异常中断时,希望系统能够自动启动。通过以下shell脚本监控程序一直运行。 阅读全文
摘要:
参考这里: https://blog.csdn.net/Mark_LQ/article/details/53393081 阅读全文
摘要:
hive表增量抽取到oracle数据库的通用程序(二) sqoop在export的时候 只能通过--export-dir参数来指定hdfs的路径。而目前的需求是需要将hive中某个表中的多个分区记录一次性导出到oracle数据库中,由于不支持通配符,又不想设置多个workflow。为了替代蹩脚的sq 阅读全文
摘要:
今天碰到个需求,根据字段个数,动态生成sql的占位符,如下: 显示结果: 来个实际的例子: 输入参数tableName, fieldNames, 显示如下: 阅读全文
摘要:
1. 关系型数据库到hive 2. hive到关系型数据库 阅读全文
摘要:
日志中出现以下异常信息,程序中断退出。 目前参考别人的修改下面的配置,原来使用的hostname,改成IP,再观察观察。 advertised.listeners=PLAINTEXT://192.168.1.101:9092 参考: https://www.cnblogs.com/cyfonly/p 阅读全文
摘要:
1. 首先,vue.js是一种前端框架,一般利用vue创建项目是要搭配webpack项目构建工具的,而webpack在执行打包压缩的时候是依赖node.js的环境的,所以,要进行vue项目的开发,我们首先要安装node.js。node.js的官方地址为:https://nodejs.org/en/d 阅读全文
摘要:
Jackson所有的操作都是通过ObjectMapper对象实例来操作的,可以重用这个对象实例。 首先定义一个实例: 定义一个Student类: 准备一个字符串: 常规操作: 字符串转对象 打印输出结果: 常规操作: 对象转字符串 打印输出结果: 如何改变输出的日期字段格式? 两种方式:一种Simp 阅读全文
摘要:
目前没发现有什么方便的函数可以直接使用,只能使用concat来手工拼接。 注意将null的字段值转为空,使用nvl函数 1. 如果将hql语句写在script.q文件里面如下: shell select concat('{"data_dt":"',a.data_dt, '","user":"',NV 阅读全文
摘要:
这里是window的版本,由微软维护的: 阅读全文
摘要:
常用有三种json解析jackson、fastjson、gson。 1. jackson依赖包 2. fastjson 遇到对象转json字符串时,如果对象中的属性字段为null,则不会显示出来。解决方法 3. gson ` ` 阅读全文
摘要:
使用AOP来说,太方便了,并且特别适合这类场景。 代码如下,这里是将要统计的信息写到log文件中,也可以设计成写入表中。 阅读全文
摘要:
什么是跨域? 跨域,指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的,是浏览器施加的安全限制。 所谓同源是指,域名,协议,端口均相同,不明白没关系,举个栗子: http://www.123.com/index.html 调用 http://www.123.com/server.php 阅读全文
摘要:
在开发阶段一直使用以下方式调试没有问题: 但是,打包编译后,放到linux环境下,发现报空指针错误,这里的 不再起作用了,并且返回值为null。 后面采用了下面的方式: 阅读全文
摘要:
根据出错信息是找不到hive的位置,所以想到的解决方法是: 1. 在sqoop的workflow中添加job xml,属性写hive site.xml在hdfs上的位置。 (fail) 2. 直接配置一个hive home的属性,类似于下面的 (fail) 3. 在arg参数中添加hive home 阅读全文
摘要:
出错在 KStreamFlatMapValues 方法执行时,由于json异常数据无法解析,结果生成的值为null,报错信息如下: 问题解决方案: 1. 对json解析的bean添加未知字段忽略 2. 由于报空指针错误,所以解决空指针问题,即判断为null时创建一个空对象. 3. 完整的示例代码如下 阅读全文