10 2019 档案

大叔经验分享（88）jenkins假死
摘要：jenkins安装启动后，使用systemctl来进行进程监控 # systemctl enable jenkins 但是还是经常发生jenkins进程挂了，不会自动重启，通过systemctl查看状态为： # systemctl status jenkins ● jenkins.service - 阅读全文
posted @ 2019-10-31 15:11 匠人先生 阅读(1241) 评论(0) 推荐(0) 编辑
大叔经验分享（87）marathon重启应用过程服务不可用
摘要：marathon提供多种健康检查方式 常用的有TCP和HTTP， TCP检查端口是否存在，存在则认为实例健康； HTTP检查指定URL的HTTP返回码，返回码正常（2xx、3xx）则认为实例健康； 这两种方式在重启过程中会有差别： 1）TCP：由于端口存在到服务可用之间有一段时间，这段时间新的实例被 阅读全文
posted @ 2019-10-16 22:09 匠人先生 阅读(308) 评论(0) 推荐(0) 编辑
大叔经验分享（86）hive和mysql数据互导
摘要：hive和mysql数据互导，首先想到的是sqoop，并且可以和调度框架（比如oozie等）配合配置定时任务，还有一种更简单的方式是通过spark-sql： CREATE OR REPLACE TEMPORARY VIEW tmp_tbl_test USING org.apache.spark.sq 阅读全文
posted @ 2019-10-10 11:43 匠人先生 阅读(612) 评论(0) 推荐(0) 编辑
大叔经验分享（85）ssh秘钥之创建和使用
摘要：一 创建秘钥 1 Macbook $ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key ($HOME/.ssh/id_rsa): Enter passphrase ( 阅读全文
posted @ 2019-10-03 22:08 匠人先生 阅读(959) 评论(0) 推荐(0) 编辑
大叔经验分享（84）spark sql中设置hive.exec.max.dynamic.partitions无效
摘要：spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic p 阅读全文
posted @ 2019-10-03 00:33 匠人先生 阅读(7373) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示