2017年9月6日
通过Spark Rest 服务监控Spark任务执行情况
摘要： 1、Rest服务 Spark源为了方便用户对任务做监控，从1.4版本启用Rest服务，用户可以通过访问地址，得到application的运行状态。 Spark的REST API返回的信息是JSON格式的，开发者们可以很方便地通过这个API来创建可视化的Spark监控工具。目前 这个API支持正在运行 阅读全文
posted @ 2017-09-06 00:25 斯维达夏 阅读(8621) 评论(1) 推荐(0) 编辑
Hive Sql 行转多列实际案例
摘要： 1、行转多列实际案例 注： 行转多列可以认为多列是一个字段处理，多个转换之间不能有 "，" 分割开 阅读全文
posted @ 2017-09-06 00:05 斯维达夏 阅读(3367) 评论(0) 推荐(0) 编辑
2017年9月5日
HDFS目标大文件夹下文件索引建立
摘要： 一、索引命令 1、非分布式，单机 2、分布式：任务提交到yarn，需要使用集群资源 注： 可能遇到的情况，在某些需要队列或者有keyberos认证的机器，　DistributedLzoIndexer 可能不会那么理想，需要添加队列或者加上keyberos参数。 二、执行linux shell命令ja 阅读全文
posted @ 2017-09-05 23:58 斯维达夏 阅读(1335) 评论(0) 推荐(0) 编辑
Excel中通过数据字典生成sql语句字段部分
摘要： 1、直接在列中编辑，分别对应字段，类型，comment =B107&" "&D107&" comment '"&TRIM(C107)&"'," =B10&" "&C10&" COMMENT "&" 2、技巧 通过函数查找时，如果需要在指定区域查找，也就是绝对查找，选中后，按下F4，就可以使得所有的查 阅读全文
posted @ 2017-09-05 23:37 斯维达夏 阅读(360) 评论(0) 推荐(0) 编辑