Hive UDF使用资源文件及动态更新方案--后记
摘要：Hive UDF使用资源文件及动态更新方案--后记 在 Hive UDF使用资源文件及动态更新方案 一文中，针对UDF动态更新的问题，提出解决方案：UDF仅使用业务接口，初始化时动态从位于HDFS的Jar文件中加载业务接口实现类；其中，业务接口及实现类与UDF一一对应。 通常情况下，业务接口仅包含一
阅读全文
摘要：Hive UDF使用资源文件及动态更新方案 背景 注： 本文中的“函数”等同于UDF，默认情况下特指永久函数。 Hive 0.13版本开始支持自定义永久函数（Permanent Function）,可以将函数注册到Hive Metastore，通过Hive/Beeline/Spark SQL可以直接
阅读全文
摘要：Spark SQL ThriftServer 启动命令 默认情况下，Spark 日志目录 SPARK_LOG_DIR 指向 SPARK_HOME/logs，如因权限访问控制，可以通过显示设置环境变量 SPARK_LOG_DIR，将日志目录指向其它路径，如： export SPARK_LOG_DIR=
阅读全文
摘要：前言 OKR这个名词最近两年在国内好像特别火，据说好多大厂都使用OKR替代KPI，我司也于去年年初的时候“风风火火”地搞过一阵，我也是借着这个机会才了解到OKR的基本概念：目标与关键结果（Objectives and Key Results），还煞有介事地买了一本《这就是OKR》研究了一下，只是后来
阅读全文
摘要：团队工作建议 目标 两个明确 明确核心工作目标； 明确核心工作职责； PS：建议以季度或月为单位，思考清楚自己现阶段的主要工作内容是什么，如有疑问，请及时与团队负责人沟通。 两个保证 保证有效工作时间（50%+）投入到有效目标的达成过程中； 保证核心服务的稳定性； PS：工作过程中，如果出现因为业务
阅读全文
