问题不大1 - 博客园

2019年4月22日

摘要：一、UDF函数编写 1.步骤 2.案例实现lower函数: 3.打成jar包上传 mvn clean package 4.在hive中创建临时函数二、UDAF函数编写 1.步骤 2.案例实现avg 实现sum 3.打包 mvn clean package 4.创建临时函数三、UDTF函数编写阅读全文

posted @ 2019-04-22 09:55 问题不大1 阅读(2158) 评论(0) 推荐(0) 编辑

使用sparksql往kafka推送数据

摘要：一、相关配置参数 1.同级目录resource文件夹下配置 2.topic： 3.流程从hive表中读取相关字段，封装成json格式，抛kafka 二、相关代码(scala) 阅读全文

posted @ 2019-04-22 09:52 问题不大1 阅读(4698) 评论(1) 推荐(0) 编辑

hive参数配置及任务优化

摘要：一、hive常用参数 0.常用参数 1.任务名设置 2.输入合并参数设置 3.输出合并参数设置 4.reduce设置 5.mapjoin参数设置 6.map端聚合 7.mapreduce的物理内存、虚拟内存 8.动态分区 9. shuffle端内存溢出oom (BoundedByteArrayOut 阅读全文

posted @ 2019-04-22 08:52 问题不大1 阅读(4684) 评论(0) 推荐(0) 编辑

2019年4月20日

python基础篇_002_基础数据类型

摘要： Python基础数据类型 1.int 2.bool 3.str 3.1字符串索引和切片 3.2字符串常用方法 4.list 4.1列表索引和切片 4.2列表的增 4.3列表的删 4.4列表的改 4.5列表的查 4.6列表的其他方法 4.7列表嵌套 5.tuple(不可变类型) 5.1元祖的索引和切片阅读全文

posted @ 2019-04-20 21:15 问题不大1 阅读(204) 评论(0) 推荐(0) 编辑

python基础篇_001_初识Python

摘要：一、Python环境 windows环境安装Python步骤二、Python初识 2.1 第一个Python程序编写(pycharm python) 2.2 Python注释 2.3 Python中的变量与常量变量：就是将一些运算的中间结果暂存到内存中，以便后续代码调用常量，Python中没有阅读全文

posted @ 2019-04-20 15:11 问题不大1 阅读(256) 评论(0) 推荐(0) 编辑

问题不大

公告