随笔分类 - spark
摘要：学生信息表数据如下图所示，字段依次为学号、姓名、性别、年龄、班级，字段间以空格分隔： 1 需求描述： 2 3 正确读入数据并注册成表 4 5 自定义UDF函数，实现将“男”转换成“male”，将“女”转换成“famale”功能 6 7 应用上述自定义UDF函数，求性别为“famale”的年龄最大的学
阅读全文
摘要：题目一：以下为学生期末考试的部分数据，请按要求完成统计，格式如下{"name":"zhangsan","sex":"m",”kemu”:”yuwen”,"score":66} 1) 创建kafka主题ods_score_topic,要求一个备份，一个分区 2) 创建生产者，往主题里添加15条以上数据
阅读全文
摘要：kafka >kafka spark >{ Master 主节点 Woker 副节点 } zookeeper >{ QuorumPeerMain } hadoop >{ NodeManager SecondaryNameNode NameNode //管理 DateNode //存储数据 }
阅读全文
