摘要:
1.hive的基础sql 建立测试数据表: 文章表:里面存入一段话,一个字段 (1)hive进行wordcount的统计 (2)经典的行转列 统计分析 要求转换为以下形式: (3)经典函数 时间计算 的使用 udata.user_id udata.item_id udata.rating udata 阅读全文
摘要:
Spark Streaming输入 //*************** Spark Streaming 的输入 ************** 1、 文件数据源 1、Spark Streaming通过streamingContext.fileStream[KeyClass, ValueClass, I 阅读全文
摘要:
Spark Sql //************** Spark SQL ******************* 1、Spark SQL 是Spark套件中的一个模块,他将数据的计算任务通过SQL的形式转换成了RDD的计算,类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 2、Spark SQL的特点: 1、和Spark Core的无缝集成,我可以在写整... 阅读全文
摘要:
import com.bigdata.kafka.originalLog.HDFSOutputStreamPool; import com.bigdata.kafka.originalLog.StringUtil; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream;... 阅读全文
摘要:
进入新公司已经快半个月了,目前很迷茫,没有自己想做的spark开发,初步了解了公司项目流程,感觉java写的一些模块真难啊,佩服别人的java 开发水平 ,思路与逻辑判断 ,代码架构与封装都感觉完美,但我看来就是很乱的感觉 ,熟悉一个新项目 又得从头开始 熟悉数据的来龙去脉 ,这次的项目不是传统的数 阅读全文
摘要:
转发 阅读全文
摘要:
目前就上海招聘的信息来看: 一、etl、sql工程师占60%,多半是外包 (一)笔试多是sql,典型的 1.Hive 实现wordcount select word,count(*) from ( select explode(split(sentence,' ')) as word from article b ) t group by word 2.类似于这种购买占比或者平均数(每个... 阅读全文
摘要:
https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 阅读全文
摘要:
总的思路就是先找出表中重复数据中的一条数据,插入临时表中,删除所有的重复数据,然后再将临时表中的数据插入表中。所以重点是如何找出重复数据中的一条数据,有三种情况 1.重复数据完全一样,使用distinct select distinct * from table 2.id列不同,id类型为int,自 阅读全文
摘要:
1.If函数:if和case差不多,都是处理单个列的查询结果 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时,返回valueTrue;否则返回valueFalseOrNull 举例:if(条件表达式,结果1,结果2)相当于java中的三目运算符... 阅读全文