摘要：
1.hive的基础sql 建立测试数据表： 文章表：里面存入一段话，一个字段 （1）hive进行wordcount的统计 （2）经典的行转列 统计分析 要求转换为以下形式： (3)经典函数 时间计算 的使用 udata.user_id udata.item_id udata.rating udata 阅读全文
摘要：
Spark Streaming输入 //*************** Spark Streaming 的输入 ************** 1、 文件数据源 1、Spark Streaming通过streamingContext.fileStream[KeyClass, ValueClass, I 阅读全文
摘要：
Spark Sql //************** Spark SQL ******************* 1、Spark SQL 是Spark套件中的一个模块，他将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 2、Spark SQL的特点： 1、和Spark Core的无缝集成，我可以在写整... 阅读全文
摘要：
import com.bigdata.kafka.originalLog.HDFSOutputStreamPool; import com.bigdata.kafka.originalLog.StringUtil; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream;... 阅读全文
摘要：
进入新公司已经快半个月了，目前很迷茫，没有自己想做的spark开发，初步了解了公司项目流程，感觉java写的一些模块真难啊，佩服别人的java 开发水平 ，思路与逻辑判断 ，代码架构与封装都感觉完美，但我看来就是很乱的感觉 ，熟悉一个新项目 又得从头开始 熟悉数据的来龙去脉 ，这次的项目不是传统的数 阅读全文
摘要：
转发 阅读全文
摘要：
目前就上海招聘的信息来看： 一、etl、sql工程师占60%，多半是外包 （一）笔试多是sql，典型的 1.Hive 实现wordcount select word,count(*) from ( select explode(split(sentence,' ')) as word from article b ) t group by word 2.类似于这种购买占比或者平均数（每个... 阅读全文
摘要：
https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 阅读全文
摘要：
总的思路就是先找出表中重复数据中的一条数据，插入临时表中，删除所有的重复数据，然后再将临时表中的数据插入表中。所以重点是如何找出重复数据中的一条数据，有三种情况 1.重复数据完全一样，使用distinct select distinct * from table 2.id列不同,id类型为int,自 阅读全文
摘要：
1.If函数:if和case差不多，都是处理单个列的查询结果 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull 举例：if（条件表达式，结果1，结果2）相当于java中的三目运算符... 阅读全文