05 2019 档案
摘要：目前就上海招聘的信息来看： 一、etl、sql工程师占60%，多半是外包 （一）笔试多是sql，典型的 1.Hive 实现wordcount select word,count(*) from ( select explode(split(sentence,' ')) as word from article b ) t group by word 2.类似于这种购买占比或者平均数（每个...
阅读全文
摘要：https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html
阅读全文
摘要：总的思路就是先找出表中重复数据中的一条数据，插入临时表中，删除所有的重复数据，然后再将临时表中的数据插入表中。所以重点是如何找出重复数据中的一条数据，有三种情况 1.重复数据完全一样，使用distinct select distinct * from table 2.id列不同,id类型为int,自
阅读全文
