06 2019 档案

spark Streaming
摘要：Spark Streaming输入 //*************** Spark Streaming 的输入 ************** 1、 文件数据源 1、Spark Streaming通过streamingContext.fileStream[KeyClass, ValueClass, I 阅读全文
posted @ 2019-06-16 10:03 夜半钟声到客船 阅读(269) 评论(0) 推荐(0) 编辑
spark sql
摘要：Spark Sql //************** Spark SQL ******************* 1、Spark SQL 是Spark套件中的一个模块，他将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 2、Spark SQL的特点： 1、和Spark Core的无缝集成，我可以在写整... 阅读全文
posted @ 2019-06-16 09:48 夜半钟声到客船 阅读(469) 评论(0) 推荐(0) 编辑
参考
摘要：import com.bigdata.kafka.originalLog.HDFSOutputStreamPool; import com.bigdata.kafka.originalLog.StringUtil; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream;... 阅读全文
posted @ 2019-06-10 21:30 夜半钟声到客船 阅读(125) 评论(0) 推荐(0) 编辑
life
摘要：进入新公司已经快半个月了，目前很迷茫，没有自己想做的spark开发，初步了解了公司项目流程，感觉java写的一些模块真难啊，佩服别人的java 开发水平 ，思路与逻辑判断 ，代码架构与封装都感觉完美，但我看来就是很乱的感觉 ，熟悉一个新项目 又得从头开始 熟悉数据的来龙去脉 ，这次的项目不是传统的数 阅读全文
posted @ 2019-06-05 22:15 夜半钟声到客船 阅读(136) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示