伪全栈的java工程师

2018年11月26日

摘要：今天下午去陆金所面试java。问得是java基础与框架，但是自己没有背面试宝典，很多都回答不好。 1.hashmap 与 hashtable 的区别以及 hashmap的实现原理 arraylist与LinkedList 的区别与原理 Comparable和Comparator接口是干什么的？列出阅读全文

posted @ 2018-11-26 19:16 伪全栈的java工程师阅读(3292) 评论(0) 推荐(1) 编辑

2018年11月25日

Hbase入门

摘要：大纲了解什么是Hbase 了解列式数据库与行式数据库的区别了解hbase的架构掌握Hbase的部署和安装掌握Hbase的CRUD操作实现京东的“规格和包装”功能案例 Hbase高级部分 1、了解Hbase 1.1、什么是Hbase 官网：https://hbase.apache.org/ 阅读全文

posted @ 2018-11-25 21:30 伪全栈的java工程师阅读(376) 评论(0) 推荐(0) 编辑

spark-join算子

摘要：阅读全文

posted @ 2018-11-25 16:45 伪全栈的java工程师阅读(283) 评论(0) 推荐(0) 编辑

spark-reduceByKey算子

摘要：阅读全文

posted @ 2018-11-25 16:40 伪全栈的java工程师阅读(210) 评论(0) 推荐(0) 编辑

spark-groupByKey

摘要：一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。其实算子内部都会隐式地创建几个RDD出来。那些隐式创建的RDD，主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界。因为有些隐式生成的RDD，可能是ShuffledRDD 阅读全文

posted @ 2018-11-25 16:28 伪全栈的java工程师阅读(1380) 评论(0) 推荐(0) 编辑

spark完整的数据倾斜解决方案

摘要： 1、数据倾斜的原理 2、数据倾斜的现象 3、数据倾斜的产生原因与定位在执行shuffle操作的时候，大家都知道，我们之前讲解过shuffle的原理。是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个k 阅读全文

posted @ 2018-11-25 14:48 伪全栈的java工程师阅读(666) 评论(0) 推荐(0) 编辑

2018年11月24日

Spark Streaming

摘要：大纲： Spark Streaming简介 Spark Streaming的原理和架构 Spark Streaming之基础抽象DStream DStream相关操作 Spark Streaming与flume整合 Spark Streaming与kafka整合 Spark Streaming简介阅读全文

posted @ 2018-11-24 23:34 伪全栈的java工程师阅读(490) 评论(0) 推荐(0) 编辑

用SparkSQL构建用户画像

摘要：用SparkSQL构建用户画像二、前言大数据时代已经到来，企业迫切希望从已经积累的数据中分析出有价值的东西，而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯，可以预测商品的发展的趋势，提高产品质量，同时提高用户满意度。三、初识用户画像右边是一个人的基本属性，通过一个人的基阅读全文

posted @ 2018-11-24 22:27 伪全栈的java工程师阅读(5971) 评论(1) 推荐(1) 编辑

2018年11月23日

Spring Cloud底层原理（转载石杉的架构笔记）

摘要：拜托！面试请不要再问我Spring Cloud底层原理原创：中华石杉石杉的架构笔记目录一、业务场景介绍二、Spring Cloud核心组件：Eureka 三、Spring Cloud核心组件：Feign 四、Spring Cloud核心组件：Ribbon 五、Spring Cloud核心阅读全文

posted @ 2018-11-23 19:14 伪全栈的java工程师阅读(3262) 评论(0) 推荐(0) 编辑

2018年11月21日

TCC分布式事务的实现原理（转载石杉的架构笔记）

摘要：拜托，面试请不要再问我TCC分布式事务的实现原理！【石杉的架构笔记】原创：中华石杉目录一、写在前面二、业务场景介绍三、进一步思考四、落地实现TCC分布式事务 (1)TCC实现阶段一：Try (2)TCC实现阶段二：Confirm (3)TCC实现阶段三：Cancel 五、总结与思考一阅读全文

posted @ 2018-11-21 11:36 伪全栈的java工程师阅读(1062) 评论(0) 推荐(0) 编辑