北漂屌丝 - 博客园

2019年8月15日

摘要： kafka producer 发送消息的时候，可以指定 key，这个 key 的作用是为消息选择存储分区当指定 key 且不为空的时候，kafka 是根据 key 的 hash 值与分区数取模来决定数据存储到那个分区当 key=null 时，kafka 是先从缓存中取分区号，然后判断缓存的值是否阅读全文

posted @ 2019-08-15 09:40 北漂屌丝阅读(2188) 评论(0) 推荐(0) 编辑

SPARK 恢复模式

摘要： spark.deploy.recoveryMode：恢复模式（Master重新启动的模式） ZooKeeper：生产中用Zookeeper，因为基于文件系统的需要我们手动启动挂掉的Master FileSystem ：FileSystem在测试阶段用 NONE：NONE表示不恢复 ZooKeeper 阅读全文

posted @ 2019-08-15 07:46 北漂屌丝阅读(423) 评论(0) 推荐(0) 编辑

2019年8月14日

MR和SPARK ON YARN 区别

摘要： MapReduce 多进程模型：MapReduce 应用程序是让每个Task 动态申请资源，且运行完后马上释放资源 MapReduce 多进程模型：MapReduce 应用程序是让每个Task 动态申请资源，且运行完后马上释放资源每个Task 运行在一个独立的JVM 进程中每个Task 运行在一阅读全文

posted @ 2019-08-14 17:01 北漂屌丝阅读(598) 评论(0) 推荐(0) 编辑

2019年8月12日

&和&&的区别

摘要： • “&”:无论任何情况，“&”两边的表达式都会参与计算 • “&&”: 当“&&”的左边为false，则将不会计算其右边的表达式。即左false则false • “|”和“||”的区别与“&”和“&&”的区别类似阅读全文

posted @ 2019-08-12 15:38 北漂屌丝阅读(791) 评论(0) 推荐(0) 编辑

java之标识符

摘要：作用常量、变量、方法、类和包等的名称命名规则必须以字母、下划线、美元符开头其它部分可以是字母、下划线、美元符和数字的任意组合大小写敏感，长度无限制不可以是Java的关键字作用常量、变量、方法、类和包等的名称常量、变量、方法、类和包等的名称命名规则必须以字母、下划线、美元符开头阅读全文

posted @ 2019-08-12 15:11 北漂屌丝阅读(130) 评论(0) 推荐(0) 编辑

SPARK广播变量

摘要：意义如果我们要在分布式计算里面分发大对象，例如：字典，集合，黑白名单等，这个都会由Driver端进行分发，一般来讲，如果这个变量不是广播变量，那么每个task就会分发一份，这在task数目十分多的情况下Driver的带宽会成为系统的瓶颈，而且会大量消耗task服务器上的资源，如果将这个变量声明为广阅读全文

posted @ 2019-08-12 13:55 北漂屌丝阅读(597) 评论(0) 推荐(0) 编辑

java关键字之final

摘要：对基本类型使用final不能改变的是他的数值。而对于对象引用，不能改变的是他的引用，而对象本身是可以修改的。一旦一个final引用被初始化指向一个对象，这个引用将不能再指向其他对象 final类不能被继承，没有子类，final类中的方法默认是final的，但是final类中的成员变量默认不是fina 阅读全文

posted @ 2019-08-12 08:43 北漂屌丝阅读(165) 评论(0) 推荐(0) 编辑

2019年8月11日

java之多态

摘要：多态是同一个行为具有多个不同表现形式或形态的能力多态存在的三个必要条件继承重写父类引用指向子类对象继承重写父类引用指向子类对象阅读全文

posted @ 2019-08-11 21:42 北漂屌丝阅读(92) 评论(0) 推荐(0) 编辑

java 访问权限控制

摘要： private default protected public 同一类 √ √ √ √ 同一包内的类 √ √ √ 子类 √ √ 其它包内的类 √ 阅读全文

posted @ 2019-08-11 19:59 北漂屌丝阅读(120) 评论(0) 推荐(0) 编辑

SPARK调优之RDD持久化

摘要：阅读全文

posted @ 2019-08-11 19:23 北漂屌丝阅读(155) 评论(0) 推荐(0) 编辑

beipiaodiaosi