摘要: https://www.cnblogs.com/sam-uncle/p/9011400.html 阅读全文
posted @ 2019-11-19 16:14 再见傅里叶 阅读(160) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/weixin_40294332/article/details/81217671 阅读全文
posted @ 2019-11-19 14:09 再见傅里叶 阅读(225) 评论(0) 推荐(0) 编辑
摘要: yarn模式又分为yarn cluster模式和yarn client模式: yarn cluster: 这个就是生产环境常用的模式,所有的资源调度和计算都在集群环境上运行。 yarn client: 这个是说Spark Driver和ApplicationMaster进程均在本机运行,而计算任务在 阅读全文
posted @ 2019-11-19 10:38 再见傅里叶 阅读(383) 评论(0) 推荐(0) 编辑
摘要: num-executors参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时,YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上,启动相应数量的Executor进程。这个参数非常之重要,如果不设置的话,默认只会给你 阅读全文
posted @ 2019-11-19 10:22 再见傅里叶 阅读(1264) 评论(0) 推荐(0) 编辑
摘要: 当并发操作ES的线程越多,或者并发请求越多,或者是读取一份数据,供用户查询和操作的,时间越长,因为这段时间里很可能数据在ES已经被修改了,那么我们拿到的就是旧的数据,基于旧数据操作,那么后续肯定会出问题 所以我们有悲观锁和乐观锁俩种并发控制方案悲观锁并发控制方案常见于关系型数据库中,比如mysql悲 阅读全文
posted @ 2019-11-19 09:54 再见傅里叶 阅读(2322) 评论(0) 推荐(0) 编辑