摘要: http://spark.apache.org/docs/latest/rdd-programming-guide.html#using-the-shell Overview(概述) 在较高的层次上,每个Spark应用程序都包含一个驱动程序,该程序运行用户的主要功能并在集群上执行各种并行操作。 Sp 阅读全文
posted @ 2018-11-29 17:14 风雨辰 阅读(385) 评论(0) 推荐(0) 编辑
摘要: bin (binaries)存放二进制可执行文件 sbin (superuser binaries)存放二进制可执行文件,只有root才能访问 etc (etcetera)存放系统配置文件 usr (unix sharedresources)用于存放共享的系统资源 home 存放用户文件的根目录 r 阅读全文
posted @ 2018-11-29 17:08 风雨辰 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 关于线程和线程池,我们必须知道以下几个概念: 第一,线程中的基本概念, 第二,线程的生命周期 第三,单线程和多线程 第四,什么是多线程的安全问题?为什么会造成多线程的安全问题呢? 第五,线程池的原理解析 第六,常见的几种线程池的特点以及各自的应用场景 一、线程,程序执行流的最小执行单位,是进程中的实 阅读全文
posted @ 2018-11-29 16:42 风雨辰 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 转载:https://blog.csdn.net/caisini_vc/article/details/48007297 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用 阅读全文
posted @ 2018-11-29 16:33 风雨辰 阅读(543) 评论(0) 推荐(0) 编辑
摘要: 转载:https://blog.csdn.net/matrix_google/article/details/79888144 首先要考虑这么几个问题: 消息丢失是什么造成的,从生产端和消费端两个角度来考虑 消息重复是什么造成的,从生产端和消费端两个角度来考虑 如何保证消息有序 如果保证消息不重不漏 阅读全文
posted @ 2018-11-29 16:24 风雨辰 阅读(1117) 评论(0) 推荐(0) 编辑