摘要：
Spark中使用外部连接获取配置信息 Spark Streaming在启动的时候只能使用一个数据源的数据，但是我们的配置是随着业务进行改变的，所以需要动态的进行业务配置的获取。 连接redis 使用单例模式，在Driver上定义，在分区上遍历，JedisConnectionPool是在Master上 阅读全文
摘要：
问题描述 在执行 spark shell master yarn 报错，发现以下错误信息 出现原因 在新安装的集群上，hdfs的/user/目录下面并没有当前用户的目录和相关权限的目录 解决方法 使用hdfs用户，创建该用户的相关权限的目录 阅读全文
摘要：
下载相关软件包 解压 修改配置信息 spark env.sh slaves 启动 启动 spark shell 启动集群 启动时可能出现的问题: java.lang.ClassNotFoundException: parquet.hadoop.ParquetOutputCommitter 使用 ma 阅读全文
摘要：
: 返回x的浅层复制 : 返回x的深层复制 一个 浅层复制 会构造一个新的复合对象，然后（在可能的范围内）将原对象中找到的 引用 插入其中。 一个 深层复制 会构造一个新的复合对象，然后递归地将原始对象中所找到的对象的 副本 插入。 深度复制操作通常存在两个问题, 而浅层复制操作并不存在这些问题： 阅读全文