Mr.Ming2

摘要： RDD的弹性表现: 1、弹性之一：自动的进行内存和磁盘数据存储的切换； 2、弹性之二：基于Lineage的高效容错（第n个节点出错，会从第n-1个节点恢复，血统容错）； Lineage由spark的依赖关系确定。3、弹性之三：Task如果失败会自动进行特定次数的重试（默认4次）； 4、弹性之四：St 阅读全文

摘要： Running Spark on YARN 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的，后续的版本也一直持续在改进。 Launching Spark on YARN 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的（ 阅读全文

摘要： 概述 在高层次上，每个Spark应用程序都由一个运行用户main方法的driver program组成，并在集群上执行各种 parallel operations。Spark提供的主要抽象是resilient distributed dataset (RDD)，它是可以并行操作的群集节点之间分配的元 阅读全文

摘要： 概述 Spark SQL是用于结构化数据处理的Spark模块。它提供了一个称为DataFrames的编程抽象，也可以作为分布式SQL查询引擎。 Spark SQL也可用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息，请参阅Hive Tables部分。 DataFrames DataF 阅读全文

摘要： 一：介绍 1.在spark编译时支持hive 2.默认的db 当Spark在编译的时候给定了hive的支持参数，但是没有配置和hive的集成，此时默认使用hive自带的元数据管理:Derby数据库。 二：具体集成 1.将hive的配合文件hive-site.xml添加到spark应用的classpa 阅读全文

摘要： 用mysql -u root -p显示ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES). 编辑mysql配置文件my.ini（不知道在哪请搜索），在[mysqld]这个条目下加入 s 阅读全文

摘要： 目的 本文档是使用Hadoop分布式文件系统（HDFS）作为Hadoop集群或独立通用分布式文件系统的一部分的用户的起点。虽然HDFS旨在在许多环境中“正常工作”，但HDFS的工作知识有助于在特定集群上进行配置改进和诊断。 概述 HDFS是Hadoop应用程序使用的主要分布式存储。HDFS集群主要由 阅读全文

摘要： 进行追加文件时出现AlreadyBeingCreatedException错误 堆栈信息大致如下： 目前得到的可能原因： 多进程进行同一文件的写入在HDFS中是可能引发这种错误的。 hadoop 的dfs里边有个lease manager 维护了文件path －> lease和 DFSClient  阅读全文

摘要： HA With QJM 目标 本指南概述了HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS集群。 本文档假设读者对HDFS集群中的一般组件和节点类型有一般的了解。有关详细信息，请参阅HDFS架构指南。 本指南讨论如何使用Quo 阅读全文

摘要： 插入排序 归并排序 阅读全文