07 2016 档案

Spark 官方文档（5）——Spark SQL，DataFrames和Datasets 指南
摘要：Spark版本：1.6.2 概览 Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQ 阅读全文
posted @ 2016-07-21 11:43 bigbigtree 阅读(7250) 评论(1) 推荐(1) 编辑
Spark 官方文档（4）——Configuration配置
摘要：Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置， 阅读全文
posted @ 2016-07-19 16:20 bigbigtree 阅读(18345) 评论(0) 推荐(0) 编辑
Spark 官方文档（2）——集群模式
摘要：Spark版本：1.6.2 简介：本文档简短的介绍了spark如何在集群中运行，便于理解spark相关组件。可以通过阅读应用提交文档了解如何在集群中提交应用。 组件 spark应用程序通过主程序的SparkContext对象进行协调，在集群上通过一系列独立的处理流程运行。为了便于迁移，SparkCo 阅读全文
posted @ 2016-07-17 21:32 bigbigtree 阅读(485) 评论(0) 推荐(0) 编辑
spark 官方文档（1）——提交应用程序
摘要：Spark版本：1.6.2 spark-submit提供了在所有集群平台提交应用的统一接口，你不需要因为平台的迁移改变配置。Spark支持三种集群：Standalone、Apache Mesos和Hadoop Yarn。 绑定应用程序依赖库 如果你的应用程序依赖其他项目，需要将其一起打包，打包时需要 阅读全文
posted @ 2016-07-14 11:46 bigbigtree 阅读(1979) 评论(0) 推荐(0) 编辑
Learning Spark 第四章——键值对处理
摘要：本章主要介绍Spark如何处理键值对。K-V RDDs通常用于聚集操作，使用相同的key聚集或者对不同的RDD进行聚集。部分情况下，需要将spark中的数据记录转换为键值对然后进行聚集处理。我们也会对键值对RDD的高级特性——分区进行讨论，用户可以控制RDD在节点间的布局，确保数据在同一机器上面，减 阅读全文
posted @ 2016-07-07 15:03 bigbigtree 阅读(1337) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示