摘要：
zip拉链操作 def zip[U](other: org.apache.spark.rdd.RDD[U])(implicit evidence$10: scala.reflect.ClassTag[U]): org.apache.spark.rdd.RDD[(String, U)] scala> 阅读全文
posted @ 2018-07-11 14:46 打杂滴 阅读(155) 评论(0) 推荐(0) 编辑
2018年7月11日
2018年7月9日
摘要：
sqlserver高级版本可以在 文件 目录生成数据库字典 早期的SQLSERVER版本可以通过SQLDOC生成html格式的数据库字典 MySQL可以通过sqlyog可以通过数据库字典：数据库菜单下，以html格式创建数据库架构 阅读全文
posted @ 2018-07-09 13:27 打杂滴 阅读(567) 评论(0) 推荐(0) 编辑
2018年6月29日
摘要：
解析url scala> import java.net.URLimport java.net.URL scala> val urlstr="http://www.baidu.com:8899/getUsername?userid=110&sysId=552" urlstr: String = ht 阅读全文
posted @ 2018-06-29 18:23 打杂滴 阅读(350) 评论(0) 推荐(0) 编辑
摘要：
启动spark-shell 如果你有一个Hadoop 集群， 并且Hadoop 版本支持YARN， 通过为Spark master 设定yarn-client 参数值，就可以在集群上启动Spark 作业：$ spark-shell --master yarn-client如果你是在自己的计算机上运行 阅读全文
posted @ 2018-06-29 16:22 打杂滴 阅读(158) 评论(0) 推荐(0) 编辑
2018年6月27日
摘要：
Spark 用来操作结构化和半结构化数据的接口——Spark SQL。结构化数据是指任何有结构信息的数据。所谓结构信息，就是每条记录共用的已知的字段集合。当数据符合这样的条件时，Spark SQL 就会使得针对这些数据的读取和查询变得更加简单高效。 Spark SQL 提供了以下三大功能： (1) 阅读全文
posted @ 2018-06-27 16:41 打杂滴 阅读(243) 评论(0) 推荐(0) 编辑
摘要：
使用SparkConf配置Spark 对Spark 进行性能调优，通常就是修改Spark 应用的运行时配置选项。Spark 中最主要的配置机制是通过SparkConf 类对Spark 进行配置。当创建出一个SparkContext 时，就需要创建出一个SparkConf 的实例. 在Scala 中使 阅读全文
posted @ 2018-06-27 14:56 打杂滴 阅读(266) 评论(0) 推荐(0) 编辑
摘要：
Spark 可以在各种各样的集群管理器（Hadoop YARN、Apache Mesos，还有Spark 自带的独立集群管理器）上运行，所以Spark 应用既能够适应专用集群，又能用于共享的云计算环境。 在分布式环境下，Spark 集群采用的是主/ 从结构。在一个Spark 集群中，有一个节点负责中 阅读全文
posted @ 2018-06-27 11:03 打杂滴 阅读(225) 评论(0) 推荐(0) 编辑
2018年6月26日
摘要：
Spark 的两个共享变量：累加器（accumulator）与广播变量（broadcast variable）。 累加器用来对信息进行聚合，而广播变量用来高效分发较大的对象。 在Scala 中累加空行： scala> val testrdd=sc.textFile("hdfs://localhost 阅读全文
posted @ 2018-06-26 16:14 打杂滴 阅读(150) 评论(0) 推荐(0) 编辑
2018年6月21日
摘要：
Spark 是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark 扩展了广泛使用的MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要的。Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上 阅读全文
posted @ 2018-06-21 10:53 打杂滴 阅读(291) 评论(0) 推荐(0) 编辑
2018年6月20日
摘要：
scala> import org.apache.spark.SparkContext import org.apache.spark.SparkContext scala> import org.apache.spark.SparkConf import org.apache.spark.Spar 阅读全文
posted @ 2018-06-20 15:52 打杂滴 阅读(207) 评论(0) 推荐(0) 编辑