Spark Streaming 例子
摘要：
下在集群跑一下 监听1212端口(端口可以自己随便取) 可以看到反馈信息 阅读全文
posted @ 2017-09-05 23:41 百里登峰 阅读(388) 评论(0) 推荐(0) 编辑
spark streaming 概述
摘要：
批处理 & 流处理 像这个是批处理 像这样就是流处理 为什么需要流处理--更多场景需要 Spark Core & RDD 本质上是离线运算 Spark Streaming是什么（分布式的流处理系统） Spark Streaming是什么 Spark Streaming的竞争对手（两都是apache的 阅读全文
posted @ 2017-09-05 12:03 百里登峰 阅读(131) 评论(0) 推荐(0) 编辑
spark sql 的性能调优
摘要：
Caching Data in Memory 其他调优参数 阅读全文
posted @ 2017-09-05 09:44 百里登峰 阅读(198) 评论(0) 推荐(0) 编辑
Spark 分布式SQL引擎
摘要：
SparkSQL作为分布式查询引擎：两种方式 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎： beeline SparkSQL作为分布式查询引擎： Spark S 阅读全文
posted @ 2017-09-02 15:48 百里登峰 阅读(711) 评论(0) 推荐(0) 编辑
Spark SQL 编程
摘要：
Spark SQL的依赖 Spark SQL的入口：SQLContext 官方网站参考 https://spark.apache.org/docs/1.6.2/sql-programming-guide.html#starting-point-sqlcontext 针对几种不同的语言来写。 Spar 阅读全文
posted @ 2017-09-02 00:42 百里登峰 阅读(330) 评论(0) 推荐(0) 编辑
Spark SQL 基本原理
摘要：
Spark SQL 模块划分 Spark SQL架构--catalyst设计图 Spark SQL 运行架构 Hive的兼容性 阅读全文
posted @ 2017-09-01 11:23 百里登峰 阅读(349) 评论(0) 推荐(0) 编辑
spark SQL概述
摘要：
Spark SQL是什么？ 何为结构化数据 sparkSQL与spark Core的关系 Spark SQL的前世今生：由Shark发展而来 Spark SQL的前世今生：可以追溯到Hive Spark SQL的前世今生：Hive 到Shark(在Hive上做改进) Spark SQL的前世今生：S 阅读全文
posted @ 2017-08-30 23:56 百里登峰 阅读(159) 评论(0) 推荐(0) 编辑
spark 多语言编程
摘要：
参考官方地址：https://spark.apache.org/docs/1.6.2/programming-guide.html 误解: spark多语言的支持，并不是说spark可以操作各个语言写的程序。而是各种语言可以使用spark提供的编程模型来开发spark程序，并连接spark集群来运行 阅读全文
posted @ 2017-08-29 09:49 百里登峰 阅读(313) 评论(0) 推荐(0) 编辑
hadoop YARN
摘要：
YARN产生的背景 回顾mapreduce1.0(以下是对应的框架) JobTracker同事负责资源的管理和调度和作业的管理和调度 mapreduce1.0的缺点 1.扩展性差 2.另外一个缺点就是单点故障 3.资源利用率低 4.通用性差 什么是yarn YARN在hadoop生态圈系统中的位置 阅读全文
posted @ 2017-08-25 21:51 百里登峰 阅读(214) 评论(0) 推荐(0) 编辑
spark 存储管理机制
摘要：
累加器 -- Accumulators 广播变量--Broadcast Variables 思考 回顾 存储管理模块架构--从架构上来看 存储管理模块架构--通信层 存储管理模块架构--存储层 存储管理模块架构--数据块与分区的关系 回顾-RDD控制操作 持久化级别 如何选择持久化级别 缓存淘汰机制 阅读全文
posted @ 2017-08-25 17:34 百里登峰 阅读(253) 评论(0) 推荐(0) 编辑