百里登峰 - 博客园

Spark 分布式SQL引擎

摘要： SparkSQL作为分布式查询引擎：两种方式 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎： beeline SparkSQL作为分布式查询引擎： Spark S 阅读全文

posted @ 2017-09-02 15:48 百里登峰阅读(732) 评论(0) 推荐(0)

Spark SQL 编程

摘要： Spark SQL的依赖 Spark SQL的入口：SQLContext 官方网站参考 https://spark.apache.org/docs/1.6.2/sql-programming-guide.html#starting-point-sqlcontext 针对几种不同的语言来写。 Spar 阅读全文

posted @ 2017-09-02 00:42 百里登峰阅读(353) 评论(0) 推荐(0)

Spark SQL 基本原理

摘要： Spark SQL 模块划分 Spark SQL架构--catalyst设计图 Spark SQL 运行架构 Hive的兼容性阅读全文

posted @ 2017-09-01 11:23 百里登峰阅读(370) 评论(0) 推荐(0)

spark SQL概述

摘要： Spark SQL是什么？何为结构化数据 sparkSQL与spark Core的关系 Spark SQL的前世今生：由Shark发展而来 Spark SQL的前世今生：可以追溯到Hive Spark SQL的前世今生：Hive 到Shark(在Hive上做改进) Spark SQL的前世今生：S 阅读全文

posted @ 2017-08-30 23:56 百里登峰阅读(173) 评论(0) 推荐(0)

spark 多语言编程

摘要：参考官方地址：https://spark.apache.org/docs/1.6.2/programming-guide.html 误解: spark多语言的支持，并不是说spark可以操作各个语言写的程序。而是各种语言可以使用spark提供的编程模型来开发spark程序，并连接spark集群来运行阅读全文

posted @ 2017-08-29 09:49 百里登峰阅读(334) 评论(0) 推荐(0)

hadoop YARN

摘要： YARN产生的背景回顾mapreduce1.0(以下是对应的框架) JobTracker同事负责资源的管理和调度和作业的管理和调度 mapreduce1.0的缺点 1.扩展性差 2.另外一个缺点就是单点故障 3.资源利用率低 4.通用性差什么是yarn YARN在hadoop生态圈系统中的位置阅读全文

posted @ 2017-08-25 21:51 百里登峰阅读(226) 评论(0) 推荐(0)

spark 存储管理机制

摘要：累加器 -- Accumulators 广播变量--Broadcast Variables 思考回顾存储管理模块架构--从架构上来看存储管理模块架构--通信层存储管理模块架构--存储层存储管理模块架构--数据块与分区的关系回顾-RDD控制操作持久化级别如何选择持久化级别缓存淘汰机制阅读全文

posted @ 2017-08-25 17:34 百里登峰阅读(262) 评论(0) 推荐(0)

ossim 4.1 安装

摘要：在这说明一下，本人也是第一次安装这东东很多我自己也不懂，只能把自己的安装步骤通过贴图呈现出来了！！！！我用root用户登录的，顺便查看ip 在浏览器打开网址https://192.168.86.156 下面的信息就像大家平常注册QQ一样填写就可以了阅读全文

posted @ 2017-08-24 23:30 百里登峰阅读(475) 评论(0) 推荐(0)

spark 应用程序部署工具 spark-submit

摘要：打包 Spark application 使用spark-submit启动Spark application spark-submit usage spark-submit option 运行模式相关 spark-submit options-常规 spark-submit options-clas 阅读全文

posted @ 2017-08-24 21:32 百里登峰阅读(337) 评论(0) 推荐(0)

Spark交互式工具spark-shell

摘要： REPL Spark REPL Spark shell 下面我们启动一下（我这里搭建的是3节点集群） sc.后面按TAB键可以把提示调出来查看hdfs上文件内容这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php 试下读下里面的数据这个可以求阅读全文

posted @ 2017-08-23 23:44 百里登峰阅读(437) 评论(0) 推荐(0)

百里登风

导航

公告