百里登峰 - 博客园

spark 存储管理机制

摘要：累加器 -- Accumulators 广播变量--Broadcast Variables 思考回顾存储管理模块架构--从架构上来看存储管理模块架构--通信层存储管理模块架构--存储层存储管理模块架构--数据块与分区的关系回顾-RDD控制操作持久化级别如何选择持久化级别缓存淘汰机制阅读全文

posted @ 2017-08-25 17:34 百里登峰阅读(254) 评论(0) 推荐(0) 编辑

ossim 4.1 安装

摘要：在这说明一下，本人也是第一次安装这东东很多我自己也不懂，只能把自己的安装步骤通过贴图呈现出来了！！！！我用root用户登录的，顺便查看ip 在浏览器打开网址https://192.168.86.156 下面的信息就像大家平常注册QQ一样填写就可以了阅读全文

posted @ 2017-08-24 23:30 百里登峰阅读(415) 评论(0) 推荐(0) 编辑

spark 应用程序部署工具 spark-submit

摘要：打包 Spark application 使用spark-submit启动Spark application spark-submit usage spark-submit option 运行模式相关 spark-submit options-常规 spark-submit options-clas 阅读全文

posted @ 2017-08-24 21:32 百里登峰阅读(307) 评论(0) 推荐(0) 编辑

Spark交互式工具spark-shell

摘要： REPL Spark REPL Spark shell 下面我们启动一下（我这里搭建的是3节点集群） sc.后面按TAB键可以把提示调出来查看hdfs上文件内容这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php 试下读下里面的数据这个可以求阅读全文

posted @ 2017-08-23 23:44 百里登峰阅读(419) 评论(0) 推荐(0) 编辑

HFDS核心技术

摘要： HDFS 设计的前提与目标 HDFS体系结构1 HDFS体系结构2 HDFS特性与优点高容错性保障机制 HDFS不适合的场景 HDFS2.0的新特征 HA-QJM Federation 快照异构层级存储结构 HDFS数据压缩与IO 瓶颈一般在磁盘上影响磁盘速度的主要因素速度压缩的目的压缩解阅读全文

posted @ 2017-08-23 17:29 百里登峰阅读(942) 评论(0) 推荐(0) 编辑

Phoenix 安装完的几个简单使用

摘要： Phoenix 安装完之后的一些简单使用：本屌丝的运行环境是3节点集群,先启动hadoop,每个节点分别启动zookeeper,启动hbase(具体怎么启动这里就不多说了) 进入 phoenix的bin目录（我这里做了个软链接）现在启动phoenix 在客户端执行!tables 命令，罗列所有表阅读全文

posted @ 2017-08-22 11:53 百里登峰阅读(1361) 评论(0) 推荐(0) 编辑

安装phoenix时，执行命令./sqlline.py hostname1,hostname2.hostname3..... 时报错 ImportError: No module named argparse

摘要：问题描述：怎么解决呢：网上看了好多方法，但是本屌丝表示看不懂啊，没理解人家的博客的博大精深，好吧我们回到正题！！先切换到root用户下安装这个东西 yum install python-argparse 可以看到安装成功了！！！再次执行命令 bin/sqlline.py master(bin 阅读全文

posted @ 2017-08-21 23:25 百里登峰阅读(1447) 评论(0) 推荐(0) 编辑

Spark on Yarn

摘要： YARN是什么 YARN在hadoop生态系统中的位置 YARN产生的背景 YARN的基本架构 ResourceManager NodeManager ApplicationMaster container Spark On Yarn 配置和部署编译时包含yarn 基本配置在没有配置的前提下试下阅读全文

posted @ 2017-08-20 22:18 百里登峰阅读(192) 评论(0) 推荐(0) 编辑

hadoop hdfs常用命令

摘要： hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlig 阅读全文

posted @ 2017-08-16 21:27 百里登峰阅读(269) 评论(0) 推荐(0) 编辑

Spark standalone运行模式

摘要： Spark Standalone 部署配置 Standalone架构手工启动一个Spark集群 https://spark.apache.org/docs/latest/spark-standalone.html 通过脚本启动集群编辑slaves,其实把worker所在节点添加进去配置spar 阅读全文

posted @ 2017-08-16 20:27 百里登峰阅读(930) 评论(0) 推荐(0) 编辑

百里登风

导航

公告