百里登风

导航

2017年8月23日

Spark交互式工具spark-shell

摘要： REPL Spark REPL Spark shell 下面我们启动一下（我这里搭建的是3节点集群） sc.后面按TAB键可以把提示调出来 查看hdfs上文件内容 这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php 试下读下里面的数据 这个可以求 阅读全文

posted @ 2017-08-23 23:44 百里登峰 阅读(419) 评论(0) 推荐(0) 编辑

HFDS核心技术

摘要： HDFS 设计的前提与目标 HDFS体系结构1 HDFS体系结构2 HDFS特性与优点 高容错性保障机制 HDFS不适合的场景 HDFS2.0的新特征 HA-QJM Federation 快照 异构层级存储结构 HDFS数据压缩与IO 瓶颈一般在磁盘上 影响磁盘速度的主要因素 速度压缩的目的 压缩解 阅读全文

posted @ 2017-08-23 17:29 百里登峰 阅读(942) 评论(0) 推荐(0) 编辑