瞌睡中的葡萄虎

摘要： Hadoop与Hadoop生态系统的区别Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce；Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可... 阅读全文

摘要： 经过前面文章的SparkContext、DAGScheduler、TaskScheduler分析，再从总体上了解Spark Job的调度流程1、SparkContext将job的RDD DAG图提交给DAGScheduler；2、DAGScheduler将job分解成Stage DAG，将每个Sta... 阅读全文

摘要： TaskScheduler概述：TaskScheduler是一个可插拔任务调度接口，通过不同的SchedulerBackend进行任务的调度。主要功能如下：1、一个TaskScheduler只为一个SparkContext服务，接收DAGScheduler提交过来的一组组的TaskSet；2、Tas... 阅读全文

摘要： 1、文件系统本地性 第一次运行时数据不在内存中，需要从HDFS上取，任务最好运行在数据所在的节点上；2、内存本地性 第二次运行，数据已经在内存中，所有任务最好运行在该数据所在内存的节点上；3、LRU置换 如果数据只缓存在内存中而并没有缓存到磁盘上，此时数据被置换出内存，则从HDFS上读取； ... 阅读全文

摘要： 阅读全文

摘要： 1、构建Spark Application运行环境；在Driver Program中新建SparkContext（包含sparkcontext的程序称为Driver Program）；Spark Application运行的表现方式为：在集群上运行着一组独立的executor进程，这些进程由spar... 阅读全文

摘要： 案例取自streaming-app项目package com.asiainfo.ocdc.streaming.toolsimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.conf.Configurati... 阅读全文

摘要： 使用的ide是eclipsepackage com.luogankun.spark.baseimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContex... 阅读全文

摘要： export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/ocdc/app/spark-1.0.1-bin-2.0.0-cdh4.2.1/lib/mysql-connector-java-5.1.13.jar:/home/ocdc/app/hadoop-2.0.0-... 阅读全文

摘要： Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O... 阅读全文