摘要： RDD的依赖关系 子RDD和它依赖的父RDD（s）的关系有两种不同的类型，窄依赖（narrow dependency）和宽依赖（wide dependency）。 窄依赖 指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 宽依赖 指的是多个子RDD的Partitio 阅读全文

摘要： 创建RDD的两种方法 1、由scala集合创建val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))2、由外部存储系统的数据创建val rdd2 = sc.textFile("hdfs://m1:9000/words.txt") RDD的算子Transfo 阅读全文

摘要： RDD（Resilient Distributed Dataset） 弹性分布式数据集是spark中最基本的数据抽象，它代表不可变的、可分区的、里面的数据可以进行并行计算的集合。RDD具有数据流模型的特点，自动容错，位置感知性调度和可伸缩性。RDD允许用户在查询数据时显示的将数据集缓存在内存中，后续 阅读全文

摘要： 1、上传2、解压 3、重命名 4、配置hadoop环境变量5、修改配置文件5.1、编辑hadoop-env.sh，修改JAVA_HOME 5.2、编辑core-site.xml修改如下 5.3、修改hdfs-site.xml，如下 5.4、修改mapred-site.xml，如下 5.4、修改yar 阅读全文

摘要： docker ssh连接报下面的错 Last login: Thu Apr 13 09:17:23 2017 from localhost Connection to 127.0.0.1 closed. 解决方法修改vi /etc/ssh/sshd_config，修改UsePAM no，重新启动即可 阅读全文

摘要： 数据模型 Row Key 与nosql数据库一样,row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式：1.通过单个row key访问2.通过row key的range（正则）3.全表扫描Row key行键 (Row key)可以是任意字符串(最大长度 是 64KB，实 阅读全文

摘要： 配置文件设置密码认证 修改redis.conf去掉#requirepass foobared前面的#，foobared就是密码，可以进行修改 redis命令设置密码认证config set requirepass my_redis 连接相关命令 quit: 断开连接auth：简单密码认证 持久化 s 阅读全文

摘要： redis简介 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且 阅读全文

摘要： public class ImageGenerator { private static final Color[] colors = new Color[] { new Color(129, 198, 132), new Color(149, 117, 204), new Color(255, 187, 68), new Color(41, 181, 245), new Color... 阅读全文

摘要： Azkaban MySQLAzkaban使用mysql存储很多状态，AzkabanWebServer和AzkabanExecutorServer都会使用mysql数据库 AzkabanWebServer使用mysql主要有一下用途： 1、Project Management - 管理项目和项目上传文 阅读全文