摘要：
stage的划分是以shuffle操作作为边界的,遇到一个宽依赖就分一个stage 一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。Stage的划分在RDD的论文中有详细的介绍，简单的说是以shuffle和result这两种类型来划分 阅读全文
posted @ 2018-08-02 11:11 打杂滴 阅读(945) 评论(0) 推荐(0) 编辑
2018年8月2日
2018年8月1日
摘要：
窄依赖：Narrow Dependency 父RDD和子RDD是一对一的依赖关系，如map，filter 宽依赖：Shuffle Dependency 本质就是shuffle。如reduceByKey，groupyByKey，父RDD一个分区数据给了子RDD的多个分区 存在shuffle就是宽依赖， 阅读全文
posted @ 2018-08-01 14:26 打杂滴 阅读(1493) 评论(0) 推荐(0) 编辑
2018年7月31日
摘要：
val NONE = new StorageLevel(false, false, false, false) val DISK_ONLY = new StorageLevel(true, false, false, false) val DISK_ONLY_2 = new StorageLevel 阅读全文
posted @ 2018-07-31 14:50 打杂滴 阅读(149) 评论(0) 推荐(0) 编辑
摘要：
cache只有一个默认的缓存级别MEMORY_ONLY ，而persist可以根据StorageLevel设置其它的缓存级别。 cache以及persist都不是action。 被重复使用的(但是)不能太大的RDD需要cache cache 只使用 memory，checkpoint写磁盘 rdd. 阅读全文
posted @ 2018-07-31 11:13 打杂滴 阅读(602) 评论(0) 推荐(0) 编辑
2018年7月30日
摘要：
grep命令用于查找文件里符合条件的字符串。 [root@host tmpdata]# grep 'shenzhen' *.txt hivelog.txt:tianyongtao 1 50 shenzhenhivelog.txt:wangwu 1 85 shenzhenhivelog.txt:zha 阅读全文
posted @ 2018-07-30 15:06 打杂滴 阅读(117) 评论(0) 推荐(0) 编辑
2018年7月19日
摘要：
GROUP_CONCAT() 函数的值等于属于一个组的指定列的所有值，以逗号隔开，并且以字符串表示 mysql> select sex,group_concat(level) from role group by sex;+ + +| sex | group_concat(level) |+ + + 阅读全文
posted @ 2018-07-19 16:53 打杂滴 阅读(114) 评论(0) 推荐(0) 编辑
摘要：
scala> import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.hive.HiveContext scala> val hcon=new HiveContext(sc)warning: there was 阅读全文
posted @ 2018-07-19 16:11 打杂滴 阅读(459) 评论(0) 推荐(0) 编辑
2018年7月17日
摘要：
在使用SecureCRT上传下载之前需要给服务器安装lrzsz： yum -y install lrzsz rz中的r意为received（接收），输入rz时、意为服务器接收文件，既将文件从本地上传到服务器。sz中的s意为send（发送），输入sz时、意为服务器要发送文件，既从服务器发送文件到本地， 阅读全文
posted @ 2018-07-17 14:22 打杂滴 阅读(167) 评论(0) 推荐(0) 编辑
2018年7月12日
摘要：
导出数据： mysql> select host,user from user where host<>'localhost' into outfile '/root/aa.txt';ERROR 1290 (HY000): The MySQL server is running with the - 阅读全文
posted @ 2018-07-12 10:12 打杂滴 阅读(128) 评论(0) 推荐(0) 编辑
2018年7月11日
摘要：
语法 [root@VM_92_135_centos ~]# redis-cli -h localhost -p 6179 -a password [root@VM_92_135_centos ~]# redis-cli -p 6179 -a password Redis Info 命令 以一种易于理 阅读全文
posted @ 2018-07-11 17:27 打杂滴 阅读(198) 评论(0) 推荐(0) 编辑