牵牛花

2017年9月5日

摘要：本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Memory 的运行原理和机制引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的阅读全文

posted @ 2017-09-05 11:17 牵牛花阅读(214) 评论(0) 推荐(0) 编辑

spark1.6内存管理

摘要： Spark从1.6.0版本开始，内存管理模块就发生了改变，旧版本的内存管理模块是实现了StaticMemoryManager 类，现在被称为"legacy"。"Legacy"模式默认被置为不可用，这就意味着当你用Spark1.5.x和Spark1.6.x运行相同的代码会有不同的结果，应当多加注意。考阅读全文

posted @ 2017-09-05 11:11 牵牛花阅读(136) 评论(0) 推荐(0) 编辑

2017年9月4日

maprduce 中reduce数量

摘要：在hadoop 默认的是hashpartitioner,简单的例子是用hashcode除以numPartitions的数量,这样在数据均匀的前提下,数据可以被均匀的分到每个reduce中. 还有一种情况是不按照numPartitions而是根据业务来判断的,比如按照订单的类别,将同一类别的订单数据发阅读全文

posted @ 2017-09-04 16:39 牵牛花阅读(223) 评论(0) 推荐(0) 编辑

Mapreduce 进阶

摘要：场景描述订单需要封装成为一个bean 传入reduce,然后实现排序取出top1,或者分组求和首先要实现排序就要实现comparable接口要实现分组top1,那么"相同的bean"要到同一个reduce中去,要实现自定义partitioner 到了同一个分区之后 "相同的bean"要redu 阅读全文

posted @ 2017-09-04 15:36 牵牛花阅读(163) 评论(0) 推荐(0) 编辑

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io .nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V

摘要：首先,遇到这个问题的一个原因是windows环境中没有配置hadoophome.配置之后加入winutils工具第二个原因,pom中执行的hadoop的版本与window环境中的hadoop的版本不一致阅读全文

posted @ 2017-09-04 13:20 牵牛花阅读(1585) 评论(0) 推荐(0) 编辑

2017年9月3日

hive INSERT OVERWRITE table could not be cleaned up.

摘要： create table maats.account_channel ROW FORMAT DELIMITED FIELDS TERMINATED BY '^' STORED AS TEXTFILE as select distinct a.account,b.channel from maats. 阅读全文

posted @ 2017-09-03 20:32 牵牛花阅读(2155) 评论(0) 推荐(0) 编辑

flume 多chanel配置

摘要： #配置文 a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 c2 #Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.bind = slave3 a1.sources.r1.port = 50001 a1.sources.r1.hos... 阅读全文

posted @ 2017-09-03 12:23 牵牛花阅读(382) 评论(0) 推荐(0) 编辑

java jar包与配置文件的写法

摘要：一个普通的java project，里面引用了config.properties配置文件，将项目打成Runnable jar，然后将config.properties放到打包后的jar路径下，执行该jar包，出错，原工程中properties文件读取代码如下：上网搜了下class.getResou 阅读全文

posted @ 2017-09-03 11:01 牵牛花阅读(3796) 评论(0) 推荐(0) 编辑

CDH 修改配置注意事项

摘要： cdh 在使用时如果修改了配置文件,需要重启过时服务,而不是重启,重启过时服务才会修改配置文件阅读全文

posted @ 2017-09-03 09:07 牵牛花阅读(991) 评论(0) 推荐(0) 编辑

2017年9月2日

Scala 闭包

摘要： Scala 闭包闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。如下面这段匿名的函数： val multiplier = (i:Int) => i * 10 函数体内有一个变量 i，它作为函数的一个参数。如下面阅读全文

posted @ 2017-09-02 06:37 牵牛花阅读(172) 评论(0) 推荐(0) 编辑

公告