流浪在伯纳乌

2017年6月3日

Scala实现Mapreduce程序4-----数据去重

摘要：数据去重，key只输出一次 scala实现：先groupByKey(),然后SortByKey(),然后输出keys 阅读全文

posted @ 2017-06-03 10:15 流浪在伯纳乌阅读(1066) 评论(0) 推荐(0) 编辑

Scala实现Mapreduce程序3----数据排序

摘要：输入n个数字，输出每一个数字以及其排名例如： 4 2 3 1 输出： 1 1 2 2 3 3 4 4 scala实现阅读全文

posted @ 2017-06-03 10:10 流浪在伯纳乌阅读(335) 评论(0) 推荐(0) 编辑

Scala实现Mapreduce程序2-----Top5

摘要：输入n个数，返回TOP5的数字 scala实现，以各个数字为key,""为空，按照key进行排序，取出前5个阅读全文

posted @ 2017-06-03 10:03 流浪在伯纳乌阅读(839) 评论(0) 推荐(0) 编辑

Scala实现Mapreduce程序1-----求平均数

摘要：输入：语文成绩： a 89 b 88 c 90 d 77 数学成绩: a 80 b 90 c 98 d 98 输出： a 84.5 b 89 c 94 d 87.5 Scala程序实现：按照名字分组，然后计算总成绩以及课程个数阅读全文

posted @ 2017-06-03 09:53 流浪在伯纳乌阅读(2516) 评论(0) 推荐(0) 编辑

2017年4月25日

scala学习--难点

摘要： 1 scala中的隐式转换，隐式参数与隐式类隐式参数：使用implicit关键字标志一个值，变量或者函数参数为隐含的。这是显示的增加参数下面使用隐式：标记规则：使用implicit修饰的，如什么时候用隐式转换？ 1 当方法中的参数类型与实际的类型不一致时隐式参数，函数可以直接得到。def 阅读全文

posted @ 2017-04-25 14:47 流浪在伯纳乌阅读(417) 评论(0) 推荐(0) 编辑

scala基础--01

摘要： scala语言很简洁，让人看起来很舒服的感觉，例如查看字符串中是否存在大写字符， val nameHasUpper=name.exist(_.isUpperCase)一句话就解决。例如wordcount val rdd=sc.textFile("").filter(_.split("\t")).m 阅读全文

posted @ 2017-04-25 10:20 流浪在伯纳乌阅读(156) 评论(0) 推荐(0) 编辑

2017年4月11日

平台调优方案

摘要：存在的问题： 1 启动hive后等待资源的时间 2 根据输入文件的大小，map task 的个数是变化的，reduce始终是30，如何优化map的个数，map个数与reduce个数之间的关系比例？ Map 执行到百分之多少的时候，reduce可以进行？有个参数比例设置？调整map和reduce 任阅读全文

posted @ 2017-04-11 21:12 流浪在伯纳乌阅读(213) 评论(0) 推荐(0) 编辑

2017年4月10日

beeline on spark 自动重启--脚本

摘要： #! /bin/bash #iplist=(10.130.2.20) function monitorbdcmagic(){ source /etc/profile line=`sudo lsof -i :11000| grep *:irisa | wc -l` if [[ $line -eq 1 阅读全文

posted @ 2017-04-10 19:49 流浪在伯纳乌阅读(323) 评论(0) 推荐(0) 编辑

安装rundeck脚本

摘要： #!/bin/bash user=roothost=bdcv29#安装rundeck，使用root用户scp rundeck-launcher-2.6.9.jar $host:/home/$user; ssh -t -p 22 $host "sudo sucd /optmkdir /opt/rund 阅读全文

posted @ 2017-04-10 19:47 流浪在伯纳乌阅读(271) 评论(0) 推荐(0) 编辑

杀死所有的kitchen进程

摘要： #! /bin/bash #kill 所有kitchen 进程iplist=(10.130.2.245 ) function killkitchen(){ pid=`ps aux | grep kitchen.sh | awk '{ if ($11!=grep) {print $2;}}'| wc 阅读全文

posted @ 2017-04-10 19:46 流浪在伯纳乌阅读(429) 评论(0) 推荐(0) 编辑