07 2019 档案

摘要:yarn application -kill jobId 阅读全文
posted @ 2019-07-23 10:24 梦玄庭 阅读(1075) 评论(0) 推荐(0)
摘要:一、上文的补充 1、setup方法一般是用来初始化和加载资源的,主要也是因为编写mr程序所使用jvm和跑mr所使用的jvm并不是同一个,它们之间数据也不能共享,所以需要在setup里进行load。 2、上文提到了可以自定义类型,当你需要使用这个自定义类型来做key时,你可以指定一个Comparato 阅读全文
posted @ 2019-07-19 14:51 梦玄庭 阅读(621) 评论(0) 推荐(0)
摘要:一、需求前提 小张同学从别处整来了一批日志,日志内容主要记录了每个用户在运营商中所使用过的手机号,如果没有则为空,数据大概是用户账号、电信手机号、联通手机号、移动手机号、铁通手机号、小灵通等等。当然还有一个关联关系静态文件,主要记录用户所在的省和地市,数据是用户账号,所在省,所在市。日志和静态文件都 阅读全文
posted @ 2019-07-18 18:24 梦玄庭 阅读(519) 评论(0) 推荐(0)
摘要:转载:https://blog.csdn.net/zhouyan8603/article/details/46976361 在hadoop环境下,我们经常会遇到执行一些脚本,然后却需要临时依赖一些jar包,比如在查看mahout运行结果的时候,如果用hadoop fs -text xxx就会遇到类似 阅读全文
posted @ 2019-07-17 10:33 梦玄庭 阅读(2288) 评论(0) 推荐(0)
摘要:查看任务报告:命令:yarn application -status application_1539198654522_1073695 |more查看mapreduce log日志:命令:yarn logs -applicationId application_1539198654522_1073 阅读全文
posted @ 2019-07-09 14:13 梦玄庭 阅读(2356) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示