12 2020 档案
摘要:hadoop_06 1.map端进行join 用户数据: 用户id 用户名,年龄,性别,朋友 u001,senge,18,male,angelababy u002,,58,male,ruhua ... 订单数据: 订单,用户id order001,u002 order001,u003 order00
阅读全文
摘要:hadoop05 setup cleanup setup(),此方法被MapReduce框架仅且执行一次,在执行Map任务前,进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中,导致Mapper任务在解析每一行输入时都会进行资源初始化工作,导致重复,程序运行效率不高! c
阅读全文
摘要:分布式集群时间同步 集群时间同步思路:找一台机器,做为时间服务器,所有的机器与这台集群时间进行定时同步,好比如每隔30分钟,同步一次。 操作步骤思路: 1.检测ntp是否安装 2.修改ntp配置文件 修改授权网段(授权192.168.1.0-192.168.1.255)网段上所有机器可以从这台机器上
阅读全文
摘要:.1.crontab定时任务调度 crontab[选项] -e 编辑crontab定时任务 -l 查询crontab任务 -r 删除当前用户所有定时任务 项 释义 范围 第一个 * 一小时当中第几分钟 0-59 第二个 * 一天当中第几个小时 0-23 第三个 * 一个月中的第几天 1-31 第四个
阅读全文