02 2018 档案

MapReduce修改输出的文件名
摘要:MapReduce默认输出的文件名称格式如下:part-r-00000 自定义名称,比如editName,则输出的文件名称为:editName-r-0000,此方法没有彻底修改整个文件名,只修改了一部分 方法如下 重写TextOutPutFormat的setOutPutName方法,因为setOut 阅读全文

posted @ 2018-02-11 13:17 嘣嘣嚓 阅读(740) 评论(0) 推荐(0) 编辑

MapReduce分区的使用(Partition)
摘要:MapReduce中的分区默认是哈希分区,根据map输出key的哈希值做模运算,如下 如果我们需要根据业务需求来将map读入的数据按照某些特定条件写入不同的文件,那就需要自定义实现Partition,自定义规则 举个简单的例子,使用MapReduce做wordcount,但是需要根据单词的长度写入不 阅读全文

posted @ 2018-02-11 12:56 嘣嘣嚓 阅读(1031) 评论(0) 推荐(0) 编辑

使用JobControl控制MapReduce任务
摘要:代码结构 BeanWritable:往数据库读写使用的bean ControlJobTest:JobControl任务控制 DBInputFormatApp:将关系型数据库的数据导入HDFS,其中包含了Map、Reduce,内部静态类 DBOutputFormatApp:将HDFS的结构化数据导入关 阅读全文

posted @ 2018-02-09 22:10 嘣嘣嚓 阅读(285) 评论(0) 推荐(0) 编辑

Centos安装ntfs
摘要:ntfs优盘插在Linux上是无法直接使用的,需要安装ntfs插件才可使用 centos上安装ntfs-3g 下载ntfs-3g安装包,上传至需要安装的服务器并解压 cd 进入ntfs-3g目录,依次执行以下命令 此时已安装完毕,插入优盘,挂载使用 mount -t ntfs-3g /dev/sdb 阅读全文

posted @ 2018-02-08 11:22 嘣嘣嚓 阅读(522) 评论(0) 推荐(0) 编辑

使用MapReduce将HDFS数据导入Mysql
摘要:使用MapReduce将Mysql数据导入HDFS代码链接 将HDFS数据导入Mysql,代码示例 打成jar包,放在服务器上,执行hadoop jar命令 任务结束后mysql表中即可发现数据已经有了。 阅读全文

posted @ 2018-02-08 08:44 嘣嘣嚓 阅读(562) 评论(0) 推荐(0) 编辑

使用MapReduce将mysql数据导入HDFS
摘要:在mysql新建一张表 people 写入几条测试数据。 将mapreduce作业打成jar包,上传到Hadoop集群服务器,执行。 因为代码中已经指定了写入HDFS的路径,所以此处不需要传参,只需指定job所在类即可。 在运行中如果提示mysql驱动找不到,如下 解决办法: 将mysql jdbc 阅读全文

posted @ 2018-02-07 07:33 嘣嘣嚓 阅读(404) 评论(0) 推荐(0) 编辑

Linux离线同步时间
摘要:Linux离线同步时间 思路:以其中一台时间为准 脚本 注意脚本中的 `符号 开启定时任务,每天的五点十分执行 crotab -e 10 5 * * * SameTime.sh 10:分 5:时 第一个* :日 第二个*:月 第三个*:周 阅读全文

posted @ 2018-02-01 22:07 嘣嘣嚓 阅读(509) 评论(0) 推荐(0) 编辑

Linux配置免密登录
摘要:多台服务器配置免密登陆 假设三台服务器192.168.1.111(node1)、192.168.1.112(node2)、192.168.1.113(node3) 比如hadoop用户下 groupadd hadoop 新建hadoop用户组 useradd -g hadoop hadoop had 阅读全文

posted @ 2018-02-01 21:44 嘣嘣嚓 阅读(406) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示