摘要:
一、下载组件: slf4j:http://www.slf4j.org/download.html logback:http://logback.qos.ch/download.html Logback 分为三个模块:logback-core,logback-classic,logback-acce... 阅读全文
摘要:
需求:在使用Sqoop的时候需要从Linux服务器远程登录到Windows的MySql数据库,进行数据迁移时。1、使用命令登录mysql数据库 mysql -uroot -p1234562、mysql默认是不允许远程连接的,修改为可以使用远程连接 grantallon *.*to'root'@'... 阅读全文
摘要:
在CentOS中安装MySql报错error: Failed dependencies解决办法安装64位MySql报错内容如下:error: Failed dependencies: libaio.so.1()(64bit) is needed by MySQL-server-5.6.19-1.e... 阅读全文
摘要:
在h4节点上安装mysql安装mysql服务端rpm -ivh MySQL-server-5.6.19-1.el6.x86_64.rpm安装mysql客户端rpm -ivh MySQL-client-5.6.19-1.el6.x86_64.rpmMySql忘记密码忘记设置mysql时通过如下方法设置... 阅读全文
摘要:
1、使用命令方式 进入pom.xml文件所在的目录,使用命令将jar包导出到D盘lib文件夹中(没有-DoutputDirectory则默认导出到当前项目的target/dependency目录中)。 D:\workspace\jee-mars1-x64\crawler>mvn dependen... 阅读全文
摘要:
Map任务数量由InputSplit决定,InputSplit分片大小默认是HDFS块大小(hadoop1.x=64mb,hadoop2.x是128mb)。例如: MapReduce作业读取HDFS上(hadoop2.x)两个文件,一个是200MB,一个是100MB,这时候就有3个InputSpl... 阅读全文
摘要:
集群HA模式下的MapReduce代码设置 Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "zk1:2181,zk2:2181,zk3:2181");conf.set("hbas 阅读全文
摘要:
把输入文件切分成块、由块变成key和value到Mapper类map(k1, v1)的过程 控制输入文件切分、生成key和value传递到Mapper类的map()方法使用(InputFormat,它是一个抽象类,实现则由各个子类完成): 通常在每个MapReduce的Job中,都会调用jo... 阅读全文
摘要:
1、Mapper类,有setup()、map()、run()、cleanup()这4个方法,如下: setup():在run方法执行前首先被调用,且只调用1次,通常用于初始化。 map():需要重写的方法,此方法中实现业务逻辑。run方法会循环遍历,为每个key、value调用一次这个方法。 run... 阅读全文
摘要:
1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.DataInput; 4 import java.io.DataOutput; 5 import java.io.IOException; 6 import java... 阅读全文