使用mvn构建mapreduce程序

使用mvn构建mapreduce程序

构建项目

mvn archetype:generate -DgroupId=Mapreduce -DartifactId=myapp -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

动创建src/main/resources(存放log4j.properties等)

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.hadoop</groupId>
    <artifactId>data</artifactId>
    <version>1.0-SNAPSHOT</version>
    
    <properties>
    	 <maven.compiler.encoding>UTF-8</maven.compiler.encoding>
    </properties>



    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.2.1</version>
        </dependency>
    </dependencies>
    
    <build>
    <plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
             <source>1.7</source>
            <target>1.7</target>
            <encoding>UTF-8</encoding>
        </configuration>
    </plugin>
    </plugins>
   </build>

</project>

自动下载jar包

首先把所有jar包地址写入pom文件，找到项目有pom文件的那个目录，在这个目录打开命令行，输入

call mvn -f pom.xml dependency:copy-dependencies 

程序就会立即下载该Jar包到本地Maven仓

编译-测试-打包-安装

mvn clean compile
mvn clean test
mvn clean package
mvn clean install

执行jar包

在服务端执行jar包

hadoop jar data.jar Mapreduce.wordcount
#data.jar 是jar包
#Mapreduce.wordcount  是程序的主函数

Maven创建项目的命令说明

　mvn archetype:create或者mvn archetype:generate　　固定写法

　　-DgroupId　　　　　　　　　　　　　　　　　　　　　　　组织标识（包名）

　　-DartifactId　　　　　　　　　　　　　　　　　　　　　　项目名称

　　-DarchetypeArtifactId　　 　　　　　　　　　　　　　　指定ArchetypeId，maven-archetype-quickstart，创建一个Java Project；maven-archetype-webapp，创建一个Web Project

　　-DinteractiveMode　　　　　　　　　　　　　　　　　　　　是否使用交互模式

　　archetype是mvn内置的一个插件，create任务可以创建一个java项目骨架，DgroupId是软件包的名称，DartifactId是项目名，DarchetypeArtifactId是可用的mvn项目骨架，目前可以使用的骨架有：

• maven-archetype-archetype
• maven-archetype-j2ee-simple
• maven-archetype-mojo
• maven-archetype-portlet
• maven-archetype-profiles (currently under development)
• maven-archetype-quickstart
• maven-archetype-simple (currently under development)
• maven-archetype-site
• maven-archetype-site-simple
• maven-archetype-webapp

　　每一个骨架都会建相应的目录结构和一些通用文件，最常用的是maven-archetype-quickstart和maven-archetype-webapp骨架。maven-archetype-quickstart骨架是用来创建一个Java Project，而maven-archetype-webapp骨架则是用来创建一个JavaWeb Project。