maven+scala+idea 环境构建

组建信息
组件 版本 下载地址
maven 3.6.1 https://maven.apache.org/
jdk jdk1.8.0 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Scala 2.11.7 https://www.scala-lang.org/download/all.html
IDEA 最新版本 http://www.jetbrains.com/idea/

idea+java+scala安装配置

idea+java+scala安装配置参考另一篇博文:Spark开发环境搭建(IDEA、Scala、SVN、SBT)


maven安装配置

进入官网首页

官网首页.png


切换下载源

切换下载源.png


选择下载文件

选择下载文件.png


解压文件(结构如下)

解压文件.png


配置环境变量(默认你会了,不会就参考jdk配置)

配置环境变量.png


验证 maven 安装配置

验证 maven 安装配置.png


配置中央仓库(C:\Tool\maven3.6.1\conf\settings.xml)

加入如下内容

<!--如果不了解mirrorOf的含义 建议在这里只配置一个阿里云,其他的仓库再pom.xml中配置-->
<mirrors>
    <!-- nexus-aliyun 首选,放第一位,有不能下载的包,再去做其他镜像的选择  -->
    <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>
</mirrors>

比如我大多数的jar 来自阿里云,
但是我用的 spark是cdh或者hdp的,在阿里云里面找不到,
那么我配置我可以在pom.xml文件中添加相关仓库信息

<!--hdp仓库-->
    <repositories>
        <repository>
            <id>hortonworks</id>
            <url>https://repo.hortonworks.com/content/repositories/releases/</url>
        </repository>
    </repositories> 

配置本地仓库

目的:默认的仓库在C:\Users\Administrator\.m2
随着项目的变更,需要的jar可能越来越多,
如果存在系统盘会消耗大量的空间,所以可以把仓库迁移到非系统盘。

  1. 默认系统盘
    默认系统盘.png

  2. 修改配置文件(C:\Tool\maven3.6.1\conf\settings.xml)
    添加如下内容

<!--因为我只有一个ssd,且只有一个盘,所以还放在C盘,各位自己随意-->
<localRepository>C:/Tool/maven3.6.1/repository</localRepository>
  1. 移动配置文件
    C:\Tool\maven3.6.1\conf\settings.xml移动到C:\Users\Administrator\.m2中(必须保证两边的文件内容一样)
    同时删除C:\Users\Administrator\.m2下的repository文件夹
    移动配置文件.png

(这一步可以不做,在idea创建项目的时候 可以指定配置文件的路径)


配置idea
  1. 新建一个maven项目
    image.png

image.png

image.png

image.png


  1. 配置jdk
    配置jdk .png

  1. 配置sdk
    image.png
    (根据实际选择)
    选择sdk.png

image.png


  1. 添加scla结构
    在main文件夹中建立一个名为 scala 的文件夹
    建立 scala 文件夹  .png

右键点击 scala 文件夹,
选择 Make Directory as
然后选择Sources Root
(将 scala 文件夹标记为一个源文件的根目录,然后在其内的所有代码中的 package ,其路径就从此根目录下开始算起。)
标记.png


  1. 在scala建立scala文件
    建立scala文件.png

配置pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>TestMaven</groupId>
    <artifactId>cn.lilcol</artifactId>
    <version>1.0-SNAPSHOT</version>

<!--aliyun外的仓库-->
    <repositories>
        <repository>
            <id>hortonworks</id>
            <url>https://repo.hortonworks.com/content/repositories/releases/</url>
        </repository>
    </repositories>

<!--具体依赖-->
    <dependencies>
        <!--spark-core_2.11:https://repo.hortonworks.com/content/repositories/releases/-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.2.3.1.0.0-78</version>
        </dependency>
        
        <!--spark-streaming_2.11:https://repo.hortonworks.com/content/repositories/releases/-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.3.2.3.1.0.0-78</version>
        </dependency>

        <!--spark-sql_2.11:https://repo.hortonworks.com/content/repositories/releases/-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.3.2.3.1.0.0-78</version>
        </dependency>
    </dependencies>


</project>

等待依赖添加完成查看本地仓库
  1. External Libraries下查看情况(相关依赖已经添加)
    External Libraries.png

  2. 查看本地仓库(依赖已经存放在本地仓库)
    本地仓库.png


至此环境配置完成
本文为原创文章,转载请注明出处!!!

posted @ 2019-08-13 14:42  lillcol  阅读(770)  评论(0编辑  收藏  举报