借助Maven搭建Hadoop開發(fā)環(huán)境的最詳細教程分享

更新時間：2023年05月22日 11:27:07 作者：orion-orion

在Maven插件的幫助下，VSCode寫Java其實非常方便，所以本文就來和大家詳細講講如何借助maven用VScode搭建Hadoop開發(fā)環(huán)境，需要的可以參考下

1.Java環(huán)境安裝

首先我們需要搭建好Java開發(fā)環(huán)境。我們需要從網(wǎng)站 https://www.oracle.com/java/technologies/downloads/ 下載指定版本的Java壓縮包或安裝包。壓縮包需要解壓到機器的指定目錄，安裝包直接傻瓜式安裝即可。我這里下載的是Java17的MacOS安裝包，運行后它默認給我安裝在了/Library/Java/JavaVirtualMachines/temurin-17.jdk/目錄下。

然后配置環(huán)境變量，Mac用戶在~/.zshrc中添加：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home

然后source ~/.zshrc即可（Linux用戶我沒記錯的話應該是~/.bashrc文件）。

可以運行java -version命令查看當前機器的Java版本。

(base) lonelyprince7@lonelyprince7deMacBook-Pro ~ % java -version
openjdk version "17" 2021-09-14
OpenJDK Runtime Environment Temurin-17+35 (build 17+35)
OpenJDK 64-Bit Server VM Temurin-17+35 (build 17+35, mixed mode)

然后讀者需要在VSCode中安裝以下Java插件：

其中需要注意，Maven for Java插件是用來構(gòu)建Java大型項目的（也就是說不只是使用JRE內(nèi)部的包，而且使用外包的JDK包。內(nèi)部的包用java命令編譯的時候就會自動幫我們導入，但外部的包要稍微復雜一些,最簡單的方式就是使用maven工具了）。

2.安裝Maven

如果你是Mac系統(tǒng)且安裝了homebrew，可以直接下列命令運行安裝

brew install maven

你也可以前往Maven官網(wǎng) https://maven.apache.org/download.cgi 下載并解壓到自定義目錄。

安裝完后記得配置環(huán)境變量：

export M2_HOME=/opt/homebrew/Cellar/maven/3.8.2/libexec
export PATH=${PATH}:${M2_HOME}/bin

此處/opt/homebrew/Cellar/maven/3.8.2/libexec是我的maven安裝位置，修改成你實際的自定義目錄即可。

然后source ~/.zshrc即可（同樣，Linux用戶應該是~/.bashrc文件）。

運行mvn -version可以查看maven版本。

(base) orion-orion@MacBook-Pro libexec % mvn -version
Apache Maven 3.8.2 (3599d3414f046de2324203b78ddcf9b5e4388aa0)
Maven home: /opt/homebrew/Cellar/maven/3.8.2/libexec
Java version: temurin-17, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home
Default locale: zh_CN_#Hans, platform encoding: UTF-8
OS name: "mac os x", version: "12.3.1", arch: "aarch64", family: "mac"

3.新建Maven項目

首先，用VSCode打開一個存放用于項目的目錄（在我電腦上是 "/Users/lonelyprince7/Documents/LocalCode/Hadoop-MapReduce" ），然后在右鍵菜單中選擇從Maven原型中創(chuàng)建新項目。

然后從下拉選單中選擇“maven-archetype-quickstart”。

然后隨便選擇一個版本即可。

然后再輸入組織的名稱（該名稱在將你的項目打包發(fā)布有用）。組織名稱一般命名為`com.×××`，這里我命名為`com.orion`。注意組織名稱只能由小寫字符和下?lián)Q線組成，不能包括大寫字符和空格之類的東西。

接下來輸入工程（archetype）的名稱，這里我們命名為"hello_world"即可。

然后我們的工程目錄就選擇 "/Users/lonelyprince7/Documents/LocalCode/Hadoop-MapReduce" 就行。

之后VSCode會提示是否跳轉(zhuǎn)到"hello_world"工程的目錄，選擇“是”，然后就退跳轉(zhuǎn)到該目錄。

進入該目錄后，我們會發(fā)現(xiàn)控制臺正在初始化Maven配置，有以下打印輸出:

其中，會跳出一些選項讓我們選擇，我們只需要全部按回車選擇默認值即可。

最后，我們看到項目"hello_world"成功創(chuàng)建，項目目錄如下：

4.進行測試

我們可以看到App.java已經(jīng)為我們生成，為如下內(nèi)容:

package com.orion;
/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        System.out.println( "Hello World!" );
    }
}

pom.xml只引入了最基本的junit依賴包，并配置了一些基本的Maven項目初始化的內(nèi)容：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.orion</groupId>
  <artifactId>hello_world</artifactId>
  <version>1.0-SNAPSHOT</version>
  <name>hello_world</name>
  <!-- FIXME change it to the project's website -->
  <url>http://www.example.com</url>
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
  </properties>
  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
  </dependencies>
  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
</project>

選中App.java文件按F5進行編譯并運行，看到控制臺成功打印Hello World!：

(base) lonelyprince7@lonelyprince7deMacBook-Pro hello_world % /usr/bin/env /Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home/bin/java -agentlib:jdwp=transport=dt_socket,server=n,suspend=y,address=localhost:50684 -XX:+ShowCodeDetailsInExceptionMessages -cp /Users/lonelyprince7/Documents/LocalCode/Hadoop-MapReduce/hello_world/target/classes com.orion.App
Hello World!

我們接下來試試用Maven導入Hadoop依賴。我們只需要在pom.xml依賴項就行。相關的依賴項的名稱和版本號我們可以在Maven倉庫的官網(wǎng) https://mvnrepository.com/ 進行查詢，比如我們可以查詢到Hadoop-common(3.3.1)版本的依賴項如下：

一般來說，Hadoop項目需要引入hadoop-common、hadoop-hdfs、hadoop-client、hadoop-yarn-api這幾個api，我們需要將下列標簽加入<dependencies> <dependencies/>之間，也即：

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <!-- 導入hadoop依賴環(huán)境 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-api</artifactId>
        <version>3.3.1</version>
    </dependency>
  </dependencies>

但是聰明的逆可能已經(jīng)注意到了，這樣版本號就完全屬于“硬編碼”了。后期我要修改hadoop的版本號，只能把上面的挨個修改，非常麻煩。好在我們在<properties></properties>標簽之間先集中定義好一些后面要使用的常量(比如版本號)，后面再使用${變量名}的形式來引用即可。如我們將hadoop的版本號hadoop.version追加到<properties></properties>標簽之間：

  <!-- 集中定義版本號 -->
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
    <hadoop.version>3.3.1</hadoop.version> <!--這里追加hadoop版本號-->
  </properties>

然后后面我們就可以使用${hadoop.version}來替代前面頻繁出現(xiàn)的3.3.1了。

最后給出我們完整的pom.xml文件:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.orion</groupId>
  <artifactId>hello_world</artifactId>
  <version>1.0-SNAPSHOT</version>
  <name>hello_world</name>
  <!-- FIXME change it to the project's website -->
  <url>http://www.example.com</url>
  <!-- 集中定義版本號 -->
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
    <hadoop.version>3.3.1</hadoop.version> <!--這里追加hadoop版本號-->
  </properties>
  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
 <!-- 導入hadoop依賴環(huán)境 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-api</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
  </dependencies>
  </dependencies>
  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>s
</project>

按ctrl/command+s保存，項目會對pom.xml重新解析，導入我們添加進入的包。

最后我們嘗試在App.java中導入hadoop相關的包：

package com.orion;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        System.out.println( "Hello World!" );
    }
}

按'F5'重新編譯運行，成功打印輸出Hello World!，說明我們的包導入成功。

(base) lonelyprince7@lonelyprince7deMacBook-Pro hello_world % /usr/bin/env /Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home/bin/java -agentlib:jdwp=transport=dt_socket,server=n,suspend=y,address=localhost:54181 --enable-preview -XX:+ShowCodeDetailsInExceptionMessages -cp "/Users/lonelyprince7/Library/Application Support/Code/User/workspaceStorage/fe34994f622cdbfbf60e8ed045c6bde3/redhat.java/jdt_ws/jdt.ls-java-project/bin" com.orion.App
Hello World!

注意，如果報錯org.apache.hadoop.fs.FileSystem cant be resolved這種錯誤，則需要先清空項目緩存，然后再重新編譯運行。

至此，我們已經(jīng)成功用VScode+Maven創(chuàng)建好一個Hadoop的開發(fā)環(huán)境。在Hadoop編程中，最基本的一種分布式編程范式即MapReduce編程。在后面我們會借由“WordCount”（詞頻統(tǒng)計）這個MapReduce編程的入門項來講解Hadoop中MapReduce編程的基本語法，敬請繼續(xù)關注。

到此這篇關于借助Maven搭建Hadoop開發(fā)環(huán)境的最詳細教程分享的文章就介紹到這了,更多相關Maven搭建Hadoop開發(fā)環(huán)境內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

Maven
Hadoop

將SpringBoot的Jar注冊成Windows服務的實現(xiàn)方法
當前項目有個地圖編輯器,后端用的是SpringBoot框架,外網(wǎng)剛好有一臺空閑的Windows服務器就直接拿來用了,將Java程序部署成Windows服務可以用WinSW (Windows Service Wrapper)來實現(xiàn),文中有詳細的操作步驟,需要的朋友可以參考下
2023-11-11
SpringBoot實現(xiàn)重試機制的四種方案
在分布式系統(tǒng)和微服務架構(gòu)中,服務調(diào)用失敗是不可避免的現(xiàn)象,網(wǎng)絡不穩(wěn)定、服務過載、臨時故障等因素都可能導致調(diào)用失敗,重試機制作為一種處理臨時性故障的解決方案,能夠有效提高系統(tǒng)的可用性,需要的朋友可以參考下
2025-04-04
java thread start()和run()方法簡析
本文以java中thread的start()和run()的區(qū)別做詳細介紹，需要了解跟多的朋友可以參考下
2012-11-11
Spring-Boot 訪問外部接口的方案總結(jié)
在Spring-Boot項目開發(fā)中，存在著本模塊的代碼需要訪問外面模塊接口，或外部url鏈接的需求，針對這一需求目前存在著三種解決方案，下面將對這三種方案進行整理和說明，對Spring-Boot 訪問外部接口方案感興趣的朋友跟隨小編一起看看吧
2022-12-12
有關Java常見的誤解小結(jié)(來看一看)
下面小編就為大家?guī)硪黄嘘PJava常見的誤解小結(jié)(來看一看)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-05-05
SpringMVC之@InitBinder注解詳解
這篇文章主要介紹了SpringMVC之@InitBinder注解詳解,springmvc并不是能對所有類型的參數(shù)進行綁定的,如果對日期Date類型參數(shù)進行綁定,就會報錯IllegalStateException錯誤,需要的朋友可以參考下
2024-01-01
Spring?IOC中對象的創(chuàng)建、策略及銷毀時機和生命周期詳解
這篇文章主要介紹了Spring?IOC中對象的創(chuàng)建、策略及銷毀時機和生命周期詳解，Spring默認使用類的空參構(gòu)造方法創(chuàng)建bean，假如類沒有空參構(gòu)造方法，將無法完成bean的創(chuàng)建,需要的朋友可以參考下
2023-08-08
使用Java對數(shù)據(jù)庫進行基本的查詢和更新操作
這篇文章主要介紹了使用Java對數(shù)據(jù)庫進行基本的查詢和更新操作,是Java入門學習中的基礎知識,需要的朋友可以參考下
2015-10-10
Springboot內(nèi)嵌SQLite配置使用詳解
這篇文章主要介紹了Springboot內(nèi)嵌SQLite配置使用詳解,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2023-08-08
hdfs集成springboot使用方法
這篇文章主要介紹了hdfs集成springboot使用,配置Configuration信息分為兩種方式,每種方式給大家介紹的非常詳細,需要的朋友可以參考下
2024-03-03