詳解使用docker搭建hadoop分布式集群
使用Docker搭建部署Hadoop分布式集群
在網(wǎng)上找了很長時間都沒有找到使用docker搭建hadoop分布式集群的文檔，沒辦法，只能自己寫一個了。
一：環(huán)境準備：
1：首先要有一個Centos7操作系統(tǒng)，可以在虛擬機中安裝。
2：在centos7中安裝docker，docker的版本為1.8.2
安裝步驟如下：
<1>安裝制定版本的docker
yum install -y docker-1.8.2-10.el7.centos
<2>安裝的時候可能會報錯，需要刪除這個依賴
rpm -e lvm2-7:2.02.105-14.el7.x86_64
啟動docker
service docker start
驗證安裝結(jié)果：
<3>啟動之后執(zhí)行docker info會看到下面有兩行警告信息
需要關(guān)閉防火墻并重啟系統(tǒng)
systemctl stop firewalld systemctl disable firewalld #注意：執(zhí)行完上面的命令之后需要重啟系統(tǒng) reboot -h(重啟系統(tǒng))
<4>運行容器可能會報錯
需要關(guān)閉selinux
解決方法：
1：setenforce 0(立刻生效，不需要重啟操作系統(tǒng))
2：修改/etc/selinux/config文件中的SELINUX=disabled ，然后重啟系統(tǒng)生效
建議兩個步驟都執(zhí)行，這樣可以確保系統(tǒng)重啟之后selinux也是關(guān)閉狀態(tài)
3：需要先構(gòu)建一個hadoop的基礎(chǔ)鏡像，使用dockerfile文件方式進行構(gòu)建。
先構(gòu)建一個具備ssh功能的鏡像，方便后期使用。（但是這樣對于容器的安全性會有影響）
注意：這個鏡像中的root用戶的密碼是root
Mkdir centos-ssh-root Cd centos-ssh-root Vi Dockerfile
# 選擇一個已有的os鏡像作為基礎(chǔ) FROM centos # 鏡像的作者 MAINTAINER crxy # 安裝openssh-server和sudo軟件包，并且將sshd的UsePAM參數(shù)設(shè)置成no RUN yum install -y openssh-server sudo RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config #安裝openssh-clients RUN yum install -y openssh-clients # 添加測試用戶root，密碼root，并且將此用戶添加到sudoers里 RUN echo "root:root" | chpasswd RUN echo "root ALL=(ALL) ALL" >> /etc/sudoers # 下面這兩句比較特殊，在centos6上必須要有，否則創(chuàng)建出來的容器sshd不能登錄 RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key # 啟動sshd服務(wù)并且暴露22端口 RUN mkdir /var/run/sshd EXPOSE 22 CMD ["/usr/sbin/sshd", "-D"]
構(gòu)建命令：
docker build -t=”crxy/centos-ssh-root” .
查詢剛才構(gòu)建成功的鏡像
4：基于這個鏡像再構(gòu)建一個帶有jdk的鏡像
注意：jdk使用的是1.7版本的
Mkdir centos-ssh-root-jdk Cd centos-ssh-root-jdk Cp ../jdk-7u75-Linux-x64.tar.gz . Vi Dockerfile
FROM crxy/centos-ssh-root ADD jdk-7u75-linux-x64.tar.gz /usr/local/ RUN mv /usr/local/jdk1.7.0_75 /usr/local/jdk1.7 ENV JAVA_HOME /usr/local/jdk1.7 ENV PATH $JAVA_HOME/bin:$PATH
構(gòu)建命令：
docker build -t=”crxy/centos-ssh-root-jdk” .
查詢構(gòu)建成功的鏡像
5：基于這個jdk鏡像再構(gòu)建一個帶有hadoop的鏡像
注意：hadoop使用的是2.4.1版本的。
Mkdir centos-ssh-root-jdk-hadoop Cd centos-ssh-root-jdk-hadoop Cp ../hadoop-2.4.1.tar.gz . Vi Dockerfile
FROM crxy/centos-ssh-root-jdk ADD hadoop-2.4.1.tar.gz /usr/local RUN mv /usr/local/hadoop-2.4.1 /usr/local/hadoop ENV HADOOP_HOME /usr/local/hadoop ENV PATH $HADOOP_HOME/bin:$PATH
構(gòu)建命令：
docker build -t=”crxy/centos-ssh-root-jdk-hadoop” .
查詢構(gòu)建成功的鏡像
二：搭建hadoop分布式集群
1：集群規(guī)劃
準備搭建一個具有三個節(jié)點的集群，一主兩從
主節(jié)點：hadoop0 ip：192.168.2.10
從節(jié)點1：hadoop1 ip：192.168.2.11
從節(jié)點2：hadoop2 ip：192.168.2.12
但是由于docker容器重新啟動之后ip會發(fā)生變化，所以需要我們給docker設(shè)置固定ip。使用pipework給docker容器設(shè)置固定ip
2：啟動三個容器，分別作為hadoop0 hadoop1 hadoop2
在宿主機上執(zhí)行下面命令，給容器設(shè)置主機名和容器的名稱，并且在hadoop0中對外開放端口50070 和8088
docker run --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 crxy/centos-ssh-root-jdk-hadoop docker run --name hadoop1 --hostname hadoop1 -d -P crxy/centos-ssh-root-jdk-hadoop docker run --name hadoop2 --hostname hadoop2 -d -P crxy/centos-ssh-root-jdk-hadoop
使用docker ps 查看剛才啟動的是三個容器
3：給這三臺容器設(shè)置固定IP
1：下載pipework 下載地址：https://github.com/jpetazzo/pipework.git
2：把下載的zip包上傳到宿主機服務(wù)器上，解壓,改名字
unzip pipework-master.zip mv pipework-master pipework cp -rp pipework/pipework /usr/local/bin/
3：安裝bridge-utils
yum -y install bridge-utils
4：創(chuàng)建網(wǎng)絡(luò)
brctl addbr br0 ip link set dev br0 up ip addr add 192.168.2.1/24 dev br0
5：給容器設(shè)置固定ip
pipework br0 hadoop0 192.168.2.10/24 pipework br0 hadoop1 192.168.2.11/24 pipework br0 hadoop2 192.168.2.12/24
驗證一下，分別ping三個ip，能ping通就說明沒問題
4：配置hadoop集群
先連接到hadoop0上， 使用命令
docker exec -it hadoop0 /bin/bash
下面的步驟就是hadoop集群的配置過程
1：設(shè)置主機名與ip的映射，修改三臺容器：vi /etc/hosts
添加下面配置
192.168.2.10 hadoop0 192.168.2.11 hadoop1 192.168.2.12 hadoop2
2：設(shè)置ssh免密碼登錄
在hadoop0上執(zhí)行下面操作
cd ~ mkdir .ssh cd .ssh ssh-keygen -t rsa(一直按回車即可) ssh-copy-id -i localhost ssh-copy-id -i hadoop0 ssh-copy-id -i hadoop1 ssh-copy-id -i hadoop2 在hadoop1上執(zhí)行下面操作 cd ~ cd .ssh ssh-keygen -t rsa(一直按回車即可) ssh-copy-id -i localhost ssh-copy-id -i hadoop1 在hadoop2上執(zhí)行下面操作 cd ~ cd .ssh ssh-keygen -t rsa(一直按回車即可) ssh-copy-id -i localhost ssh-copy-id -i hadoop2
3：在hadoop0上修改hadoop的配置文件
進入到/usr/local/hadoop/etc/hadoop目錄
修改目錄下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
(1)hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7
(2)core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
(3)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(4)yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
</configuration>
(5)修改文件名：mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(6)格式化
進入到/usr/local/hadoop目錄下
1、執(zhí)行格式化命令
bin/hdfs namenode -format
注意：在執(zhí)行的時候會報錯，是因為缺少which命令，安裝即可
執(zhí)行下面命令安裝
yum install -y which
看到下面命令說明格式化成功。
格式化操作不能重復(fù)執(zhí)行。如果一定要重復(fù)格式化，帶參數(shù)-force即可。
(7)啟動偽分布hadoop
命令：
sbin/start-all.sh
第一次啟動的過程中需要輸入yes確認一下。
使用jps，檢查進程是否正常啟動？能看到下面幾個進程表示偽分布啟動成功
[root@hadoop0 hadoop]# jps 3267 SecondaryNameNode 3003 NameNode 3664 Jps 3397 ResourceManager 3090 DataNode 3487 NodeManager
(8)停止偽分布hadoop
命令：
sbin/stop-all.sh
(9)指定nodemanager的地址，修改文件yarn-site.xml
<property> <description>The hostname of the RM.</description> <name>yarn.resourcemanager.hostname</name> <value>hadoop0</value> </property>
(10)修改hadoop0中hadoop的一個配置文件etc/hadoop/slaves
刪除原來的所有內(nèi)容，修改為如下
hadoop1 hadoop2
(11)在hadoop0中執(zhí)行命令
scp -rq /usr/local/hadoop hadoop1:/usr/local scp -rq /usr/local/hadoop hadoop2:/usr/local
(12)啟動hadoop分布式集群服務(wù)
執(zhí)行sbin/start-all.sh
注意：在執(zhí)行的時候會報錯，是因為兩個從節(jié)點缺少which命令，安裝即可
分別在兩個從節(jié)點執(zhí)行下面命令安裝
yum install -y which
再啟動集群(如果集群已啟動，需要先停止)
sbin/start-all.sh
(13)驗證集群是否正常
首先查看進程：
Hadoop0上需要有這幾個進程
[root@hadoop0 hadoop]# jps 4643 Jps 4073 NameNode 4216 SecondaryNameNode 4381 ResourceManager
Hadoop1上需要有這幾個進程
[root@hadoop1 hadoop]# jps 715 NodeManager 849 Jps 645 DataNode
Hadoop2上需要有這幾個進程
[root@hadoop2 hadoop]# jps 456 NodeManager 589 Jps 388 DataNode
使用程序驗證集群服務(wù)
創(chuàng)建一個本地文件
vi a.txt hello you hello me
上傳a.txt到hdfs上
hdfs dfs -put a.txt /
執(zhí)行wordcount程序
cd /usr/local/hadoop/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /a.txt /out
查看程序執(zhí)行結(jié)果
這樣就說明集群正常了。
通過瀏覽器訪問集群的服務(wù)
由于在啟動hadoop0這個容器的時候把50070和8088映射到宿主機的對應(yīng)端口上了
adb9eba7142b crxy/centos-ssh-root-jdk-hadoop "/usr/sbin/sshd -D" About an hour ago Up About an hour 0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:32770->22/tcp hadoop0
所以在這可以直接通過宿主機訪問容器中hadoop集群的服務(wù)
宿主機的ip為：192.168.1.144
http://192.168.1.144:50070/
http://192.168.1.144:8088/
三：集群節(jié)點重啟
停止三個容器，在宿主機上執(zhí)行下面命令
docker stop hadoop0 docker stop hadoop1 docker stop hadoop2
容器停止之后，之前設(shè)置的固定ip也會消失，重新再使用這幾個容器的時候還需要重新設(shè)置固定ip
先把之前停止的三個容器起來
docker start hadoop0 docker start hadoop1 docker start hadoop2
在宿主機上執(zhí)行下面命令重新給容器設(shè)置固定ip
pipework br0 hadoop0 192.168.2.10/24 pipework br0 hadoop1 192.168.2.11/24 pipework br0 hadoop2 192.168.2.12/24
還需要重新在容器中配置主機名和ip的映射關(guān)系，每次都手工寫比較麻煩
寫一個腳本，runhosts.sh
#!/bin/bash echo 192.168.2.10 hadoop0 >> /etc/hosts echo 192.168.2.11 hadoop1 >> /etc/hosts echo 192.168.2.12 hadoop2 >> /etc/hosts
添加執(zhí)行權(quán)限，
chmod +x runhosts.sh
把這個腳本拷貝到所有節(jié)點，并且分別執(zhí)行這個腳本
scp runhosts.sh hadoop1:~ scp runhosts.sh hadoop2:~
執(zhí)行腳本的命令
./runhosts.sh
查看/etc/hosts文件中是否添加成功
注意：有一些docker版本中不會在hosts文件中自動生成下面這些映射，所以我們才在這里手工給容器設(shè)置固定ip，并設(shè)置主機名和ip的映射關(guān)系。
172.17.0.25 hadoop0
172.17.0.25 hadoop0.bridge
172.17.0.26 hadoop1
172.17.0.26 hadoop1.bridge
172.17.0.27 hadoop2
172.17.0.27 hadoop2.bridge
啟動hadoop集群
sbin/start-all.sh
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
本文主要簡單介紹 docker 容器與前置進程的關(guān)系，以及如何編寫 Dockerfile/docker-compose.yml 優(yōu)雅的讓容器可以常駐運行。具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-01-01
這篇文章主要介紹了基于docker部署Jenkins，本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-07-07
使用tar包格式進行壓縮,方便在不同的docker主機之間進行遷移和備份,下面這篇文章主要給大家介紹了關(guān)于docker將鏡像打包為.tar包的實現(xiàn)方法,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了idea連接docker實現(xiàn)一鍵部署的方法，本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-10-10
如何使用Docker部署FTP和Nginx并通過HTTP訪問FTP里的文件
本文介紹了如何使用Docker部署FTP服務(wù)器和Nginx,并通過HTTP訪問FTP中的文件,通過將FTP數(shù)據(jù)目錄掛載到Nginx容器內(nèi),Nginx可以提供文件列表和下載功能,推薦使用Docker Compose來管理容器2025-03-03
這篇文章主要介紹了Docker 環(huán)境配置以及問題解決方案的相關(guān)資料,需要的朋友可以參考下2022-11-11
docker中的jenkins之流水線構(gòu)建項目步驟詳解
jenkins有2種流水線分為聲明式流水線與腳本化流水線，腳本化流水線是jenkins舊版本使用的流水線腳本，新版本Jenkins推薦使用聲明式流水線，本文給大家介紹docker中的jenkins之流水線構(gòu)建項目，感興趣的朋友一起看看吧2023-08-08
這篇文章主要為大家介紹了docker快速安裝使用kibana詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
這篇文章主要介紹了Docker-compose安裝的全過程，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03
這篇文章主要介紹了docker實現(xiàn)搭建emqx服務(wù)方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06