HowHow
Categories Home Tags About RedHat-Certified
HowHow

Contents

Hadoop - 基礎架設步驟

 included in Hadoop
   677 words   2 minutes 

Hadoop 為 Apache 基金會的開源頂級專案，為軟體框架做為分散式儲存及運算，無論是增減加機器都能處理，另具備高可用性、數據副本等能力

機器基本訊息:

  1. 準備五台機器 （兩台主節點、三台工作節點)
IP FQDN HOSTNAME 用途
192.168.1.30 test30.example.org test30 Master 節點 (Namenode)
192.168.1.31 test31.example.org test31 Master 節點 (ResourceManager)
192.168.1.32 test32.example.org test32 Worker 節點
192.168.1.33 test33.example.org test33 Worker 節點
192.168.1.34 test34.example.org test34 Worker 節點

  1. OS : Ubuntu 18.04

  2. 資源配置 :

    • Cpu : 4 core
    • Ram : 8 G
    • Disk : 50 G
Tip

如沒有那麼多資源可以使用，偽分布方式建置

建置方式請參考Hadoop - 偽分布式安裝步驟

建置步驟 - 基礎系統初始化：

1. 停用IPv6(管理者身份)

  1. 檢查一下網路跟監聽的狀態(切換管理者)
1
2

ip addr show
lsof -nPi

https://i.imgur.com/mB24bEw.png

  1. 修改開機設定檔
1

nano /etc/default/grub

https://i.imgur.com/Ruf4tH9.png

  1. 更新開機設定檔
1

update-grub # update-grub2

https://i.imgur.com/J9Nd9Wr.png

  1. 重新開機
1

reboot
  1. 檢查一下IPv6是否已經停用了
1
2

ip addr show
lsof -nPi

2. 安裝pip(管理者身份) <– 如不使用 Jupyter 可跳過此步驟

  1. 安裝python開發工具箱
1
2

sudo apt update
sudo apt install python3-dev
  1. 安裝pip
1
2
3

#取得最新版pip腳本
wget https://bootstrap.pypa.io/get-pip.py
python3 get-pip.py

3. 建立hadoop帳號(管理者身份)

1.hadoop帳號

1

sudo adduser hadoop
  1. 檢查是否已經創立
1
2
3
4

grep 'hadoop' /etc/passwd
grep 'hadoop' /etc/group
grep 'hadoop' /etc/shadow
ls -l /home

https://i.imgur.com/NrHWEY3.png

4. 安裝OpenJDK8(管理者身份)

  1. 更新倉庫清單
1

apt update
  1. 安裝openjdk
1

apt install openjdk-8-jdk
  1. 確認jdk及jre版本
1
2

java -version
javac -version

https://i.imgur.com/G0RMOdB.png

  1. 建立openjdk環境變數腳本
1

nano /etc/profile.d/jdk.sh
  1. 編輯openjdk環境變數
1

export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'

https://i.imgur.com/NRulRia.png

  1. 重新載入設定檔，並檢查設定是否正確
1

source /etc/profile.d/jdk.sh  # . /etc/profile.d/jdk.sh

https://i.imgur.com/3jtuRKc.png

5. 建立無密碼login(Hadoop身份)

  1. 切換hadoop帳號
1

su - hadoop
  1. 打造ssh公鑰及私鑰
1

ssh-keygen -t rsa

https://i.imgur.com/HHdLYDn.png

https://i.imgur.com/BRa0XU2.png

  1. 將打造好的公鑰複製一份給hadoop
1

ssh-copy-id hadoop@localhost

https://i.imgur.com/qJ5gDVs.png

  1. 測試一下無密碼登入(不用輸入密碼代表成功了)
1

ssh hadoop@localhost

6. 建立Linux hotsts名單(管理者身份)

1

nano /etc/hosts

https://i.imgur.com/yunaC1S.png

Success
如上述步驟都完成，可以下一步驟Hadoop - 安裝及設定


如果你還沒有註冊 Like Coin，你可以在文章最下方看到 Like 的按鈕，點下去後即可申請帳號，透過申請帳號後可以幫我的文章按下 Like，而 Like 最多可以點五次，而你不用付出任何一塊錢，就能給我寫這篇文章的最大的回饋！
Updated on 2021-02-05
 Hadoop
Back | Home