Hadoop - 啟動服務

2021-02-07 935 words 2 minutes

Contents

Hadoop 為 Apache 基金會的開源頂級專案，為軟體框架做為分散式儲存及運算，無論是增減加機器都能處理，另具備高可用性、數據副本等能力

機器基本訊息:

IP	FQDN	HOSTNAME	用途
192.168.1.30	test30.example.org	test30	Master 節點 (Namenode)
192.168.1.31	test31.example.org	test31	Master 節點 (ResourceManager)
192.168.1.32	test32.example.org	test32	Worker 節點
192.168.1.33	test33.example.org	test33	Worker 節點
192.168.1.34	test34.example.org	test34	Worker 節點

必須完成事項清單

上述步驟確認無誤再執行

可替代方案

本步驟使用 VMware Player 複製方式，如需自行建設五台機器
可選擇其它替代方案

1

sudo nano /etc/cloud/cloud.cfg

1

hostnamectl set-hostname <HOSTNAME> # HOSTNAME自行設定

1

sudo nano /etc/netplan/50-cloud-init.yaml

1

sudo netplan apply

1

reboot

8.( 上述步驟，有多少台機器就重複做幾次…)

1

hdfs namenode -format #只有Namenode那一台

1

start-dfs.sh #只有Namenode那一台

1

start-yarn.sh #只有Resourcemanager那一台

1
2


mapred --daemon start historyserver #只有History Server那一台
#mr-jobhistory-daemon.sh start historyserver (deprecated)

1

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 30 100

Info

會自動建立hadoop的目錄

Note

完成上述步驟，已經成功安裝並啟動 Hadoop，後續尚有進階操作可以選:

1
2
3
4
5
6
7
8


#NameNode啟動
start-dfs.sh

#ResourceManager啟動
start-yarn.sh

#Historyserver啟動
mapred --daemon start historyserver

1
2
3
4
5
6
7
8


#Historyserver停止
mapred --daemon stop historyserver

#ResourceManager停止
stop-yarn.sh

#NameNode停止
stop-dfs.sh

如果你還沒有註冊 Like Coin，你可以在文章最下方看到 Like 的按鈕，點下去後即可申請帳號，透過申請帳號後可以幫我的文章按下 Like，而 Like 最多可以點五次，而你不用付出任何一塊錢，就能給我寫這篇文章的最大的回饋！