Hadoop目錄結構

準備工作：

1、安裝Linux、關閉防火墻、配置主機名、安裝JDK
2、解壓 tar -zxvf 包名
3、設置環境變量：

vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-3.1.2
export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
	
#注意：偽分布模式和全分布模式，需要設置以下環境變量（運行的用戶）：
export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

生效環境變量：

source ~/.bash_profile

安裝模式：

一、本地安裝

注意：本地安裝沒有HDFS、也沒有Yarn只能測試MapReduce程序（本質：就是一個Java程序）
只需要配置hadoop-env.sh Java 環境就行

export JAVA_HOME=/root/training/jdk1.8.0_181

WordCount例子在hadoop-3.1.2/share/hadoop/mapreduce目錄下
例如執行Wordcount程序：

hadoop jar hadoop-mapreduce-examples-3.1.2.jar wordcount /temp/input/ /temp/output/wc

二、偽分布安裝

特點：在單機上，模擬一個分布式的環境，具備Hadoop的所有的功能
HDFS：NameNode主節點、 DataNode從節點、SecondaryNameNode
Yarn：ResourceManager主節點、NodeManager從節點

(1)、配置HDFS

1、在Hadoop-env.sh 配置Java_home 的目錄

修改成下面的路徑，在第25行

export JAVA_HOME=/usr/local/java/jdk1.8.0_251

2、配置hdfs-site.xml 文件

<!-- 配置數據塊的冗余度,默認值為3 --> 
<!-- 冗余度和數據節點個數保持一致，不超過3 --> 
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<!--是否開啟hdfs權限檢查 --> 
<!--默認是true,要想啟動成功，必須配置ssh免密登錄，可以改成false，-->
<!--使用密碼進行登錄 --> 
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

3、配置core-site.xml 文件

<!--配置hdfs的主節點的地址，就是NameNode的地址 --> 
<!--9000是RPC通信端口 --> 
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.92.130:9000</value>
</property>

<!--hdfs的數據塊和元信息保存在Linux系統的位置 --> 
<!--默認是Linux的tmp目錄，需要修改 --> 
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop-2.7.7/temp</value>
</property>

(2)、配置Yarn

1、配置mapred-site.xml

<!--MR程序運行的容器或者框架 --> 
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

<property>
	<name>yarn.app.mapreduce.am.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>				
			
<property>
	<name>mapreduce.map.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>				
			
<property>
	<name>mapreduce.reduce.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>				
			

2、yarn-site.xml 文件

<!--yarn的主節點--> 
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>192.168.92.130</value>
</property>

<!--NodeManager執行任務的方式是Shuffle洗牌--> 
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

(3)對NameNode進行格式化

需要在剛剛我們創建的tmp（保存元信息/usr/local/hadoop-2.7.7/temp）目錄進行格式化
命令如下：

hdfs namenode -format
日志：
NFO common.Storage: Storage directory /usr/local/hadoop-2.7.7/temp/dfs/name has been successfully formatted.
表示格式化成功

（4）啟動

HDFS：start-dfs.sh
Yarn :start-yarn.sh
統一的：start-all.sh
統一停止：stop-all.sh
啟動之后要輸入四次yes和四次密碼
停止之后要輸入四次yes和四次密碼

表示環境配置成功！
web console訪問：hdfs端口：50070 、yarn端口：8088

要想不輸入密碼就能登錄，這時我們需要配置免密碼的登錄：
https://blog.csdn.net/qq_45335413/article/details/107810990

三、全分布

四、HA