下載 解壓Hadoop2.6.3 tar文件
下載鏈接:
http://hadoop.apache.org/releases.html
解壓文件,至當前文件夾:
tar -xzvf hadoop-2.6.3.tar.gz
新建自己的Hadoop目錄,移動文件至該目錄中
新建hadoop目錄
mkdir /usr/local/hadoop
移動解壓后的文件到自己新建的hadoop目錄當中
mv hadoop-2.6.3 /usr/local/hadoop
查看hadoop目錄
熟悉hadoop目錄文件
配置Hadoop環境
1 配置Hadoop環境變量
首先設置Hadoop運行所需要的環境變量,我們編輯 .bashrc 文件,添加我們的環境變量.
然后我們重新導入~/.bashrc文件中的內容到shell中:
命令:source .bashrc
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.3
- 1
- 1
修改添加hadoop_home到 PATH 環境變量
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
- 1
- 1
使配置生效:source .bashrc
驗證Hadoop命令:
hadoop version
- 1
- 1
2 為Hadoop設置Java環境變量
vim /usr/local/hadoop/hadoop-2.6.3/etc/hadoop/hadoop-env.sh
- 1
- 1
3 編輯配置Hadoop配置文件
hadoop-2.6.3的etc/hadoop目錄下面有許多配置文件:
-rw-r--r-- 1 hjr hjr 4436 12月 18 09:52 capacity-scheduler.xml
-rw-r--r-- 1 hjr hjr 1335 12月 18 09:52 configuration.xsl
-rw-r--r-- 1 hjr hjr 318 12月 18 09:52 container-executor.cfg
-rw-r--r-- 1 hjr hjr 774 12月 18 09:52 core-site.xml
-rw-r--r-- 1 hjr hjr 3670 12月 18 09:52 hadoop-env.cmd
-rw-r--r-- 1 hjr hjr 4238 1月 10 18:49 hadoop-env.sh
-rw-r--r-- 1 hjr hjr 2598 12月 18 09:52 hadoop-metrics2.properties
-rw-r--r-- 1 hjr hjr 2490 12月 18 09:52 hadoop-metrics.properties
-rw-r--r-- 1 hjr hjr 9683 12月 18 09:52 hadoop-policy.xml
-rw-r--r-- 1 hjr hjr 775 12月 18 09:52 hdfs-site.xml
-rw-r--r-- 1 hjr hjr 1449 12月 18 09:52 httpfs-env.sh
-rw-r--r-- 1 hjr hjr 1657 12月 18 09:52 httpfs-log4j.properties
-rw-r--r-- 1 hjr hjr 21 12月 18 09:52 httpfs-signature.secret
-rw-r--r-- 1 hjr hjr 620 12月 18 09:52 httpfs-site.xml
-rw-r--r-- 1 hjr hjr 3523 12月 18 09:52 kms-acls.xml
-rw-r--r-- 1 hjr hjr 1325 12月 18 09:52 kms-env.sh
-rw-r--r-- 1 hjr hjr 1631 12月 18 09:52 kms-log4j.properties
-rw-r--r-- 1 hjr hjr 5511 12月 18 09:52 kms-site.xml
-rw-r--r-- 1 hjr hjr 11291 12月 18 09:52 log4j.properties
-rw-r--r-- 1 hjr hjr 938 12月 18 09:52 mapred-env.cmd