• <noscript id="e0iig"><kbd id="e0iig"></kbd></noscript>
  • <td id="e0iig"></td>
  • <option id="e0iig"></option>
  • <noscript id="e0iig"><source id="e0iig"></source></noscript>
  • 轉(hadoop2.6.3環境搭建)

    下載 解壓Hadoop2.6.3 tar文件

    下載鏈接:
    http://hadoop.apache.org/releases.html
    解壓文件,至當前文件夾:
    tar -xzvf hadoop-2.6.3.tar.gz 

     

    這里寫圖片描述

    新建自己的Hadoop目錄,移動文件至該目錄中

    新建hadoop目錄
    
    mkdir /usr/local/hadoop

    這里寫圖片描述

    移動解壓后的文件到自己新建的hadoop目錄當中
    
    mv hadoop-2.6.3 /usr/local/hadoop

     

    這里寫圖片描述

    查看hadoop目錄

     

     

    這里寫圖片描述

    熟悉hadoop目錄文件

    這里寫圖片描述

    這里寫圖片描述

    這里寫圖片描述

    這里寫圖片描述

    這里寫圖片描述

    這里寫圖片描述

    這里寫圖片描述

    配置Hadoop環境

    1 配置Hadoop環境變量

    首先設置Hadoop運行所需要的環境變量,我們編輯 .bashrc 文件,添加我們的環境變量. 
    然后我們重新導入~/.bashrc文件中的內容到shell中: 
    命令:source .bashrc

    export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.3   
    • 1
    • 1

    修改添加hadoop_home到 PATH 環境變量

    export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
    • 1
    • 1

    這里寫圖片描述

    使配置生效:source .bashrc

    驗證Hadoop命令:

    hadoop version
    • 1
    • 1

    這里寫圖片描述

    2 為Hadoop設置Java環境變量

    vim /usr/local/hadoop/hadoop-2.6.3/etc/hadoop/hadoop-env.sh
    • 1
    • 1

    這里寫圖片描述

    3 編輯配置Hadoop配置文件 
    hadoop-2.6.3的etc/hadoop目錄下面有許多配置文件:

    -rw-r--r-- 1 hjr hjr  4436 12月 18 09:52 capacity-scheduler.xml
    -rw-r--r-- 1 hjr hjr  1335 12月 18 09:52 configuration.xsl
    -rw-r--r-- 1 hjr hjr   318 12月 18 09:52 container-executor.cfg
    -rw-r--r-- 1 hjr hjr   774 12月 18 09:52 core-site.xml
    -rw-r--r-- 1 hjr hjr  3670 12月 18 09:52 hadoop-env.cmd
    -rw-r--r-- 1 hjr hjr  4238  1月 10 18:49 hadoop-env.sh
    -rw-r--r-- 1 hjr hjr  2598 12月 18 09:52 hadoop-metrics2.properties
    -rw-r--r-- 1 hjr hjr  2490 12月 18 09:52 hadoop-metrics.properties
    -rw-r--r-- 1 hjr hjr  9683 12月 18 09:52 hadoop-policy.xml
    -rw-r--r-- 1 hjr hjr   775 12月 18 09:52 hdfs-site.xml
    -rw-r--r-- 1 hjr hjr  1449 12月 18 09:52 httpfs-env.sh
    -rw-r--r-- 1 hjr hjr  1657 12月 18 09:52 httpfs-log4j.properties
    -rw-r--r-- 1 hjr hjr    21 12月 18 09:52 httpfs-signature.secret
    -rw-r--r-- 1 hjr hjr   620 12月 18 09:52 httpfs-site.xml
    -rw-r--r-- 1 hjr hjr  3523 12月 18 09:52 kms-acls.xml
    -rw-r--r-- 1 hjr hjr  1325 12月 18 09:52 kms-env.sh
    -rw-r--r-- 1 hjr hjr  1631 12月 18 09:52 kms-log4j.properties
    -rw-r--r-- 1 hjr hjr  5511 12月 18 09:52 kms-site.xml
    -rw-r--r-- 1 hjr hjr 11291 12月 18 09:52 log4j.properties
    -rw-r--r-- 1 hjr hjr   938 12月 18 09:52 mapred-env.cmd
    -rw

    版權聲明:本文為weixin_30674525原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。
    本文鏈接:https://blog.csdn.net/weixin_30674525/article/details/97773010

    智能推薦

    Centos7環境搭建hadoop2.9.0集群全流程

      1.安裝環境配置 1.1 虛擬機安裝 本案例是在虛擬機平臺搭建hadoop,由于筆記本限制僅以2臺設備構建內部局域網環境下的集群。 虛擬機版本:VMwareWorkstation_10.04_Lite_CHS_V2 系統:CentOS-7-x86_64 安裝2臺虛擬機(本來準備裝3臺,但太卡了所以最后只保留了hserver1,hserver3) 1.2 虛擬機設置固定IP 虛擬機每次...

    虛擬機Hadoop-2.7.1環境搭建(CentOS-6.5)

    首先,需要安裝三個虛擬機,安裝CentOS-6.5-x86_64-bin-DVD1.bin(要用64位的) 192.168.0.6 master 192.168.0.7 slaver1 192.168.0.8 slaver2 三個虛擬機盡量分開安裝,先分配較多的資源,這樣節省安裝時間,電腦配置高的,你懂得,這都不是事兒 接下來,配置ssh服務,按照文章中的順序來操作 master: slaver1...

    Kylin3.10 Hadoop 3.0 + HBase 2.0環境使用搭建

    Kylin3.10 Hadoop 3.1 + HBase 2.0環境使用搭建 Kylin3.10 Hadoop 3.0 + HBase 2.0環境使用搭建 一、 Kylin的優點與缺點 1.優點 2.缺點 二、安裝與搭建 1.下載kylin 2.解壓 3.配置相關環境變量 4.配置hadoop的mapred-site.xml 5.啟動相關工具 6.最后cd到kylin目錄啟動kylin 7.訪問w...

    大數據實戰 Linux Uduntu 20.04.1 server Hadoop2.8.5環境搭建

    1.前期工作 詳細點擊這里,了解更多 2.時間同步 思路:讓主節點連接外網的時間,從節點僅僅連接主節點的時間,達到3臺機時間一樣的目的 2.1 主節點時間同步 2.1.1 安裝軟件包 apt-get install chrony -y 2.1.2 編輯/chrony.conf vi /etc/chrony/chrony.conf 添加 local stratum 10 allow 172.25.0...

    Vue2.0環境搭建

    2019獨角獸企業重金招聘Python工程師標準>>> 1、因為要用到nmp包管理工具,所以要先安裝node環境(node里有nmp包),安裝包下載地址https://nodejs.org/en/download/。 2、安裝淘寶鏡像(因為下載管理工具如果直接從國外服務器,速度很慢的,裝上淘寶鏡像就會很快)。語句:  3、安裝webpack,語句:cnpm instal...

    猜你喜歡

    ESP8266環境搭建

    此教程在Ubuntu環境下實現 交叉工具編譯鏈搭建,源碼地址https://github.com/pfalcon/esp-open-sdk 交叉工具編譯工具鏈 1.下載源碼后,在工程根目錄打開終端,然后輸入 編譯成功后,在目錄下會出現工具鏈 2.打開根目錄下.bashrc文件,在文件最后一行加上 export PATH="$PATH:$HOME/xxx/xtensa-lx106-elf/...

    HTML中常用操作關于:頁面跳轉,空格

    1.頁面跳轉 2.空格的代替符...

    freemarker + ItextRender 根據模板生成PDF文件

    1. 制作模板 2. 獲取模板,并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意,都是關于獲取文件路徑的問題,由于項目部署的時候是打包成jar包形式,所以在開發過程中時直接安照傳統的獲取方法沒有一點文件,但是當打包后部署,總是出錯。于是參考網上文章,先將文件讀出來到項目的臨時目錄下,然后再按正常方式加載該臨時文件; 還有一個問題至今沒有解決,就是關于生成PDF文件...

    電腦空間不夠了?教你一個小秒招快速清理 Docker 占用的磁盤空間!

    Docker 很占用空間,每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時,我們的磁盤空間會被大量占用。 如果你也被這個問題所困擾,咱們就一起看一下 Docker 是如何使用磁盤空間的,以及如何回收。 docker 占用的空間可以通過下面的命令查看: TYPE 列出了docker 使用磁盤的 4 種類型: Images:所有鏡像占用的空間,包括拉取下來的鏡像,和本地構建的。 Con...

    requests實現全自動PPT模板

    http://www.1ppt.com/moban/ 可以免費的下載PPT模板,當然如果要人工一個個下,還是挺麻煩的,我們可以利用requests輕松下載 訪問這個主頁,我們可以看到下面的樣式 點每一個PPT模板的圖片,我們可以進入到詳細的信息頁面,翻到下面,我們可以看到對應的下載地址 點擊這個下載的按鈕,我們便可以下載對應的PPT壓縮包 那我們就開始做吧 首先,查看網頁的源代碼,我們可以看到每一...

    精品国产乱码久久久久久蜜桃不卡