• <noscript id="e0iig"><kbd id="e0iig"></kbd></noscript>
  • <td id="e0iig"></td>
  • <option id="e0iig"></option>
  • <noscript id="e0iig"><source id="e0iig"></source></noscript>
  • Hadoop2.10.0環境搭建(單機偽分布)

    標簽: hadoop

    Hadoop2.10.0環境搭建(單機偽分布)

    首先準備一臺裝有centos7的虛擬機,然后進行下載與安裝。

    1. 下載Hadoop與配置jdk
      我們首先從hadoop的 release頁面下載需要的版本,我選擇的是2.10.0版本,兩種文件,source是源代碼(想查看源代碼可以下載),binary是我們用來搭建環境的安裝文件。
      將文件解壓到你自己的目錄(我存放的位置是/usr/local)下:
      tar -xvzf /home/syp/etc/haddoop/hadoop-2.10.0.tar.gz(后面的路徑是你壓縮包的位置)
      在這里插入圖片描述
      接下來,配置環境變量,一個java。由于centos自帶open-jdk,我們可以查看一下自己java路徑,一般在/usr/lib/jvm中查看:
      在這里插入圖片描述
      我們選擇1.8版本的,配置你的vi /etc/profile文件,添加如下內容:
    #set java enviroment
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin
    #set hadoop enviroment
    

    使用命令source ~/.bashrc使得環境變量生效。
    在這里插入圖片描述
    至此jdk就配置成功了。
    2. 配置ssh

    (1)生成秘鑰對

    ssh-****** -t rsa
    

    (2)一直按enter,將生成的秘鑰對保存在.ssh/id_rsa文件中
    在這里插入圖片描述
    (3)進入.ssh目錄,執行如下命令:
    cp id_rsa.pub authorized_keys
    (4)測試能否登錄
    ssh localost
    在這里插入圖片描述
    3. 配置hadoop環境
    (1)修改文件/usr/local/hadoop-2.10.0/etc/hadoop/hadoop-env.sh
    添加:

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
    

    (2)修改文件/usr/local/hadoop-2.10.0/etc/hadoop/yarn-env.sh
    添加:

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
    

    (3)配置文件/usr/local/hadoop-2.10.0/etc/hadoop/core-site.xml

    <configuration>
    <property>
                                 <name>hadoop.tmp.dir</name>
                                 <value>file:/usr/local/hadoop/tmp</value>
                                 <description>Abase for other temporary directories.</description>
                            </property>
                            <property>
                                 <name>fs.defaultFS</name>
                                 <value>hdfs://localhost:9000</value>
                            </property>
    </configuration>
    
    

    (3)配置文件/usr/local/hadoop-2.10.0/etc/hadoop/hdfs-site.xml

    <configuration>
    <property>
                                 <name>dfs.replication</name>
                                 <value>1</value>
                            </property>
                            <property>
                                 <name>dfs.namenode.name.dir</name>
                                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
                            </property>
                            <property>
                                 <name>dfs.datanode.data.dir</name>
                                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
                            </property>
                            </configuration>
    

    (3)配置文件/usr/local/hadoop-2.10.0/etc/hadoop/yarn-site.xml

    <property> 
            <name>yarn.nodemanager.aux-services</name> 
            <value>mapreduce_shuffle</value> 
        </property> 
        <property> 
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
            <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
        </property> 
        <property> 
            <name>yarn.resourcemanager.address</name> 
            <value>127.0.0.1:8032</value> 
        </property> 
        <property> 
            <name>yarn.resourcemanager.scheduler.address</name> 
            <value>127.0.0.1:8030</value> 
        </property> 
        <property> 
            <name>yarn.resourcemanager.resource-tracker.address</name> 
            <value>127.0.0.1:8031</value> 
        </property> 
    
    1. 檢查是否安裝成功
      輸入hadoop version,若如下圖所示,則安裝成功:
      在這里插入圖片描述
      (1)格式化HDFS系統
      hdfs namenode -format
      (2)啟動hdfs
      start-all.sh
      (3)查看進程
      jps,若出現六個進程則正確
      在這里插入圖片描述
      (4)打開瀏覽器,輸入http://localhost:50070/可以觀察到集群的基本信息
      在這里插入圖片描述
    版權聲明:本文為Mr_jokersun原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。
    本文鏈接:https://blog.csdn.net/Mr_jokersun/article/details/105650402

    智能推薦

    hadoop 單機偽分布式搭建 hadoop-2.5.1

    下載 hadoop-2.5.1 http://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz 創建安裝目錄:     mkdir -p /home/hadoop     解壓 tar xzvf hadoop-2.5.1.tar.gz 第一步: &nb...

    Hadoop環境搭建及單機、偽分布式安裝問題總結(踩坑實錄)

    最近上了一門課,叫大數據基礎,這是我第一次沒有在別人的幫助下自己解決了如此多的問題,感謝 百度,感謝 CSDN,感謝各位大佬寫的博客。我都覺得踩坑大隊隊長非我莫屬了,怎么會有我這么笨的人,給我整懵了好了廢話不多說記錄一下我踩的坑。 實驗名稱 Hadoop單機配置及偽分布式安裝 實驗環境 系統環境:Ubuntu 16.04.6 JAVA版本:java openjdk 1.8.0_222 Hadoop...

    Ubuntu上搭建Hadoop單機環境和偽分布模式部署。

    終于裝上了Linux系統準備大戰一場啦哈哈,這不給自己的電腦搭建了一個Hadoop的環境學習一下。整個部署的過程差不多話兩天,主要是有點時候碰到問題能卡很久,過一會再來試試,所以才話這么久的,現在記錄一下自己部署的過程。 先來看看最終效果吧,搭建好偽分布模式在瀏覽器上輸入這兩個鏈接可以看到以下界面 在這之前,先做一些準備工作。 Hadoop一共有啟動模式: 單機模式:默認情況下運行為一個單獨機器上...

    Centos7環境下,配置Hadoop-3.2.1偽分布式以及問題處理

    Centos7環境下,配置Hadoop-3.2.1偽分布式以及問題處理 主要分為一下幾個步驟: 安裝jdk(原因下面請看); 修改host配置; 關閉防火墻; 安裝hadoop; 配置 Hadoop 偽分布式; 啟動hdfs; 準備工作 關閉防火墻 修改hosts文件,配置用戶指定本機IP地址 Hadoop的用戶設置 1、 創建hadoop的普通用戶 useradd hadoop passwd h...

    hadoop3.2環境搭建與問題整理-分布式集群模式

    hadoop3環境搭建與問題整理-分布式集群模式 基本流程: 使用版本: 開始配置 準備材料 配置hadoop 遇到的問題 按照如上步驟配置啟動成功。 基本流程: linux網絡配置+環境安裝+環境變量+修改軟件配置腳本+啟動hdfs和yarn 使用版本: linux: ubuntu jdk:jdk-8u231-libux-x64 hadoop:3.2.1 開始配置 參考博客:hadoop2.7配...

    猜你喜歡

    大數據入門教程系列之Hadoop環境搭建--Hadoop單機/偽分布式搭建配置

    本篇文章主要介紹在windows下和mac系統下搭建hadoop單機/偽分布式搭建配置。 推薦文章: mac下基于centons7安裝配置apache hadoop 大數據入門教程系列之Hadoop環境搭建--新建Hadoop用戶(用于環境配置和hadoop安裝) 單機和偽分布式區別: 單機模式在一臺單機上運行,沒有分布式文件系統,而是直接讀寫本地操作系統的文件系統。默認情況下,Hadoop被配置...

    HTML中常用操作關于:頁面跳轉,空格

    1.頁面跳轉 2.空格的代替符...

    freemarker + ItextRender 根據模板生成PDF文件

    1. 制作模板 2. 獲取模板,并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意,都是關于獲取文件路徑的問題,由于項目部署的時候是打包成jar包形式,所以在開發過程中時直接安照傳統的獲取方法沒有一點文件,但是當打包后部署,總是出錯。于是參考網上文章,先將文件讀出來到項目的臨時目錄下,然后再按正常方式加載該臨時文件; 還有一個問題至今沒有解決,就是關于生成PDF文件...

    電腦空間不夠了?教你一個小秒招快速清理 Docker 占用的磁盤空間!

    Docker 很占用空間,每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時,我們的磁盤空間會被大量占用。 如果你也被這個問題所困擾,咱們就一起看一下 Docker 是如何使用磁盤空間的,以及如何回收。 docker 占用的空間可以通過下面的命令查看: TYPE 列出了docker 使用磁盤的 4 種類型: Images:所有鏡像占用的空間,包括拉取下來的鏡像,和本地構建的。 Con...

    requests實現全自動PPT模板

    http://www.1ppt.com/moban/ 可以免費的下載PPT模板,當然如果要人工一個個下,還是挺麻煩的,我們可以利用requests輕松下載 訪問這個主頁,我們可以看到下面的樣式 點每一個PPT模板的圖片,我們可以進入到詳細的信息頁面,翻到下面,我們可以看到對應的下載地址 點擊這個下載的按鈕,我們便可以下載對應的PPT壓縮包 那我們就開始做吧 首先,查看網頁的源代碼,我們可以看到每一...

    精品国产乱码久久久久久蜜桃不卡