Haddoop大數據教程筆記_01_集群搭建
標簽： 大數據Hadoop教程 hadoop hdfs mapreduce
Hadoop環境搭建筆記（一）
————集群服務器部署
目錄
1.4 JDK安裝（Hadoop體系中的各軟件都是java開發的）
1.服務器基礎配置：
1.1服務器以CentOS7-Minimal為例
CentOS7-Minimal aliyun 鏡像下載地址：
http://mirrors.aliyun.com/centos/7/isos/x86_64/
安裝步驟較為簡單不贅述
1.2修改CentOS7網絡配置
1.2.1修改原因
CentOS7安裝后，默認網絡配置開機不自啟。
便于集群開發，要設置固定ip。
1.2.2步驟：
vi /etc/sysconfig/network-scripts/ifcfg-ens33修改對應配置項如下：
TYPE=Ethernet # 接口類型
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static # **此接口使用什么協議來配置接口的屬性，有dhcp、bootp、static、none等(此處要設定為靜態IP)
DEFROUTE=yes # 是否以此接口創建默認路由
IPV4_FAILURE_FATAL=no
IPV6INIT=yes # 是否初始化IPV6
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33 # 此配置文件對應的設備名稱
UUID=62cd15d4-3e4a-4db2-9260-a9844e54cdcf
DEVICE=ens33 # 此設備文件對應的設備名稱
ONBOOT=yes # 是否開機自啟
IPADDR=192.168.126.11 # 固定ip地址
NETMASK=255.255.255.0 # 子網掩碼；在centos7中支持使用PREFIX以長度方式指明子網掩碼
GATEWAY=192.168.126.2 # 默認網關
DNS1=114.114.114.114 # DNS指向，最多可以有三個
PREFIX=24修改完成后重啟服務：
systemctl restart network.service1.3關閉防火墻（便于集群通信）
//臨時關閉
systemctl stop firewalld
systemctl stop firewalld.service
//禁止開機啟動
systemctl disable firewalld
systemctl disable firewalld.service
//恢復開機啟動
systemctl enable firewalld
systemctl enable firewalld.service
//查看防火墻狀態
systemctl status firewalld
systemctl status firewalld.service
//查看防火墻開機自啟狀態
systemctl list-unit-files |grep fire1.4 JDK安裝（Hadoop體系中的各軟件都是java開發的）
1.4.1JDK8下載地址
https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
選擇對應系統的rpm或tar包。
1.4.2上傳
在secure 窗口下，按住alt + p 進入sftp模式，直接把文件拉到sftp窗口下，即可完成文件的上傳。
下載直接使用 get 文件名 默認是在當前目錄下，下載后的文件，在C:\Users\User_NAME\Documents
1.4.3解壓到指定目錄
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /usr/local
1.4.4創建軟鏈接
ln -s /usr/local/jdk1.8.0_141/ jdk1.4.5配置環境變量
vi /etc/profile
# 文末添加 （G o） 以下內容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
:wq1.4.6執行source，讓配置生效
source /etc/profile
測試：
java -version
echo $JAVA_HOME1.5 修改主機名：
vi /etc/hostname 修改為指定主機名:，其他節點對應修改為hdp-01，hdp-02，hdp-03
master1.6 集群內主機的域名映射配置
vi /etc/hosts 文末添加：
192.168.126.10 master
192.168.126.11 hdp-01
192.168.126.12 hdp-02
192.168.126.13 hdp-03
將hosts文件拷貝到集群中的所有其他機器上
scp /etc/hosts hdp-02:/etc/
scp /etc/hosts hdp-03:/etc/
scp /etc/hosts hdp-04:/etc/
注：本文以1master 3slave 為例，以實際情況為準1.7 集群內部ssh免密登錄
1.7.1各主機生成**對
ssh-****** -t rsa -P '' -f ~/.ssh/id_rsa
#-t 加密算法類型，這里是使用rsa算法 -P 指定私鑰的密碼，不需要可以不指定 -f 指定生成秘鑰對保持的位置1.7.2公鑰追加復制到集群內其他服務器 ~/.ssh/authorized_keys 文件中
ssh-copy-id root@hdp-01
ssh-copy-id root@hdp-02
ssh-copy-id root@hdp-03
ssh-copy-id root@master
# 經過ssh-copy-id后接收公鑰的服務端會把公鑰追加到服務端對應用戶的$HOME/.ssh/authorized_keys文件中
也可分別在每臺機器上執行
ssh-copy-id root@master
# 將所有主機上的公鑰追加到master，包括本機的公鑰。再將authorized_keys復制替換其他主機的對應文件。
# 將該authorized_keys文件作為SecureCRT登錄**文件，也可簡化windows登錄操作。1.7.3測試任意主機登錄其他集群：
ssh hdp-01至此，Hadoop系統所需服務器配置已完成，下節：<Hadoop系統構架及hdfs文件系統部署>
智能推薦
Git筆記_01_起步
起步 版本控制簡介 安裝Git Git官方下載地址 如果下載慢可以使用這一個地址下載windows版本的Git for win 初次運行Git需要進行的配置 Git的config文件的介紹 Git 自帶一個 git config 的工具來幫助設置控制 Git 外觀和行為的配置變量。 這些變量存儲在三個不同的位置： /etc/gitconfig 文件: 包含系統上每一個用戶及他們倉庫的通用配置。 如...
大數據集群搭建 | redis集群搭建
1、下載redis版本 下載地址：https://redis.io/download 在此路徑下選擇相應的版本進行下載。 2、 解壓redis-3.2.8.tar.gz到/home/hadoop/redis目錄下 3、進入解壓目錄進行編譯， 先執行make然后再執行make install。 如下圖： 4、創建redis配置目錄和數據及日志存放目錄，如下圖： 5、將/home/hadoop/red...
搭建大數據Hadoop集群
目標：搭建大數據Hadoop集群 前敘（記敘事件起因，可忽略）： 這里要先說一下為啥寫這篇文章，搭建hadoop集群，個人感覺是比較繁瑣的，真實的搭建3臺hadoop集群，需要許多步驟。原本搭建完就完事了，沒想到因為三臺服務器免密登錄出現了問題，免密登錄設置完，過一段時間發現失效了，第一次出現這問題，覺得不是很理解原因，圖省事，也為了能再次熟悉搭建集群的步驟，直接重裝系統，然后重新搭建。沒想到過了...
大數據入門教程系列之Hadoop環境搭建--Hadoop高可用集群搭建配置
本篇文章主要介紹在windows下使用vmware虛擬機Hadoop高可用集群搭建配置 簡要步驟： ①、克隆3臺機器(可以從之前分布式的2臺機器找一臺即可) ②、設置靜態IP ③、配置主機名、IP映射 ④、新建hadoop用戶 ⑤、配置ssh免密登陸 ⑥、配置zookeeper ⑦、檢查環境變量 ⑧、修改配置文件 ⑨、關閉防火墻、守護進程 ⑩、啟動(啟動、關閉腳本) 詳...
猜你喜歡
freemarker + ItextRender 根據模板生成PDF文件
1. 制作模板 2. 獲取模板，并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意，都是關于獲取文件路徑的問題，由于項目部署的時候是打包成jar包形式，所以在開發過程中時直接安照傳統的獲取方法沒有一點文件，但是當打包后部署，總是出錯。于是參考網上文章，先將文件讀出來到項目的臨時目錄下，然后再按正常方式加載該臨時文件； 還有一個問題至今沒有解決，就是關于生成PDF文件...
電腦空間不夠了？教你一個小秒招快速清理 Docker 占用的磁盤空間！
Docker 很占用空間，每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時，我們的磁盤空間會被大量占用。 如果你也被這個問題所困擾，咱們就一起看一下 Docker 是如何使用磁盤空間的，以及如何回收。 docker 占用的空間可以通過下面的命令查看： TYPE 列出了docker 使用磁盤的 4 種類型： Images：所有鏡像占用的空間，包括拉取下來的鏡像，和本地構建的。 Con...
requests實現全自動PPT模板
http://www.1ppt.com/moban/ 可以免費的下載PPT模板，當然如果要人工一個個下，還是挺麻煩的，我們可以利用requests輕松下載 訪問這個主頁，我們可以看到下面的樣式 點每一個PPT模板的圖片，我們可以進入到詳細的信息頁面，翻到下面，我們可以看到對應的下載地址 點擊這個下載的按鈕，我們便可以下載對應的PPT壓縮包 那我們就開始做吧 首先，查看網頁的源代碼，我們可以看到每一...
Linux C系統編程-線程互斥鎖（四）
互斥鎖 互斥鎖也是屬于線程之間處理同步互斥方式，有上鎖/解鎖兩種狀態。 互斥鎖函數接口 1）初始化互斥鎖 pthread_mutex_init() man 3 pthread_mutex_init (找不到的情況下首先 sudo apt-get install glibc-doc sudo apt-get install manpages-posix-dev) 動態初始化 int pthread_...
