阿里云-hadoop環境搭建
一、 準備環境，實際操作在本地由于電腦性能問題，導致搭建的集群一直進行GC，無法啟動成功，所以決定在阿里云服務上進行實踐。
準備三臺云服務器
系統： centos7.2 vcore 2 ram 8G，購買的是按流量付費，每小時都是錢啊。。。
1、初始化后設置連接密碼。
如何連接參考官方文檔
本地已經連接OK了
1、 設置初始化環境
設定host
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.31.215.90 hadoop001
172.31.215.89 hadoop002
172.31.215.88 hadoop003
先關閉防火墻。
[root@izj6c3uhsuxfbdlkkpar59z ~]# systemctl disable firewalld
[root@izj6c3uhsuxfbdlkkpar59z ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
Active: inactive (dead)
Docs: man:firewalld(1)
[root@izj6c3uhsuxfbdlkkpar59z ~]#
關閉selinux 安全策略。
[root@izj6c3uhsuxfbdlkkpar5az ~]# vi /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
同步時鐘 使用ntp
發現阿里云是安裝OK的。
[root@izj6c3uhsuxfbdlkkpar5az ~]# systemctl status ntpd
● ntpd.service - Network Time Service
Loaded: loaded (/usr/lib/systemd/system/ntpd.service; enabled; vendor preset: disabled)
Active: active (running) since 六 2019-11-23 09:08:21 CST; 18min ago
Main PID: 868 (ntpd)
CGroup: /system.slice/ntpd.service
└─868 /usr/sbin/ntpd -u ntp:ntp -g
11月 23 09:08:21 izj6c3uhsuxfbdlkkpar5az systemd[1]: Starting Network Time Service...
11月 23 09:08:21 izj6c3uhsuxfbdlkkpar5az systemd[1]: Started Network Time Service.
11月 23 09:08:21 izj6c3uhsuxfbdlkkpar5az ntpd[868]: proto: precision = 0.090 usec
11月 23 09:08:21 izj6c3uhsuxfbdlkkpar5az ntpd[868]: 0.0.0.0 c01d 0d kern kernel time sync enabled
[root@izj6c3uhsuxfbdlkkpar5az ~]# crontab -e
以hadoop001為時間的主節點
[root@izj6c3uhsuxfbdlkkpar5az ~]# vi /etc/ntp.conf
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
#當外部時間不可用時，可使用本地硬件時間
server 127.127.1.0 iburst local clock
#允許哪些網段的機器來同步時間
restrict 172.31.215.0 mask 255.255.255.0 nomodify notrap
驗證
[root@izj6c3uhsuxfbdlkkpar5az ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
LOCAL(0) .LOCL. 10 l 105 64 2 0.000 0.000 0.000
+120.25.115.20 10.137.53.7 2 u 66 64 7 13.823 6.173 4.503
10.143.33.49 .STEP. 16 u - 128 0 0.000 0.000 0.000
+100.100.3.1 10.137.55.181 2 u 65 64 7 26.354 6.021 4.514
+100.100.3.2 10.137.55.181 2 u 38 64 3 25.829 2.324 9.414
+100.100.3.3 10.137.55.181 2 u 48 64 7 25.890 3.367 4.482
-203.107.6.88 10.137.38.86 2 u - 64 17 71.651 2.036 19.031
10.143.33.50 .STEP. 16 u - 128 0 0.000 0.000 0.000
10.143.33.51 .STEP. 16 u - 128 0 0.000 0.000 0.000
10.143.0.44 .STEP. 16 u - 128 0 0.000 0.000 0.000
10.143.0.45 .STEP. 16 u - 128 0 0.000 0.000 0.000
10.143.0.46 .STEP. 16 u - 128 0 0.000 0.000 0.000
+100.100.5.1 10.137.55.181 2 u 59 64 7 30.301 5.467 4.493
+100.100.5.2 10.137.55.181 2 u 58 64 7 27.384 4.835 4.492
+100.100.5.3 10.137.55.181 2 u 55 64 7 26.931 4.634 4.464
*100.100.61.88 .BD. 1 u 33 64 3 0.181 1.606 9.699
關閉hadoop002 、 hadoop003 ntpd 服務，使他們從hadooop001進行時間同步
[root@izj6c3uhsuxfbdlkkpar59z ~]# systemctl stop ntpd
[root@izj6c3uhsuxfbdlkkpar59z ~]# systemclt disable ntpd
-bash: systemclt: 未找到命令
[root@izj6c3uhsuxfbdlkkpar59z ~]# systemctl disable ntpd
Removed symlink /etc/systemd/system/multi-user.target.wants/ntpd.service.
[root@izj6c3uhsuxfbdlkkpar59z ~]# systemctl status ntpd
● ntpd.service - Network Time Service
Loaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled)
Active: inactive (dead)
11月 23 08:53:08 izj6c3uhsuxfbdlkkpar59z systemd[1]: Starting Network Time Service...
11月 23 08:53:08 izj6c3uhsuxfbdlkkpar59z systemd[1]: Started Network Time Service.
11月 23 08:53:08 izj6c3uhsuxfbdlkkpar59z ntpd[828]: proto: precision = 0.072 usec
11月 23 08:53:08 izj6c3uhsuxfbdlkkpar59z ntpd[828]: 0.0.0.0 c01d 0d kern kernel time sync enabled
11月 23 09:33:45 hadoop002 systemd[1]: Stopping Network Time Service...
11月 23 09:33:45 hadoop002 systemd[1]: Stopped Network Time Service.
同步時間從hadoop0001
問題：
[root@izj6c3uhsuxfbdlkkpar59z ~]# /usr/sbin/ntpdate hadoop001
23 Nov 09:38:45 ntpdate[8022]: no server suitable for synchronization found
防火墻已經關閉了，經排查需要更新ntp即可，
[root@izj6c3uhsuxfbdlkkpar5bz ~]# yum install -y ntp
已加載插件：fastestmirror
base | 3.6 kB 00:00:00
epel | 5.3 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/7): base/7/x86_64/group_gz | 165 kB 00:00:00
(2/7): epel/x86_64/group_gz | 90 kB 00:00:00
(3/7): epel/x86_64/updateinfo | 1.0 MB 00:00:00
(4/7): extras/7/x86_64/primary_db | 153 kB 00:00:00
(5/7): base/7/x86_64/primary_db | 6.0 MB 00:00:00
(6/7): epel/x86_64/primary_db | 6.9 MB 00:00:00
(7/7): updates/7/x86_64/primary_db | 4.2 MB 00:00:00
Determining fastest mirrors
正在解決依賴關系
--> 正在檢查事務
---> 軟件包 ntp.x86_64.0.4.2.6p5-25.el7.centos.2 將被 升級
---> 軟件包 ntp.x86_64.0.4.2.6p5-29.el7.centos 將被 更新
--> 正在處理依賴關系 ntpdate = 4.2.6p5-29.el7.centos，它被軟件包 ntp-4.2.6p5-29.el7.centos.x86_64 需要
--> 正在處理依賴關系 libcrypto.so.10(OPENSSL_1.0.2)(64bit)，它被軟件包 ntp-4.2.6p5-29.el7.centos.x86_64 需要
--> 正在檢查事務
---> 軟件包 ntpdate.x86_64.0.4.2.6p5-25.el7.centos.2 將被 升級
---> 軟件包 ntpdate.x86_64.0.4.2.6p5-29.el7.centos 將被 更新
---> 軟件包 openssl-libs.x86_64.1.1.0.1e-60.el7_3.1 將被 升級
--> 正在處理依賴關系 openssl-libs(x86-64) = 1:1.0.1e-60.el7_3.1，它被軟件包 1:openssl-1.0.1e-60.el7_3.1.x86_64 需要
---> 軟件包 openssl-libs.x86_64.1.1.0.2k-19.el7 將被 更新
--> 正在檢查事務
---> 軟件包 openssl.x86_64.1.1.0.1e-60.el7_3.1 將被 升級
---> 軟件包 openssl.x86_64.1.1.0.2k-19.el7 將被 更新
--> 解決依賴關系完成
依賴關系解決
==============================================================================================================================================================
Package 架構 版本 源 大小
==============================================================================================================================================================
正在更新:
ntp x86_64 4.2.6p5-29.el7.centos base 548 k
為依賴而更新:
ntpdate x86_64 4.2.6p5-29.el7.centos base 86 k
openssl x86_64 1:1.0.2k-19.el7 base 493 k
openssl-libs x86_64 1:1.0.2k-19.el7 base 1.2 M
事務概要
==============================================================================================================================================================
升級 1 軟件包 (+3 依賴軟件包)
總下載量：2.3 M
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
(1/4): ntpdate-4.2.6p5-29.el7.centos.x86_64.rpm | 86 kB 00:00:00
(2/4): ntp-4.2.6p5-29.el7.centos.x86_64.rpm | 548 kB 00:00:00
(3/4): openssl-1.0.2k-19.el7.x86_64.rpm | 493 kB 00:00:00
(4/4): openssl-libs-1.0.2k-19.el7.x86_64.rpm | 1.2 MB 00:00:00
--------------------------------------------------------------------------------------------------------------------------------------------------------------
總計 19 MB/s | 2.3 MB 00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
正在更新 : 1:openssl-libs-1.0.2k-19.el7.x86_64 1/8
正在更新 : ntpdate-4.2.6p5-29.el7.centos.x86_64 2/8
正在更新 : ntp-4.2.6p5-29.el7.centos.x86_64 3/8
正在更新 : 1:openssl-1.0.2k-19.el7.x86_64 4/8
清理 : ntp-4.2.6p5-25.el7.centos.2.x86_64 5/8
清理 : ntpdate-4.2.6p5-25.el7.centos.2.x86_64 6/8
清理 : 1:openssl-1.0.1e-60.el7_3.1.x86_64 7/8
清理 : 1:openssl-libs-1.0.1e-60.el7_3.1.x86_64 8/8
驗證中 : ntp-4.2.6p5-29.el7.centos.x86_64 1/8
驗證中 : ntpdate-4.2.6p5-29.el7.centos.x86_64 2/8
驗證中 : 1:openssl-1.0.2k-19.el7.x86_64 3/8
驗證中 : 1:openssl-libs-1.0.2k-19.el7.x86_64 4/8
驗證中 : 1:openssl-1.0.1e-60.el7_3.1.x86_64 5/8
驗證中 : 1:openssl-libs-1.0.1e-60.el7_3.1.x86_64 6/8
驗證中 : ntp-4.2.6p5-25.el7.centos.2.x86_64 7/8
驗證中 : ntpdate-4.2.6p5-25.el7.centos.2.x86_64 8/8
更新完畢:
ntp.x86_64 0:4.2.6p5-29.el7.centos
作為依賴被升級:
ntpdate.x86_64 0:4.2.6p5-29.el7.centos openssl.x86_64 1:1.0.2k-19.el7 openssl-libs.x86_64 1:1.0.2k-19.el7
完畢！
[root@izj6c3uhsuxfbdlkkpar5bz ~]# ntpdate hadoop001
23 Nov 09:47:54 ntpdate[10977]: adjust time server 172.31.215.90 offset 0.118699 sec
設置 crontab 進行周期同步時間。
[root@izj6c3uhsuxfbdlkkpar5bz ~]# crontab -e
00 00 * * * ntpdate hadoop001
二、 上傳資源包
mkdir /home/cdh5.16
版權聲明：本文為u012842247原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
智能推薦
阿里云 Centos 搭建ElasticSearch、Kabanna環境
ElasticSearch安裝 拉取鏡像 配置文件elasticsearch.yml 啟動容器 -e "discovery.type=single-node"：配置成單點 -e "ES_JAVA_OPTS=-Xms256m -Xmx256m" ：ES默認啟動內存需要1G，不夠的話需要配置一下 -v：映射資源 訪問一下 Kabanna安裝 拉取鏡像：版本最好跟...
阿里云java運行環境搭建
目錄 前言：阿里云服務版本號： uname -a 1.安裝jdk11 2.安裝mysql 8.0 2.1yum安裝mysql8.0 2.2 更新yum源 2.3 開 始安裝MySQL，中間有幾次要確認輸y 2.4 安裝完成登錄mysql 2.5 修改密碼 2.6 測試正常的話就可以使用navicat登錄了，但是在阿里云上不行，我們要建策略對3306端口開發才行 前言：阿里云服務版本號...
阿里云ESC搭建javaWeb環境
安裝Yum 進行下載yum的阿里服務的包。 解壓 執行 看到Success就算成功 安裝MySql 首先進行查看是否已經安裝與攜帶 如果存在則進行刪除 centos下安裝mysql 安裝 配置mysql 操作介紹 操作命令 批注 啟動mysql服務 service mysqld start 關閉mysql服務 service mysqld stop 查看mysqld狀態 service mysql...
freemarker + ItextRender 根據模板生成PDF文件
1. 制作模板 2. 獲取模板，并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意，都是關于獲取文件路徑的問題，由于項目部署的時候是打包成jar包形式，所以在開發過程中時直接安照傳統的獲取方法沒有一點文件，但是當打包后部署，總是出錯。于是參考網上文章，先將文件讀出來到項目的臨時目錄下，然后再按正常方式加載該臨時文件； 還有一個問題至今沒有解決，就是關于生成PDF文件...
猜你喜歡
電腦空間不夠了？教你一個小秒招快速清理 Docker 占用的磁盤空間！
Docker 很占用空間，每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時，我們的磁盤空間會被大量占用。 如果你也被這個問題所困擾，咱們就一起看一下 Docker 是如何使用磁盤空間的，以及如何回收。 docker 占用的空間可以通過下面的命令查看： TYPE 列出了docker 使用磁盤的 4 種類型： Images：所有鏡像占用的空間，包括拉取下來的鏡像，和本地構建的。 Con...
requests實現全自動PPT模板
http://www.1ppt.com/moban/ 可以免費的下載PPT模板，當然如果要人工一個個下，還是挺麻煩的，我們可以利用requests輕松下載 訪問這個主頁，我們可以看到下面的樣式 點每一個PPT模板的圖片，我們可以進入到詳細的信息頁面，翻到下面，我們可以看到對應的下載地址 點擊這個下載的按鈕，我們便可以下載對應的PPT壓縮包 那我們就開始做吧 首先，查看網頁的源代碼，我們可以看到每一...
Linux C系統編程-線程互斥鎖（四）
互斥鎖 互斥鎖也是屬于線程之間處理同步互斥方式，有上鎖/解鎖兩種狀態。 互斥鎖函數接口 1）初始化互斥鎖 pthread_mutex_init() man 3 pthread_mutex_init (找不到的情況下首先 sudo apt-get install glibc-doc sudo apt-get install manpages-posix-dev) 動態初始化 int pthread_...
統計學習方法 - 樸素貝葉斯
引入問題：一機器在良好狀態生產合格產品幾率是 90%，在故障狀態生產合格產品幾率是 30%，機器良好的概率是 75%。若一日第一件產品是合格品，那么此日機器良好的概率是多少。 貝葉斯模型 生成模型與判別模型 判別模型，即要判斷這個東西到底是哪一類，也就是要求y，那就用給定的x去預測。 生成模型，是要生成一個模型，那就是誰根據什么生成了模型，誰就是類別y，根據的內容就是x 以上述例子，判斷一個生產出...
