HUE簡介及編譯
標簽: hive nginx linux 數據庫 hadoop
每一個成功人士的背后,必定曾經做出過勇敢而又孤獨的決定。
放棄不難,但堅持很酷~
一、HUE簡介
Hue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社區,它是基于Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job等等。很早以前就聽說過Hue的便利與強大,一直沒能親自嘗試使用,下面先通過官網給出的特性,通過翻譯原文簡單了解一下Hue所支持的功能特性集合:
默認基于輕量級sqlite數據庫管理會話數據,用戶認證和授權,可以自定義為MySQL、Postgresql,以及Oracle
基于文件瀏覽器(File Browser)訪問HDFS
基于Hive編輯器來開發和運行Hive查詢
支持基于Solr進行搜索的應用,并提供可視化的數據視圖,以及儀表板(Dashboard)
支持基于Impala的應用進行交互式查詢
支持NoteBook,其NoteBook支持多種編程語言,比如py-spark、scala等
支持Pig編輯器,并能夠提交腳本任務
支持Oozie編輯器,可以通過儀表板提交和監控Workflow、Coordinator和Bundle
支持HBase瀏覽器,能夠可視化數據、查詢數據、修改HBase表
支持Metastore瀏覽器,可以訪問Hive的元數據,以及HCatalog
支持Job瀏覽器,能夠訪問MapReduce Job(MR1/MR2-YARN)
支持Job設計器,能夠創建MapReduce/Streaming/Java Job
支持Sqoop編輯器和儀表板(Dashboard)
支持ZooKeeper瀏覽器和編輯器
支持MySql、PostGresql、Sqlite和Oracle數據庫查詢編輯器
二、源碼下載
hue版本庫:http://cloudera.github.io/hue/latest/,目前HUE最新版是4.3.0
。
三、準備工作
我下載的HUE-3.12.0
版本:
http://gethue.com/downloads/releases/3.12.0/hue-3.12.0.tgz
下載tgz
包,使用tar -zxvf
命令將其放到/usr/local/
目錄下,改名為:hue
。
四、開始編譯
cd /usr/local/hue
make apps
HUE
編譯成功之后,文件夾內多了一個build
文件,build
分為env
和static
文件,其中env
文件內含啟動文件,而static
文件內有相關聯的一些組件。
五、HUE編譯問題匯總
通過make apps
報錯來提示需要下載哪些相關工具包:
1. error: command 'gcc' failed with exit status 1
yum install -y gcc openssl-devel
yum install -y gcc gcc-c++ kernel-devel
yum install -y libxslt-devel
yum install -y gmp-devel
yum install -y sqlite-devel
2. building '_cffi_backend' extension
yum install -y libffi-devel openssl-devel
3. building '_ldap' extension
yum install -y openldap-devel
4. EnvironmentError: mysql_config not found
yum install -y mysql-server mysql mysql-devel
六、啟停HUE
HUE
編譯成功之后,我們需要啟動HUE
服務,建議使用非root
用戶啟動,比如hue
用戶:
1. 創建hue用戶
# 創建hue用戶
useradd hue
# 將hue源碼的用戶所有者/組改為hue
chown -R hue:hue /usr/local/hue
2. 啟動hue
# hue默認使用sqlite引擎
# 初始化數據庫
/usr/local/hue/build/env/bin/hue syncdb --noinput
/usr/local/hue/build/env/bin/hue migrate
# 啟動hue
/usr/local/hue/build/env/bin/supervisor
3. 停止hue
一般情況下,直接使用
Ctrl + c
來停止hue
服務如果將
hue
在后臺運行的話,可以使用kill
命令:
ps -ef | grep hue | grep -v grep | awk '{print $2}' | xargs kill -9
七、HUE啟動問題匯總
1. 啟動時錯誤:UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-11: ordinal not in range(128)
# 121行,將"_"去掉。
vim /usr/local/hue/desktop/core/src/desktop/management/commands/runcherrypyserver.py
2. 啟動hue web端 報錯誤:OperationalError: attempt to write a readonly database
# 啟動hue server的用戶沒有權限去寫入默認sqlite DB,同時確保安裝目錄下所有文件的owner都是hue用戶
chown -R hue:hue hue
3. IOError: [Errno 2] No such file or directory: '/var/log/hue/syncdb.log'
由于我通過/usr/local/hue/desktop/conf/log.conf
修改了日志輸出路徑,將相關日志輸出到了/var/log/hue
目錄下。
報錯信息:
resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/local/hue/build/env/bin/hue syncdb --noinput' returned 1. Traceback (most recent call last):
解決辦法:
cd /var/log
mkdir hue
chown -R hue:hue hue
vim /var/log/hue/syncdb.log
chown -R hue:hue syncdb.log
長按下方二維碼,關注更多精彩內容
碼字不易,如果感覺本文對您有幫助,請點擊右下角‘好看’支持一下,您的支持是我堅持寫作最大的動力,謝謝!
如果您有疑問或想法,可點擊閱讀全文進行評論,作者會第一時間回復。
智能推薦
Hadoop可視化神器-Hue安裝、編譯、運行
下載安裝 CDH版本: http://archive.cloudera.com/cdh5/ 官網:http://gethue.com/ tar -zxf hue-3.9.0-cdh5.15.0.tar.gz -C /opt/modules/ 編譯 下載解壓之后要進行編譯之后才能用,且當前網絡環境要能訪問外網。 安裝各種依賴包 mvn (from apache-maven package or ma...
Hue安裝詳解(編譯中的坑與爬)
1.上傳解壓安裝包 Hue的安裝支持多種方式,包括rpm包的方式進行安裝、tar.gz包的方式進行安裝以及cloudera manager的方式來進行安裝等,我們這里使用tar.gz包的方式來進行安裝,此教程也適用于git下來的源碼包的編譯安裝,主要是教會分析與解決編譯過程中的出現的依賴問題。 Hue的壓縮包的下載地址: http://archive.cloudera.com/cdh5...
freemarker + ItextRender 根據模板生成PDF文件
1. 制作模板 2. 獲取模板,并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意,都是關于獲取文件路徑的問題,由于項目部署的時候是打包成jar包形式,所以在開發過程中時直接安照傳統的獲取方法沒有一點文件,但是當打包后部署,總是出錯。于是參考網上文章,先將文件讀出來到項目的臨時目錄下,然后再按正常方式加載該臨時文件; 還有一個問題至今沒有解決,就是關于生成PDF文件...
電腦空間不夠了?教你一個小秒招快速清理 Docker 占用的磁盤空間!
Docker 很占用空間,每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時,我們的磁盤空間會被大量占用。 如果你也被這個問題所困擾,咱們就一起看一下 Docker 是如何使用磁盤空間的,以及如何回收。 docker 占用的空間可以通過下面的命令查看: TYPE 列出了docker 使用磁盤的 4 種類型: Images:所有鏡像占用的空間,包括拉取下來的鏡像,和本地構建的。 Con...
猜你喜歡
requests實現全自動PPT模板
http://www.1ppt.com/moban/ 可以免費的下載PPT模板,當然如果要人工一個個下,還是挺麻煩的,我們可以利用requests輕松下載 訪問這個主頁,我們可以看到下面的樣式 點每一個PPT模板的圖片,我們可以進入到詳細的信息頁面,翻到下面,我們可以看到對應的下載地址 點擊這個下載的按鈕,我們便可以下載對應的PPT壓縮包 那我們就開始做吧 首先,查看網頁的源代碼,我們可以看到每一...
Linux C系統編程-線程互斥鎖(四)
互斥鎖 互斥鎖也是屬于線程之間處理同步互斥方式,有上鎖/解鎖兩種狀態。 互斥鎖函數接口 1)初始化互斥鎖 pthread_mutex_init() man 3 pthread_mutex_init (找不到的情況下首先 sudo apt-get install glibc-doc sudo apt-get install manpages-posix-dev) 動態初始化 int pthread_...
統計學習方法 - 樸素貝葉斯
引入問題:一機器在良好狀態生產合格產品幾率是 90%,在故障狀態生產合格產品幾率是 30%,機器良好的概率是 75%。若一日第一件產品是合格品,那么此日機器良好的概率是多少。 貝葉斯模型 生成模型與判別模型 判別模型,即要判斷這個東西到底是哪一類,也就是要求y,那就用給定的x去預測。 生成模型,是要生成一個模型,那就是誰根據什么生成了模型,誰就是類別y,根據的內容就是x 以上述例子,判斷一個生產出...
styled-components —— React 中的 CSS 最佳實踐
https://zhuanlan.zhihu.com/p/29344146 Styled-components 是目前 React 樣式方案中最受關注的一種,它既具備了 css-in-js 的模塊化與參數化優點,又完全使用CSS的書寫習慣,不會引起額外的學習成本。本文是 styled-components 作者之一 Max Stoiber 所寫,首先總結了前端組件化樣式中的最佳實踐原則,然后在此基...