• <noscript id="e0iig"><kbd id="e0iig"></kbd></noscript>
  • <td id="e0iig"></td>
  • <option id="e0iig"></option>
  • <noscript id="e0iig"><source id="e0iig"></source></noscript>
  • HUE簡介及編譯

    標簽: hive  nginx  linux  數據庫  hadoop

    每一個成功人士的背后,必定曾經做出過勇敢而又孤獨的決定。

    放棄不難,但堅持很酷~

    一、HUE簡介

    Hue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社區,它是基于Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job等等。很早以前就聽說過Hue的便利與強大,一直沒能親自嘗試使用,下面先通過官網給出的特性,通過翻譯原文簡單了解一下Hue所支持的功能特性集合:

    • 默認基于輕量級sqlite數據庫管理會話數據,用戶認證和授權,可以自定義為MySQL、Postgresql,以及Oracle

    • 基于文件瀏覽器(File Browser)訪問HDFS

    • 基于Hive編輯器來開發和運行Hive查詢

    • 支持基于Solr進行搜索的應用,并提供可視化的數據視圖,以及儀表板(Dashboard)

    • 支持基于Impala的應用進行交互式查詢

    • 支持NoteBook,其NoteBook支持多種編程語言,比如py-spark、scala等

    • 支持Pig編輯器,并能夠提交腳本任務

    • 支持Oozie編輯器,可以通過儀表板提交和監控Workflow、Coordinator和Bundle

    • 支持HBase瀏覽器,能夠可視化數據、查詢數據、修改HBase表

    • 支持Metastore瀏覽器,可以訪問Hive的元數據,以及HCatalog

    • 支持Job瀏覽器,能夠訪問MapReduce Job(MR1/MR2-YARN)

    • 支持Job設計器,能夠創建MapReduce/Streaming/Java Job

    • 支持Sqoop編輯器和儀表板(Dashboard)

    • 支持ZooKeeper瀏覽器和編輯器

    • 支持MySql、PostGresql、Sqlite和Oracle數據庫查詢編輯器

    二、源碼下載

    hue版本庫:http://cloudera.github.io/hue/latest/,目前HUE最新版是4.3.0

    三、準備工作

    我下載的HUE-3.12.0版本:

    http://gethue.com/downloads/releases/3.12.0/hue-3.12.0.tgz

    下載tgz包,使用tar -zxvf命令將其放到/usr/local/目錄下,改名為:hue

    四、開始編譯

    cd /usr/local/hue
    make apps
    

    HUE編譯成功之后,文件夾內多了一個build文件,build分為envstatic文件,其中env文件內含啟動文件,而static文件內有相關聯的一些組件。

    五、HUE編譯問題匯總

    通過make apps報錯來提示需要下載哪些相關工具包:

    1. error: command 'gcc' failed with exit status 1

    yum install -y gcc openssl-devel
    yum install -y gcc gcc-c++ kernel-devel
    yum install -y libxslt-devel
    yum install -y gmp-devel
    yum install -y sqlite-devel
    

    2. building '_cffi_backend' extension

    yum install -y libffi-devel openssl-devel
    

    3. building '_ldap' extension

    yum install -y openldap-devel 
    

    4. EnvironmentError: mysql_config not found

    yum install -y mysql-server mysql mysql-devel
    

    六、啟停HUE

    HUE編譯成功之后,我們需要啟動HUE服務,建議使用非root用戶啟動,比如hue用戶:

    1. 創建hue用戶

    # 創建hue用戶
    useradd hue
    # 將hue源碼的用戶所有者/組改為hue
    chown -R hue:hue /usr/local/hue
    

    2. 啟動hue

    # hue默認使用sqlite引擎
    # 初始化數據庫
    /usr/local/hue/build/env/bin/hue syncdb --noinput
    /usr/local/hue/build/env/bin/hue migrate
    # 啟動hue
    /usr/local/hue/build/env/bin/supervisor
    

    3. 停止hue

    • 一般情況下,直接使用Ctrl + c來停止hue服務

    • 如果將hue在后臺運行的話,可以使用kill命令:

    ps -ef | grep hue | grep -v grep | awk '{print $2}' | xargs kill -9
    

    七、HUE啟動問題匯總

    1. 啟動時錯誤:UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-11: ordinal not in range(128)

    # 121行,將"_"去掉。
    vim /usr/local/hue/desktop/core/src/desktop/management/commands/runcherrypyserver.py
    

    2. 啟動hue web端 報錯誤:OperationalError: attempt to write a readonly database

    # 啟動hue server的用戶沒有權限去寫入默認sqlite DB,同時確保安裝目錄下所有文件的owner都是hue用戶
    chown -R hue:hue hue
    

    3. IOError: [Errno 2] No such file or directory: '/var/log/hue/syncdb.log'

    由于我通過/usr/local/hue/desktop/conf/log.conf修改了日志輸出路徑,將相關日志輸出到了/var/log/hue目錄下。

    報錯信息:

     resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/local/hue/build/env/bin/hue syncdb --noinput' returned 1. Traceback (most recent call last):
    

    解決辦法:

    cd /var/log     
    mkdir hue
    chown -R hue:hue hue
    vim /var/log/hue/syncdb.log
    chown -R hue:hue syncdb.log
    

    長按下方二維碼,關注更多精彩內容

    碼字不易,如果感覺本文對您有幫助,請點擊右下角‘好看’支持一下,您的支持是我堅持寫作最大的動力,謝謝!

    如果您有疑問或想法,可點擊閱讀全文進行評論,作者會第一時間回復。

    版權聲明:本文為CREATE_17原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。
    本文鏈接:https://blog.csdn.net/CREATE_17/article/details/109117153

    智能推薦

    Hadoop可視化神器-Hue安裝、編譯、運行

    下載安裝 CDH版本: http://archive.cloudera.com/cdh5/ 官網:http://gethue.com/ tar -zxf hue-3.9.0-cdh5.15.0.tar.gz -C /opt/modules/ 編譯 下載解壓之后要進行編譯之后才能用,且當前網絡環境要能訪問外網。 安裝各種依賴包 mvn (from apache-maven package or ma...

    Hue安裝詳解(編譯中的坑與爬)

    1.上傳解壓安裝包 Hue的安裝支持多種方式,包括rpm包的方式進行安裝、tar.gz包的方式進行安裝以及cloudera  manager的方式來進行安裝等,我們這里使用tar.gz包的方式來進行安裝,此教程也適用于git下來的源碼包的編譯安裝,主要是教會分析與解決編譯過程中的出現的依賴問題。 Hue的壓縮包的下載地址: http://archive.cloudera.com/cdh5...

    HTML中常用操作關于:頁面跳轉,空格

    1.頁面跳轉 2.空格的代替符...

    freemarker + ItextRender 根據模板生成PDF文件

    1. 制作模板 2. 獲取模板,并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意,都是關于獲取文件路徑的問題,由于項目部署的時候是打包成jar包形式,所以在開發過程中時直接安照傳統的獲取方法沒有一點文件,但是當打包后部署,總是出錯。于是參考網上文章,先將文件讀出來到項目的臨時目錄下,然后再按正常方式加載該臨時文件; 還有一個問題至今沒有解決,就是關于生成PDF文件...

    電腦空間不夠了?教你一個小秒招快速清理 Docker 占用的磁盤空間!

    Docker 很占用空間,每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時,我們的磁盤空間會被大量占用。 如果你也被這個問題所困擾,咱們就一起看一下 Docker 是如何使用磁盤空間的,以及如何回收。 docker 占用的空間可以通過下面的命令查看: TYPE 列出了docker 使用磁盤的 4 種類型: Images:所有鏡像占用的空間,包括拉取下來的鏡像,和本地構建的。 Con...

    猜你喜歡

    requests實現全自動PPT模板

    http://www.1ppt.com/moban/ 可以免費的下載PPT模板,當然如果要人工一個個下,還是挺麻煩的,我們可以利用requests輕松下載 訪問這個主頁,我們可以看到下面的樣式 點每一個PPT模板的圖片,我們可以進入到詳細的信息頁面,翻到下面,我們可以看到對應的下載地址 點擊這個下載的按鈕,我們便可以下載對應的PPT壓縮包 那我們就開始做吧 首先,查看網頁的源代碼,我們可以看到每一...

    Linux C系統編程-線程互斥鎖(四)

    互斥鎖 互斥鎖也是屬于線程之間處理同步互斥方式,有上鎖/解鎖兩種狀態。 互斥鎖函數接口 1)初始化互斥鎖 pthread_mutex_init() man 3 pthread_mutex_init (找不到的情況下首先 sudo apt-get install glibc-doc sudo apt-get install manpages-posix-dev) 動態初始化 int pthread_...

    統計學習方法 - 樸素貝葉斯

    引入問題:一機器在良好狀態生產合格產品幾率是 90%,在故障狀態生產合格產品幾率是 30%,機器良好的概率是 75%。若一日第一件產品是合格品,那么此日機器良好的概率是多少。 貝葉斯模型 生成模型與判別模型 判別模型,即要判斷這個東西到底是哪一類,也就是要求y,那就用給定的x去預測。 生成模型,是要生成一個模型,那就是誰根據什么生成了模型,誰就是類別y,根據的內容就是x 以上述例子,判斷一個生產出...

    styled-components —— React 中的 CSS 最佳實踐

    https://zhuanlan.zhihu.com/p/29344146 Styled-components 是目前 React 樣式方案中最受關注的一種,它既具備了 css-in-js 的模塊化與參數化優點,又完全使用CSS的書寫習慣,不會引起額外的學習成本。本文是 styled-components 作者之一 Max Stoiber 所寫,首先總結了前端組件化樣式中的最佳實踐原則,然后在此基...

    精品国产乱码久久久久久蜜桃不卡