hue的簡介及基本原理

hue定義：

HUE=Hadoop User Experience

個人理解：可視圖的webui界面，方便大數據技術之間的CRUD操作。
官方定義：Hue是一個能夠與Apache Hadoop交互的Web應用程序。一個開源的Apache Hadoop UI。
特性：一個HDFS的文件瀏覽器，一個MapReduce/YARN的Job瀏覽器，一個 HBas的瀏覽器，Hive，Pig，Cloudera Impala 和 Sqoop2 的查詢編輯器。它還附帶了一個Oozie的應用程序，用于創建和監控工作流程，一個Zookeeper瀏覽器和SDK。
歷史演變：Hue是一個開源的Apache Hadoop UI系統，由Cloudera Desktop演化而來，最后Cloudera公司將其貢獻給Apache基金會的Hadoop社區，它是基于Python Web框架Django實現的。

hue的核心功能：

SQL編輯器：支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…
搜索引擎Solr的各種圖表
Spark和Hadoop的友好界面支持
支持調度系統Apache Oozie，可進行workflow的編輯、查看

　HUE提供的這些功能相比Hadoop生態各組件提供的界面更加友好，但是一些需要debug的場景可能還是需要使用原生系統才能更加深入的找到錯誤的原因。

　HUE中查看Oozie workflow時，也可以很方便的看到整個workflow的DAG圖，不過在最新版本中已經將DAG圖去掉了，只能看到workflow中的action列表和他們之間的跳轉關系，想要看DAG圖的仍然可以使用oozie原生的界面系統查看

hue的架構：

　　Hue 是一個Web應用，用來簡化用戶和Hadoop集群的交互。Hue技術架構，如下圖所示，從總體上來講，Hue應用采用的是B/S架構，該web應用的后臺采用python編程語言別寫的。大體上可以分為三層，分別是前端view層、Web服務層和Backend服務層。Web服務層和Backend服務層之間使用RPC的方式調用。

hue與其他技術的整合

由于大數據框架很多，為了解決某個問題，一般來說會用到多個框架，但是每個框架又都有自己的web UI監控界面，對應著不同的端口號。比如HDFS(50070)、YARN(8088)、MapReduce(19888)等。這個時候有一個統一的web UI界面去管理各個大數據常用框架是非常方便的。這就使得對大數據的開發、監控和運維更加的方便。

從上圖可以看出，Hue幾乎可以支持所有大數據框架，包含有HDFS文件系統對的頁面(調用HDFS API，進行增刪改查的操作)，有HIVE UI界面(使用HiveServer2，JDBC方式連接，可以在頁面上編寫HQL語句，進行數據分析查詢)，YARN監控及Oozie工作流任務調度頁面等等。Hue通過把這些大數據技術棧整合在一起，通過統一的Web UI來訪問和管理，極大地提高了大數據用戶和管理員的工作效率。這里總結一下Hue支持哪些功能：

默認基于輕量級sqlite數據庫管理會話數據，用戶認證和授權，可以自定義為MySQL、Postgresql，以及Oracle
基于文件瀏覽器（File Browser）訪問HDFS
基于Hive編輯器來開發和運行Hive查詢
支持基于Solr進行搜索的應用，并提供可視化的數據視圖，以及儀表板（Dashboard）
支持基于Impala的應用進行交互式查詢
支持Spark編輯器和儀表板（Dashboard）
支持Pig編輯器，并能夠提交腳本任務
支持Oozie編輯器，可以通過儀表板提交和監控Workflow、Coordinator和Bundle
支持HBase瀏覽器，能夠可視化數據、查詢數據、修改HBase表
支持Metastore瀏覽器，可以訪問Hive的元數據，以及HCatalog
支持Job瀏覽器，能夠訪問MapReduce Job（MR1/MR2-YARN）
支持Job設計器，能夠創建MapReduce/Streaming/Java Job
支持Sqoop 2編輯器和儀表板（Dashboard）
支持ZooKeeper瀏覽器和編輯器
支持MySql、PostGresql、Sqlite和Oracle數據庫查詢編輯器
使用sentry基于角色的授權以及多租戶的管理.（Hue 2.x or 3.x）

hue支持的框架
          -> hadoop
               -> HDFS
                    -> CRUD
               -> yarn
                    -> 任務的監控
                         -> 自動刷新，權限管理
          -> oozie
               -> 任務的監控及調度
               -> 便捷的任務流的圖形化的編寫
          -> PIG
          -> hive
               -> 提供簡潔的圖形化操作界面
               -> 提供報表的生成
          -> impala
          -> hbase
          -> sqoop2
          -> RDBMS
               -> MySQL
               -> oracle

本文鏈接：https://blog.csdn.net/FlizhN/article/details/108972782

智能推薦

Dubbo的基本原理

Dubbo的分層： Dubbo JEE出現的問題：解決方式：SOA SOA的兩種實現方式：web Service 、ESB SOA的缺點： Dubbo的設計思想：微內核+插件體系主要職位：生產者、消費者、注冊者、監控者分布式框架要解決的問題： 1.高性能、透明的RPC調用；（負載均衡、路由、協議轉換、序列化） 2.服務的自動注冊與發現 3...

HTTP的基本原理

HTTP的基本原理 HTTP：超文本傳輸協議，HTTP 協議是用于從網絡傳輸超文本數據到本地瀏覽器的傳送協議，它能保證高效而準確地傳送超文本文檔。 HTTPS：通過SSL加密版的HTTP協議。一次發送請求和接收響應會有一系列的過程，如下：常見的請求方法，get 、host GET 和 POST 請求方法有如下區別： GET 請求中的參數包含在 URL 里面，數據可以在 URL 中看到，而 PO...

HTML中常用操作關于：頁面跳轉，空格

1.頁面跳轉 2.空格的代替符...

freemarker + ItextRender 根據模板生成PDF文件

1. 制作模板 2. 獲取模板，并將所獲取的數據加載生成html文件 2. 生成PDF文件其中由兩個地方需要注意，都是關于獲取文件路徑的問題，由于項目部署的時候是打包成jar包形式，所以在開發過程中時直接安照傳統的獲取方法沒有一點文件，但是當打包后部署，總是出錯。于是參考網上文章，先將文件讀出來到項目的臨時目錄下，然后再按正常方式加載該臨時文件；還有一個問題至今沒有解決，就是關于生成PDF文件...

電腦空間不夠了？教你一個小秒招快速清理 Docker 占用的磁盤空間！

Docker 很占用空間，每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時，我們的磁盤空間會被大量占用。如果你也被這個問題所困擾，咱們就一起看一下 Docker 是如何使用磁盤空間的，以及如何回收。 docker 占用的空間可以通過下面的命令查看： TYPE 列出了docker 使用磁盤的 4 種類型： Images：所有鏡像占用的空間，包括拉取下來的鏡像，和本地構建的。 Con...