二、Apache Hue介紹 及安裝
1.Hue是什么
HUE=Hadoop User Experience
Hue是一個開源的Apache Hadoop UI系統,由Cloudera Desktop演化而來,最后Cloudera公司將其貢獻給Apache基金會的Hadoop社區,它是基于Python Web框架Django實現的。
通過使用Hue,可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互,來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job,執行Hive的SQL語句,瀏覽HBase數據庫等等。
2.Hue能做什么
訪問HDFS和文件瀏覽
通過web調試和開發hive以及數據結果展示
查詢solr和結果展示,報表生成
通過web調試和開發impala交互式SQL Query
spark調試和開發
Pig開發和調試
oozie任務的開發,監控,和工作流協調調度
Hbase數據查詢和修改,數據展示
Hive的元數據(metastore)查詢
MapReduce任務進度查看,日志追蹤
創建和提交MapReduce,Streaming,Java job任務
Sqoop2的開發和調試
Zookeeper的瀏覽和編輯
數據庫(MySQL,PostGres,SQlite,Oracle)的查詢和展示
3.Hue的架構
Hue是一個友好的界面集成框架,可以集成各種大量的大數據體系軟件框架,通過一個界面就可以做到查看以及執行所有的框架。
Hue提供的這些功能相比Hadoop生態各組件提供的界面更加友好,但是一些需要debug的場景可能還是要使用原生系統才能更加深入的找到錯誤的原因。
三、Hue的安裝
1.上傳解壓安裝包
Hue的安裝支持多種方式,包括rpm包的方式進行安裝、tar.gz包的方式進行安裝以及cloudera manager的方式來進行安裝等,我們這里使用tar.gz包的方式來進行安裝。
Hue的壓縮包的下載地址:
http://archive.cloudera.com/cdh5/cdh/5/
我們這里使用的是CDH5.14.0這個對應的版本,具體下載地址為
http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
cd /export/servers/
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz
2.編譯初始化工作
2.1.聯網安裝各種必須的依賴包
yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel
2.2.Hue初始化配置
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=node-1
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用mysql作為hue的存儲數據庫,大概在hue.ini的587行左右
[[database]]
engine=mysql
host=node-1
port=3306
user=root
password=Hadoop
name=hue
2.3.創建mysql中Hue使用的DB
create database hue default character set utf8 default collate utf8_general_ci;
3.編譯Hue
cd /export/servers/hue-3.9.0-cdh5.14.0
make apps
編譯成功之后,會在hue數據庫中創建許多初始化表。
4.啟動Hue、Web UI訪問
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
頁面訪問路徑:
http://node-1:8888
第一次訪問的時候,需要設置超級管理員用戶和密碼。記住它。
若想關閉Hue ,直接在窗口ctrl+c即可。
智能推薦
Apache Hue:Hue集成Impala
Hue集成Impala 修改Hue.ini 重啟Hue cd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor...
Apache Hue:Hue集成Hbase
Hue集成Hbase 修改hbase配置 在hbase-site.xml配置文件中的添加如下內容,開啟hbase thrift服務。 修改完成之后scp給其他機器上hbase安裝包。 修改hadoop配置 在core-site.xml中確保 HBase被授權代理,添加下面內容。 把修改之后的配置文件scp給其他機器和hbase安裝包conf目錄下。 修改Hue配置 啟動hbase(包括thrift...
Apache Hue: Hue集成Mysql
Hue集成Mysql ** 修改hue.ini** 需要把mysql的注釋給去掉。 大概位于1546行 重啟hue cd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor...
Apache Hue: Hue集成Hive
Hue集成Hive 如果需要配置hue與hive的集成,我們需要啟動hive的metastore服務以及hiveserver2服務(impala需要hive的metastore服務,hue需要hvie的hiveserver2服務)。 修改Hue.ini 啟動Hive服務、重啟hue 去node-1機器上啟動hive的metastore以及hiveserver2服務 cd /export/serve...
Apache Hue:Hue集成YARN
Hue集成YARN 修改hue.ini 開啟yarn日志聚集服務 MapReduce 是在各個機器上運行的, 在運行過程中產生的日志存在于各個機器上,為了能夠統一查看各個機器的運行日志,將日志集中存放在 HDFS 上, 這個過程就是日志聚集。 vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/yarn-site.xml 重啟Yarn Hue...
猜你喜歡
Apache Hue: Hue集成HDFS
Hue集成HDFS 注意修改完HDFS相關配置后,需要把配置scp給集群中每臺機器,重啟hdfs集群。 修改core-site.xml配置 修改hdfs-site.xml配置 修改hue.ini cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf vim hue.ini 重啟HDFS、Hue start-dfs.sh cd /export/ser...
Hue>Hue的安裝
1.上傳解壓安裝包 Hue的安裝支持多種方式,包括rpm包的方式進行安裝、tar.gz包的方式進行安裝以及cloudera manager的方式來進行安裝等,我們這里使用tar.gz包的方式來進行安裝。 Hue的壓縮包的下載地址: http://archive.cloudera.com/cdh5/cdh/5/ 我們這里使用的是CDH5.14.0這個對應的版本,具體下載地址為 http://arch...
Apache Cassandra 的安裝及使用 (二)
一、cassandra-php擴展 1、cassandra擴展依賴庫: 使用homebrew安裝依賴 使用apt-get安裝 使用yum安裝 編譯安裝cpp-driver (依賴包參照官方文檔安裝 DataStax C/C++ Driver for Apache Cassandra ) 2、 pecl安裝 cassandra 擴展 : 若沒有pecl命令,需要先將/opt/lampp/bin/ 目...
freemarker + ItextRender 根據模板生成PDF文件
1. 制作模板 2. 獲取模板,并將所獲取的數據加載生成html文件 2. 生成PDF文件 其中由兩個地方需要注意,都是關于獲取文件路徑的問題,由于項目部署的時候是打包成jar包形式,所以在開發過程中時直接安照傳統的獲取方法沒有一點文件,但是當打包后部署,總是出錯。于是參考網上文章,先將文件讀出來到項目的臨時目錄下,然后再按正常方式加載該臨時文件; 還有一個問題至今沒有解決,就是關于生成PDF文件...