HUE配置文件hue.ini 的hdfs_clusters模块详解（图文详解）（分HA集群和非HA集群）-白红宇

HUE配置文件hue.ini 的hdfs_clusters模块详解（图文详解）（分HA集群和非HA集群）

阅读量：6906 次

发布时间：2019-06-27

本文共 6550 字，大约阅读时间需要 21 分钟。

不多说，直接上干货！

　　我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然后，安装目录是在/home/hadoop/app下。

　　官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

　Hue版本：hue-3.9.0-cdh5.5.4

需要编译才能使用（联网） 　说给大家的话：大家电脑的配置好的话，一定要安装cloudera manager。毕竟是一家人的。 同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，做好心里准备。废话不多说，因为我目前读研，自己笔记本电脑最大8G，只能玩手动来练手。 纯粹是为了给身边没高配且条件有限的学生党看的！ 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

　　说在前面的话：

　　[hadoop]这块，配置如下  （注意官网说，WebHdfs  或者  HttpFS）（一般用WebHdfs，那是因为非HA集群。如果是HA集群，则必须还要配置HttpFS）

配置 WebHDFS 或者 HttpFS

Hue 可以通过下面两种方式访问 Hdfs 中的数据：

WebHDFS：提供高速的数据传输，客户端直接和 DataNode 交互。

HttpFS：一个代理服务，方便与集群外部的系统集成。

　　两者都支持 HTTP REST API，但是 Hue 只能配置其中一种方式；对于 HDFS HA部署方式，只能使用 HttpFS。

1、对于 WebHDFS 方式，在每个节点上的 hdfs-site.xml 文件添加如下配置并重启服务：


       
      
       dfs.webhdfs.enabled
        
      
       true

2、配置 Hue 为其他用户和组的代理用户。对于 WebHDFS 方式，在 core-site.xml 添加：


     
       
      
       hadoop.proxyuser.hue.hosts
        
      
       *
       
      
      
      
       hadoop.proxyuser.hue.groups
       
      
       *

对于 HttpFS 方式，在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置并重启 HttpFS 进程：


     
       
      
       httpfs.proxyuser.hue.hosts
        
      
       *
       
      
      
      
       httpfs.proxyuser.hue.groups
       
      
       *

对于 HttpFS 方式，在 core-site.xml 中添加下面配置并重启 hadoop 服务：


           
      
       hadoop.proxyuser.httpfs.hosts
            
      
       *
       
      
      
      
       hadoop.proxyuser.httpfs.groups
       
      
       *

3、修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 属性。

对于 WebHDFS：

webhdfs_url=http://master:50070/webhdfs/v1/

对于 HttpFS：

webhdfs_url=http://master:14000/webhdfs/v1/

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

　　首先，这是官网提供的参考步骤

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

　　一、以下是默认的配置文件

# Configuration for HDFS NameNode  # ------------------------------------------------------------------------  [[hdfs_clusters]]    # HA support by using HttpFs    [[[default]]]      # Enter the filesystem uri      fs_defaultfs=hdfs://localhost:8020      # NameNode logical name.      ## logical_name=      # Use WebHdfs/HttpFs as the communication mechanism.      # Domain should be the NameNode or HttpFs host.      # Default port is 14000 for HttpFs.      ## webhdfs_url=http://localhost:50070/webhdfs/v1      # Change this if your HDFS cluster is Kerberos-secured      ## security_enabled=false      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs      # have to be verified against certificate authority      ## ssl_cert_ca_verify=True      # Directory of the Hadoop configuration      ## hadoop_conf_dir=$HADOOP_CONF_DIR when set or '/etc/hadoop/conf'

　　二、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的hdfs_clusters模块）

　　 最终我的非HA配置信息如下

# Configuration for HDFS NameNode  # ------------------------------------------------------------------------  [[hdfs_clusters]]    # HA support by using HttpFs    [[[default]]]      # Enter the filesystem uri      fs_defaultfs=hdfs://bigdatamaster:9000      # NameNode logical name.      ## logical_name=      # Use WebHdfs/HttpFs as the communication mechanism.      # Domain should be the NameNode or HttpFs host.      # Default port is 14000 for HttpFs.      webhdfs_url=http://bigdatamaster:50070/webhdfs/v1      # Change this if your HDFS cluster is Kerberos-secured      ## security_enabled=false      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs      # have to be verified against certificate authority      ## ssl_cert_ca_verify=True      # Directory of the Hadoop configuration      hadoop_conf_dir=/home/hadoop/app/hadoop/etc/hadoop/conf

三、以下是跟我机器集群匹配的配置文件（HA集群下怎么配置Hue的hdfs_clusters模块）

　　注意，在hdfs_clusters模块里，若要配置HA的话，则必须是要用到HttpFs。请看Hue的官网配置例子

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4/manual.html#_install_hue

　　注意：在$HADOOP_HOME/etc/hadoop/下的httpfs-site.xml。（djt11、djt12、djt12、djt14和djt15都需要配置）

　　先配置好如下


       
      
       httpfs.proxyuser.hue.hosts
        
      
       *
      
     
       
      
       httpfs.proxyuser.hue.groups
        
      
       *

同时，还要配置WebHdfs，别忘记啦！

　　在core-site.xml 和 hdfs-site.xml下，添加如下

　　core-site.xml下


       
      
       hadoop.proxyuser.hue.hosts
        
      
       *
      
     
       
      
       hadoop.proxyuser.hue.groups
        
      
       *

　　hdfs-site.xml下


       
      
       dfs.webhdfs.enabled
        
      
       true

　　hdfs_cluster模块

[[hdfs_clusters]]    # HA support by using HttpFs    [[[default]]]      # Enter the filesystem uri      ##--Customer Configuration --##      fs_defaultfs=hdfs://cluster1      # NameNode logical name.      logical_name=cluster1      # Use WebHdfs/HttpFs as the communication mechanism.      # Domain should be the NameNode or HttpFs host.      # Default port is 14000 for HttpFs.      ##--Customer Configuration --##      webhdfs_url=http://djt12:14000/webhdfs/v1      # Change this if your HDFS cluster is Kerberos-secured      ## security_enabled=false      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs      # have to be verified against certificate authority      ## ssl_cert_ca_verify=True      # Directory of the Hadoop configuration      hadoop_conf_dir=/home/hadoop/app/hadoop/etc/hadoop/conf

　　成功!

　　同时，大家还要安装好HttpFS，怎么安装，请移步我下面的博客

　　因为配置了httpfs，hue才能去操作hdfs中的数据。

　　　　或者，比如，我的HA集群是如下

　　hue.ini文件

　　在hadoop的core-site.xml下面加上


             
      
       hadoop.proxyuser.hue.hosts
              
      
       *
          
         
             
      
       hadoop.proxyuser.hue.groups
              
      
       *