HDFS目录

发送反馈

您可以将HDFS 中存储的 csv 数据、index文件，以及 TIFF、GeoTIFF 栅格数据用于分布式分析。其中，将 HDFS 目录中存储的栅格数据（如 TIFF、GeoTIFF ）注册到 iServer 后，可分布式入库到 HBase、HDFS 分布式存储库以及本地文件系统存储中。

注册HDFS目录

配置步骤如下：

  1. 启动 iServer 后，依次点击"集群”、“数据注册”。
  2. 进入数据目录页面，点击"注册数据存储"。
  3. 创建"存储ID"、依次选择"大数据目录共享" 、"HDFS目录"。
  4. 配置"HDFS目录"时，您可进行以下操作进行:
    • 如果需注册的是存于HDFS上的单独的csv文件，您可以直接填HDFS路径+csv名称，如：hdfs://{ip}:9000/data/newyork_taxi_2013-01_14k.csv
    • 如果注册的是带有csv文件的文件目录，csvfolder下含有N个CSV文件（仅支持已只读的方式打开HDFS目录）：
      • 所含CSV文件的字段、属性等格式都相同时，注册时则需填写CSV文件所在的目录的上一级目录，如hdfs://{ip}:9000/data，其中，data为csvfolder的上一级目录。
      • 所含CSV文件不同时，注册时则可填写CSV文件所在的目录，如hdfs://{ip}:9000/data/csvfolder。
    • 如果注册的是带有index的文件目录，则需填写index文件所在目录，如hdfs://{ip}:9000/data/indexfolder，其中，indexfolder下含有index文件。
    • 如果注册的是 TIFF、GeoTIFF  数据，则需填写 TIFF、GeoTIFF  数据所在目录，如hdfs://{ip}:9000/data/TIFF，其中，TIFF 下含有 TIFF、GeoTIFF  文件。
    • 如果注册的是HDFS集群为高可用模式，则可以直接填高可用的HDFS地址，如，hdfs://{高可用地址}/data。
  5. 如果您需要注册的是已开启Kerberos认证的HDFS目录，您填写完HDFS目录后，需勾选“已开启Kerberos认证”，还需进行如下配置：
    1. 主体名称： 用户名@域。例如：iServer@SUPERMAP1.COM
      • 用户名：必须是 HDFS集群 Mater 节点的一个系统用户。
      • 域：Kerberos服务设定的域。（必须与HDFS集群所在的域相同）
    2. 秘钥文件路径：搭建集群的过程中生的密钥文件拷贝到 iServer 服务所在机器的文件位置。
    3. 配置文件位置：  iServer 服务所在机器的 Kerberos 客户端配置文件所在文件位置。
    4. 如果您需选用HDFS集群为高可用模式，a，b，c步配置完后，您将HDFS集群配置文件中的core-site.xml和hdfs-site.xml拷贝到iServer所在机器任意指定位置后，还需配置以下参数：
      • Hadoop集群core-site.xml文件路径：iServer所在机器中core-site.xml文件路径
      • HDFS集群hdfs-site.xml文件路径：iServer所在机器中hdfs-site.xml文件路径
  1. 点击"注册数据存储"按钮即完成注册。

       您所需的数据存储已注册完成，可进行分布式分析。

   注：1. 如果您注册的是csv 数据文件，需要经过验证，才可用于分布式分析服务。详见：csv 数据文件验证

2. 如果注册的是已开启Kerberos认证的HDFS目录，且分布式分析服务使用开启Kerberos认证的Hadoop Yarn集群时，才可用于分布式分析。