分布式分析服务配置与管理

发送反馈

分布式分析服务采用分布式计算技术，可对超大体量空间数据集进行分布式空间分析和数据处理。 iServer 支持可视化配置分布式分析服务。 那么该如何配置分布式分析服务，本节将详细为您介绍：

  1. 配置分布式计算集群

分布式分析服务需要有分布式计算集群的支撑，通过调用分布式计算集群的能力，从而提供分布式分析相关功能，所以在配置分布式分析服务时，需要配置支撑该服务的计算集群。

iServer 目前支持三种计算集群，配置步骤如下：

  1. 使用 iServer 内置的 Spark集群
    1. 准备环境。具体可参见使用iServer内置Spark前的环境准备。
    2. 启动本机的Spark集群，具体请参见启动 iServer 内置的 Spark 集群服务。
  2. 使用 iServer 外部的 Spark 集群。
    1. 如果您没有一个可用的Spark集群，您可在其他计算机上 自行搭建 Spark 分布式集群。
    2. 如果您已有一个可用的Spark集群，还需在 iServer 中进行配置才可使用，详细请参见使用 iServer外部的 Spark 集群。
  3. 使用 iServer 外部的 Hadoop Yarn集群
    1. 在使用Hadoop Yarn集群之前，iServer所在机器需要做若干配置，具体参见 iServer使用Hadoop Yarn集群前的环境配置。
    2. 使用未开启 Kerberos 认证的 Hadoop Yarn集群，详细配置请参见使用Hadoop Yarn集群。如果您需搭建一个未开启 Kerberos 的 Hadoop Yarn 集群，请参见搭建未开启 Kerberos 认证的 Hadoop Yarn集群。
    3. 使用开启 Kerberos 认证的 Hadoop Yarn 集群，详细配置请参见使用开启 Kerberos 认证的Hadoop Yarn集群。如果您需搭建一个开启 Kerberos 认证的 Hadoop Yarn 集群，请参见自行搭建开启 Kerberos 认证的 Hadoop Yarn 集群。

注：iServer 还为您提供了一些Spark 集群优化配置，提升服务性能。

  1. 配置分布式分析服务设置

配置步骤如下：

  1. 在主节点机器中启动 iServer 后，进入分布式分析页面
  2. 在iServer 服务管理器（http://supermapiserver:8090/iserver/manager）中点击“分布式分析服务”选项卡
  3. 勾选“是否启用”，分别配置以下参数：
  1. 结果输出设置：支持输出到本地磁盘、iServer DataStore、注册的数据库（HBase、PostGIS和PGSQL）。默认：本地磁盘。
  2. 分析结果是否发布为服务：用于设置是否将分析结果发布为服务。默认：分析结果发布为服务。
    1. 勾选（或者默认情况）：支持将分析结果发布为rest 地图服务、rest 数据服务。则还需进行关联服务相关配置，具体配置如下：
      1. 关联服务地址：发布分布式分析的结果为iServer服务时，可选择的iserver服务地址。选填参数。默认：http://localhost:8090/iserver。（目前仅支持关联服务所在的iServer与当前的iServer位于同一台机器上）
      2. 关联服务Token：所设定的关联服务的token。必填参数。
    2. 不勾选。分析结果将不发布为iServer服务。
  1. JVM最大堆大小：jvm最大堆内存。选填参数。默认：1024m。（若分析结果数据比较大时，建议修改下该参数，建议修改为4g或更大）
  2. 进程端口：分布式分析服务进程的端口。 选填参数。默认：6765

 

  1. 点击保存。
  2. 配置分布式分析服务安全设置
  3. 您可以通过管理页面进入分布式分析服务创建分布式分析作业。

分布式分析服务开启后，您可以通过设置专题图模板，为发布的服务增加丰富的可视化渲染效果。