启动本机的spark集群服务

启动 iServer 本机的 Spark 集群

主节点与子节点需分别配置。步骤如下：

启动集群主节点

1. 在主节点机器中启动 iServer 后，进入集群配置页面
2. 在iServer 服务管理器（http://supermapiserver:8090/iserver/manager）中点击“配置集群”选项卡
3. 勾选“是否启用分布式计算集群”，选择“启用本机的spark集群（默认）”，点击保存。此时系统会自动启动 Spark 分布式集群的主节点，在服务列表页面同时会显示分布式分析服务 distributedanalyst/rest。您可以通过 Spark 的 WebUI（http://{ip}:8080）， 查看 Spark 集群的状态
4. 如果要使主节点参与数据处理，需要将主节点加入集群，详细参考子节点加入集群。

子节点加入集群

1. 在子节点机器中启动 iServer 后，进入集群配置页面
2. 依次点击“加入集群”选项卡、“添加报告器”
3. “集群服务地址”项填入http://{主节点IP}:{port}/iserver/services/cluster，需要勾选“是否分布式分析节点”和“报告器是否启用”
4. 如果加入的集群开启了安全控制，需填写“安全Token”
5. 点击保存完成后，您可以通过 Spark 的 WebUI（http://{ip}:8080）， 查看到都有哪些 Spark Workers 加入了 Spark 集群。
6. 需在主节点中创建任务。

注：必须先启动集群主节点。如果先加入子节点，则子节点不会加入 Spark 集群。需先移除已添加的报告器，主节点启动后，子节点再重新添加报告器。

如果您已经自行搭建了其他分布式计算集群，iServer 支持通过“使用其他分布式计算集群”来使用分布式分析服务和实时数据分析。

使用其他的分布式计算集群

1. 进入 iServer 服务管理器，如：http://supermapiserver:8090/iserver/manager
2. 进入“配置集群”页面，如：http://supermapiserver:8090/iserver/manager/clustermembers
3. 勾选“是否启用分布式计算集群”，选择“启用其他的分布式计算集群”，然后根据以下配置方式输入您的信息
   • 如果您想要使用 iServer 外部的 Spark 集群，您需勾选“Spark集群”，输入您已搭建的 Spark 分布式集群主节点服务地址，点击保存；
   • 如果您想要使用 iServer 外部的Hadoop Yarn 集群，且在iServer所在的机器上做了若干使用Hadoop Yarn集群的配置后，您需勾选“Yarn集群”
   • • 如果是未开启 Kerberos 认证的Hadoop  Yarn 集群，您需输入Hadoop Yarn集群配置目录，即将Hadoop Yarn集群主节点中【hadoop安装包】/etc/hadoop 目录拷贝到iServer服务所在计算机上的位置 。
     • 如果是开启Kerberos认证的Hadoop Yarn集群，您除了输入Hadoop Yarn集群配置目录外，还需进行以下配置：
     • 1.  勾选“Yarn集群是否已开启 Kerberos 认证”
       2. 配置"主体名称"：用户名@域。例如：iserver@SUPERMAP1.COM

用户名：必须是Hadoop Yarn 集群 Mater 节点的一个系统用户。

域：Kerberos服务设定的域。（必须与Hadoop Yarn集群所在的域相同）

4. 配置启用分布式分析服务，然后在服务列表页面（http://supermapiserver:8090/iserver/services）中访问分布式分析服务 distributedanalyst/rest，即可使用分布式分析服务。