共享目录 |
您可以将网络中共享的或本地文件目录中的csv文件、udb 数据集文件及子文件夹,以及本地文件目录中的 TIFF、GeoTIFF 栅格数据用于分布式分析。其中,将本地文件目录中存储的栅格数据(如 TIFF、GeoTIFF )注册到 iServer 后,可分布式入库到 HBase、HDFS 分布式存储库以及本地文件系统存储中。
您还可以将网络中共享的或本地文件目录中的udb 数据集文件及子文件夹用于机器学习服务。
1. 分布式分析服务
配置步骤如下:
启动 iServer 后,依次点击集群”、“数据注册”。
进入数据目录页面,点击"注册数据存储"。
创建"存储ID"、依次选择"大数据目录共享" 、"共享目录"。
配置"共享目录"时,您可进行以下操作:
根据您决定使用的 Spark 集群节点数 :
建议:多个 Spark Worker 节点时,为避免映射盘符冲突,不要将数据所在的计算机作为 Spark Worker 节点。
根据您注册的文件类型 :
如果注册的是带有csv文件的文件目录,则需填写csv文件所在的目录的上一级目录。以下图为例,填写的路径为F:\file\test,其中,csv文件的字段、属性等格式必须相同。(仅支持已只读的方式打开csv文件目录)
点击"注册数据存储"按钮即完成注册。
您所需的数据存储已注册完成,可进行分布式分析。
注:如果您注册的是 csv 数据文件,需要经过验证,才可用于分布式分析服务。详见:csv 数据文件验证
配置步骤如下:
启动 iServer 后,依次点击集群”、“数据注册”。
进入数据目录页面,点击"注册数据存储"。
创建"存储ID"、依次选择"大数据目录共享" 、"共享目录"。
如果注册的是udb文件,则直接填写该文件所在的目录路径,如:/home/supermap/data