DataSpell 2025.2 Help

HDFS

连接到 HDFS 服务器

  1. 在 Big Data Tools 窗口中，点击 添加连接 并选择 HDFS。

  2. 在打开的 Big Data Tools 对话框中，指定连接参数：

    HDFS 连接

    • 名称 ：用于区分其他连接的连接名称。

    • 在 配置源 ，选择以下之一：

      • 自定义 ：在 集群 URI 框中，输入您的 HDFS 服务器的 URI。 如果使用 Kerberos来控制对 HDFS 服务器的访问，请在 Kerberos 下选择 身份验证。

      • 配置文件夹 ：指向 HDFS 配置文件目录的路径。 请参见配置文件的 示例。

    此外，您可以设置：

    • 启用连接 ：如果希望禁用此连接，请取消选中复选框。 默认情况下，新建的连接是启用的。

    • Hadoop 用户名 ：输入用户名以登录服务器。 如果未指定，将使用 HADOOP_USER_NAME 环境变量。 如果此变量未定义，则使用 user.name 属性。 如果启用了 Kerberos，它将覆盖这三个值中的任意一个。

    • 启用隧道（仅限 NameNode 操作）. 此选项会创建一个到远程主机的 SSH 隧道。 如果目标服务器位于私有网络内，但可以通过 SSH 连接到网络中的主机，这可能会很有用。 SSH 隧道目前仅适用于具有以下 NameNodes 的操作：列出文件，获取元信息。

      请选择复选框并指定 SSH 连接的配置（点击 ... 以创建新的 SSH 配置）。

    • 您可以在 扩展连接设置 下进行设置：

      • 根路径 ：目标服务器上的一个路径，将作为 HDFS 连接的根目录。

      • 操作超时时间（秒） ：输入对远程存储执行的操作（例如获取文件信息、列出或删除对象）的超时时间（秒）。 默认值为 15 秒。

  3. 填写设置后，点击 测试连接 以确保所有配置参数正确。 然后点击 确定。

当连接成功建立时， 驱动程序主路径 字段显示连接的目标 IP 地址及端口号。 示例： hdfs://127.0.0.1:65224/ 。

Hadoop 文件系统配置文件示例

Type

示例配置

HDFS

<?xml version="1.0"?> <configuration> <property> <name>fs.hdfs.impl</name> <value>org.apache.hadoop.hdfs.DistributedFileSystem</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://example.com:9000/</value> </property> </configuration>

S3

<?xml version="1.0"?> <configuration> <property> <name>fs.s3a.impl</name> <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value> </property> <property> <name>fs.s3a.access.key</name> <value>sample_access_key</value> </property> <property> <name>fs.s3a.secret.key</name> <value>sample_secret_key</value> </property> <property> <name>fs.defaultFS</name> <value>s3a://example.com/</value> </property> </configuration>

WebHDFS

<?xml version="1.0"?> <configuration> <property> <name>fs.webhdfs.impl</name> <value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value> </property> <property> <name>fs.defaultFS</name> <value>webhdfs://master.example.com:50070/</value> </property> </configuration>

WebHDFS 和 Kerberos

<?xml version="1.0"?> <configuration> <property> <name>fs.webhdfs.impl</name> <value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value> </property> <property> <name>fs.defaultFS</name> <value>webhdfs://master.example.com:50070</value> </property> <property> ​ <name>hadoop.security.authentication</name> <value>Kerberos</value> </property> <property> <name>dfs.web.authentication.kerberos.principal</name> <value>testuser@EXAMPLE.COM</value> </property> <property>​ <name>hadoop.security.authorization</name>​ <value>true</value>​ </property> </configuration>
最后修改日期： 2025年 9月 27日
Yandex 对象存储SFTP