HDFS
安装 Remote File Systems 插件
此功能依赖于 Remote File Systems插件，您需要安装并启用。
按 Ctrl+Alt+S 打开设置，然后选择 。
打开 Marketplace 选项卡，找到 Remote File Systems插件，然后点击 安装 （如有提示，请重新启动 IDE）。
连接到 HDFS 服务器
在 Big Data Tools 窗口中，点击
并选择 HDFS。在打开的 Big Data Tools 对话框中，指定连接参数：
名称 ：用于区分其他连接的连接名称。
在 配置源 ，选择以下之一：
此外，您可以设置：
按项目 ：选择仅对当前项目启用这些连接设置。 如果希望此连接在其他项目中可见，请取消选中复选框。
启用连接 ：如果希望禁用此连接，请取消选中复选框。 默认情况下，新建的连接是启用的。
Hadoop 用户名 ：输入用户名以登录服务器。 如果未指定，将使用
HADOOP_USER_NAME环境变量。 如果此变量未定义，则使用user.name属性。 如果启用了 Kerberos，它将覆盖这三个值中的任意一个。启用隧道（仅限 NameNode 操作）. 此选项会创建到远程主机的 SSH 隧道。 如果目标服务器位于私有网络内，但可以通过 SSH 连接到网络中的主机，这可能会很有用。 SSH 隧道目前仅适用于具有以下 NameNodes 的操作：列出文件，获取元信息。
选中复选框并指定 SSH 连接的配置（点击 … 创建新的 SSH 配置）。
您可以在 扩展连接设置 下进行设置：
根路径 ：目标服务器上的一个路径，将作为 HDFS 连接的根目录。
操作超时(秒) ：输入对远程存储执行的操作（例如获取文件信息、列出或删除对象）的超时时间（秒）。 默认值为 15 秒。
填写设置后，点击 测试连接 以确保所有配置参数正确。 然后点击 OK。
当连接成功建立时， 驱动程序主路径 字段显示连接的目标 IP 地址及端口号。 示例： hdfs://127.0.0.1:65224/ 。
Hadoop 文件系统配置文件示例
类型 | 示例配置 |
|---|---|
HDFS |
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://example.com:9000/</value>
</property>
</configuration>
|
S3 |
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
<property>
<name>fs.s3a.access.key</name>
<value>sample_access_key</value>
</property>
<property>
<name>fs.s3a.secret.key</name>
<value>sample_secret_key</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>s3a://example.com/</value>
</property>
</configuration>
|
WebHDFS |
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.webhdfs.impl</name>
<value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>webhdfs://master.example.com:50070/</value>
</property>
</configuration>
|
WebHDFS 和 Kerberos |
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.webhdfs.impl</name>
<value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>webhdfs://master.example.com:50070</value>
</property>
<property>
<name>hadoop.security.authentication</name>
<value>Kerberos</value>
</property>
<property>
<name>dfs.web.authentication.kerberos.principal</name>
<value>testuser@EXAMPLE.COM</value>
</property>
<property>
<name>hadoop.security.authorization</name>
<value>true</value>
</property>
</configuration>
|