PyCharm 2025.3 Help

Hadoop YARN

通过 PyCharm,您可以监控您的 Hadoop YARN 指标。

典型工作流程:

  1. 建立与 Hadoop 服务器的连接

  2. 调整预览布局

  3. 筛选要监控的参数

连接到 Hadoop 服务器

  1. Big Data Tools 窗口中,点击 添加连接 并选择 Hadoop YARN

  2. 在打开的 Big Data Tools 对话框中,指定连接参数:

    配置 Hadoop 连接
    • 名称 :连接名称,用于在其他连接中将其区分开来。

    • URL :Hadoop 服务器的 URL。

    可选:您可以设置:

    • 按项目 :选择后,仅为当前项目启用这些连接设置。 如果您希望此连接在其他项目中可见,请清除此复选框。

    • 启用连接 :如果您想禁用此连接,请清除此复选框。 默认情况下,新建的连接处于启用状态。

    • 启用隧道。 此选项会创建到远程主机的 SSH 隧道。 如果目标服务器位于私有网络中,但可以通过 SSH 连接到该网络中的主机,则此选项会很有用。

      选中该复选框并指定 SSH 连接的配置(点击 ... 以创建新的 SSH 配置)。

    • 启用 HTTP 基本身份验证 :使用指定的用户名和密码进行 HTTP 身份验证的连接。

    • 代理 :如果您要使用 IDE 代理设置 ,或要指定自定义代理设置,请选择此项。

    • 您也可以复用任何现有的 Spark 连接。 只需从 Spark 监控 列表中选择它。

  3. 填写完设置后,点击 测试连接 ,以确保所有配置参数正确。 然后点击 确定

您可以随时通过以下任一方式打开连接设置:

  • 转到 工具 | Big Data Tools 设置页面  Ctrl+Alt+S

  • Hadoop YARN 工具窗口的工具栏上点击 设置

建立与 Hadoop 服务器的连接后,将显示 Hadoop YARN 工具窗口。 其中包含多个区域,用于监控以下数据:

由 ResourceManager 提供的集群指标和资源的详细信息。

Hadoop YARN:集群信息

显示负责任务执行的节点信息。

Hadoop YARN:备注

提供所选数据节点的详细信息,包括节点资源分配。

Hadoop YARN:节点标签

用户应用的详细概览,包括应用指标和执行尝试。

Hadoop YARN:应用

监控工具,例如连接设置、日志信息、服务器堆栈详细信息和服务器指标。

Hadoop YARN:工具

有关数据类型的更多信息,请参阅 Hadoop 文档

调整布局

  • 在应用列表中,选择一个进行查看。

  • 要管理监控区域的可见性,请使用以下按钮:

    说明

    预览尝试

    显示执行尝试列表。

    预览详细信息

    显示应用详细信息。

    显示应用详细信息
  • 要聚焦某个特定应用,请点击 应用程序详细信息 监控区域中的 在单独的选项卡中打开 链接。

    点击以在单独的选项卡中预览

    应用的详细信息将显示在单独的选项卡中。

    在单独的选项卡中查看应用
  • 点击 在 Web 上预览 在浏览器中预览任何监控数据。

设置好监控窗口的布局、打开或关闭了一些预览区域后,您可以筛选监控数据以预览特定参数。

筛选监控数据

  • 在监控选项卡中使用筛选按钮(筛选应用状态 ),以显示具有特定状态的应用的详细信息。 选择您要监控的特定应用状态。

    您还可以按用户名、开始时间和结束时间筛选应用列表。 此外,您可以指定筛选后列表中的项目数量上限。

    Hadoop YARN:应用
  • 管理表格中的内容:

    • 点击列标题以更改该列中的数据顺序。

    • 在工具栏上点击 显示/隐藏列 ,选择要在表格中显示的列:

      选择要在表格中显示的列

您可以随时在 Hadoop YARN 工具窗口中点击 刷新 ,手动刷新监控数据。 或者,您可以在 刷新 按钮旁的列表中配置按一定时间间隔自动更新。 您可以选择 5、10 或 30 秒。

最后修改日期: 2025年 12月 2日