DataSpell 2025.2 Help

Spark

使用 Spark 插件,您可以在 IDE 中创建、提交并监控 Spark 任务。 插件功能包括:

  • 用于构建并上传 Spark 应用程序到集群的 Spark Submit 运行配置。

  • 用于监控提交的作业、查看 DAG 可视化等的 Spark 监控 工具窗口。 这包括从 Spark Submit 运行配置和 EMR 步骤提交的作业。 如果您已安装 Zeppelin 插件,您还可以从 Zeppelin 笔记本中打开 Spark 作业。

  • 在不离开 IDE 的情况下与其他大数据工具集成(从 AWS EMR 打开 Spark 应用程序,从 Hadoop YARN 导航到 Spark 任务,在 S3 存储中查看日志)。

安装 Spark 插件

此功能依赖 Spark 插件,您需要安装并启用。

  1. Ctrl+Alt+S 打开设置,然后选择 Plugins

  2. 打开 Marketplace 选项卡,找到 Spark插件,然后点击 安装 (如果出现提示,请重新启动IDE)。

在本章中:

最后修改日期: 2025年 9月 27日