默认情况下,Azure 机器学习笔记本中提供了无服务器 Spark 计算。 若要在笔记本中访问它,请从“计算”选择菜单的“Azure 机器学习无服务器 Spark”下选择“无服务器 Spark 计算”。

笔记本 UI 还为无服务器 Spark 计算提供了 Spark 会话配置选项。 配置 Spark 会话:

    选择屏幕顶部的“配置会话”。

    从下拉菜单中选择“Apache Spark 版本”。

    重要

    适用于 Apache Spark 的 Azure Synapse 运行时:公告
        适用于 Apache Spark 3.2 的 Azure Synapse 运行时:
            EOLA 公告日期:2023 年 7 月 8 日
            支持结束日期:2024 年 7 月 8 日。 在此日期之后,将会禁用运行时。
        为了获取持续支持和最佳性能,建议迁移到 Apache Sark 3.3。

    从下拉菜单中选择“实例类型”。 当前支持以下实例类型:
        Standard_E4s_v3
        Standard_E8s_v3
        Standard_E16s_v3
        Standard_E32s_v3
        Standard_E64s_v3

    输入 Spark 会话超时值(以分钟为单位)。

    选择是否动态分配执行程序

    选择 Spark 会话的执行程序数量。

    从下拉菜单中选择“执行程序大小”。

    从下拉菜单中选择“驱动程序大小”。

    要使用 Conda 文件配置 Spark 会话,请选中“上传 conda 文件”复选框。 然后,选择“浏览”,并选择具有所需 Spark 会话配置的 Conda 文件。

    添加“配置设置”属性,在“属性”和“值”文本框中输入值,然后选择“添加”。

    选择“应用”。

    在“配置新会话?”弹出窗口中选择“停止会话”。