默认情况下,Azure 机器学习笔记本中提供了无服务器 Spark 计算。 若要在笔记本中访问它,请从“计算”选择菜单的“Azure 机器学习无服务器 Spark”下选择“无服务器 Spark 计算”。
笔记本 UI 还为无服务器 Spark 计算提供了 Spark 会话配置选项。 配置 Spark 会话:
选择屏幕顶部的“配置会话”。
从下拉菜单中选择“Apache Spark 版本”。
重要
适用于 Apache Spark 的 Azure Synapse 运行时:公告
适用于 Apache Spark 3.2 的 Azure Synapse 运行时:
EOLA 公告日期:2023 年 7 月 8 日
支持结束日期:2024 年 7 月 8 日。 在此日期之后,将会禁用运行时。
为了获取持续支持和最佳性能,建议迁移到 Apache Sark 3.3。
从下拉菜单中选择“实例类型”。 当前支持以下实例类型:
Standard_E4s_v3
Standard_E8s_v3
Standard_E16s_v3
Standard_E32s_v3
Standard_E64s_v3
输入 Spark 会话超时值(以分钟为单位)。
选择是否动态分配执行程序
选择 Spark 会话的执行程序数量。
从下拉菜单中选择“执行程序大小”。
从下拉菜单中选择“驱动程序大小”。
要使用 Conda 文件配置 Spark 会话,请选中“上传 conda 文件”复选框。 然后,选择“浏览”,并选择具有所需 Spark 会话配置的 Conda 文件。
添加“配置设置”属性,在“属性”和“值”文本框中输入值,然后选择“添加”。
选择“应用”。
在“配置新会话?”弹出窗口中选择“停止会话”。
笔记本 UI 还为无服务器 Spark 计算提供了 Spark 会话配置选项。 配置 Spark 会话:
选择屏幕顶部的“配置会话”。
从下拉菜单中选择“Apache Spark 版本”。
重要
适用于 Apache Spark 的 Azure Synapse 运行时:公告
适用于 Apache Spark 3.2 的 Azure Synapse 运行时:
EOLA 公告日期:2023 年 7 月 8 日
支持结束日期:2024 年 7 月 8 日。 在此日期之后,将会禁用运行时。
为了获取持续支持和最佳性能,建议迁移到 Apache Sark 3.3。
从下拉菜单中选择“实例类型”。 当前支持以下实例类型:
Standard_E4s_v3
Standard_E8s_v3
Standard_E16s_v3
Standard_E32s_v3
Standard_E64s_v3
输入 Spark 会话超时值(以分钟为单位)。
选择是否动态分配执行程序
选择 Spark 会话的执行程序数量。
从下拉菜单中选择“执行程序大小”。
从下拉菜单中选择“驱动程序大小”。
要使用 Conda 文件配置 Spark 会话,请选中“上传 conda 文件”复选框。 然后,选择“浏览”,并选择具有所需 Spark 会话配置的 Conda 文件。
添加“配置设置”属性,在“属性”和“值”文本框中输入值,然后选择“添加”。
选择“应用”。
在“配置新会话?”弹出窗口中选择“停止会话”。