PAI-DSW常见问题
PAI-DSW常见问题
更新时间:2023年6月5日 18:40:00
本文为您介绍PAI-DSW的相关问题。
-
使用ECS搭建FTP上传下载文件到NAS,执行挂载(mount)命令报错mount:wrong fs type,bad option,bad superlock
-
启动PAI-DSW实例失败提示The cluster resources are fully utilized如何解决?
什么是PAI-DSW?
PAI-DSW(Data Science Workshop)是PAI推出的云原生机器学习和数据科学开发平台,其中内置了Jupyterlab、WebIDE和terminal 三种使用方式,同时也支持本地开发环境通过ssh登录进行远程开发,并支持多种计算资源类型和环境。您可以通过该平台在线编写及执行代码,提交代码为离线任务并将生成的训练模型下载至本地。
PAI-DSW实例如何挂载和使用自己的NAS文件系统?
PAI-DSW实例默认提供的系统盘为临时存储,在停止或删除实例后,系统会清空数据。如果您需要永久化存储数据,则需要挂载自己NAS。您所有的NAS文件均存储在/nas目录,可以通过PAI-DSW Terminal进入该目录查看并使用文件。
新版的PAI-DSW仅支持在创建实例时,挂载自己的NAS,详情请参见创建及管理DSW实例。实例一旦创建,则无法编辑实例信息或挂载NAS。
挂载了NAS的实例,系统默认使用该NAS存储数据,不再使用临时存储。
如何在PAI-DSW中使用第三方库
PAI-DSW支持安装第三库,可以使用PAI-DSW Terminal输入如下命令完成安装。
#Python 3版本。 pip install --user xxx #Python 2版本。 source activate python2 pip install --user xxx
其中xxx需要替换为待安装的第三库名称。安装成功后,需要单击kernelrestart kernel,重启服务。
运行机器学习代码时,为什么页面放置一段时间后提示重新登录?
为安全考虑,PAI-DSW登录Session的有效期为3个小时,过期后需要重新登录,但是不会影响任务的执行。如果需要长时间运行任务,建议在PAI-DSW Terminal,使用nohup
命令后台执行任务。
使用ECS搭建FTP上传下载文件到NAS,执行挂载(mount)命令报错mount:wrong fs type,bad option,bad superblock
-
现象描述
-
解决方法
执行
mount
命令之前,先安装nfs-utils安装包。yum install nfs-utils
如何使用PAI-DSW读取OSS数据?
进入PAI-DSW Terminal,使用osscmd
命令实现文件的上传和下载,示例如下。
#如果出现类似“Your configuration is saved into ”的提示,表示ID和Key已经保存成功。 $ osscmd config --id=accessid --key=accesskey --host=your_endpoint #文件上传。 $ osscmd put local_existed_file oss://mybucketname/test_object #文件下载。 $ osscmd get oss://mybucketname/test_object download_file
为什么安装的第三方包没有生效?
通过pip
命令安装第三方包后,使用import
命令导入时,如果出现无法查找到该包的问题,则先尝试重启服务。如果依然报错,则确认当前使用的环境。安装第三方包时,PAI-DSW默认安装到Python 3环境。如果需要安装到其他环境,则必须先手动切换环境再进行安装,示例如下。
安装到Python 2环境。 source activate python2 pip install --user xxx 安装到TensorFlow 2.0环境。 source activate tf2 pip install --user xxx
其中xxx需要替换为待安装的第三方包名称。
如何部署PAI-DSW生成的模型?
-
使用PAI-EAS模型部署服务
使用PAI-DSW预置的EASCMD,在Terminal中使用命令行部署模型服务,详情请参见实例界面介绍。
-
下载模型到本地部署
您可以通过右键单击PAI-DSW生成的模型将其下载至本地。
PAI-DSW如何收费?
PAI-DSW支持预付费和后付费,您可以根据自己的实际需要选择付费方式,计费详情请参见PAI-DSW计费说明。
如何查看PAI-DSW账单?
对于后付费用户,可以进入用户中心查看账单明细,详情请参见查看账单与用量明细。
为什么PAI-DSW无法启动Docker?
因为PAI-DSW本身运行在容器中,所以PAI-DSW不支持安装Docker。对应的CUDA版本是底层的虚拟机预装好的,无法变更,您可以使用nvidia-smi
查看对应的CUDA版本。
启动PAI-DSW实例失败提示The cluster resources are fully utilized
如何解决?
当启动PAI-DSW实例失败提示The cluster resources are fully utilized. Please try later or other regions.
时,您可以参考以下方法进行处理:
-
更换实例规格:尝试选择不同的实例规格,有些规格可能更容易获取资源。
-
更换地域:尝试选择其他可用地域,该地域的资源可能更加充足。
-
尝试在非高峰期创建:尝试在非高峰期创建PAI-DSW实例,例如晚上或周末时段。
-
如果上述方法均无法解决问题,请联系您的商务经理进行处理。
使用官方镜像:stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04,目前支持在如下4个region里拉起:杭州、上海、北京、深圳
推荐使用GPU机型 A10 or V100
Anime style fantasy brown eyes Latina woman fighter healer mage proportional no hands focused small chest long black hair straight green and gold armor
Negative prompt: EasyNegative, extra fingers,fewer fingers
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 10, Seed: 2337269170, Size: 512x832, Model hash: 71e703a0fc, Model: Counterfeit-V2.5_fp16, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires upscale: 1.8, Hires upscaler: Latent
Used embeddings: EasyNegative [119b]
Time taken: 13.01s
Torch active/reserved: 4935/8028 MiB, Sys VRAM: 9260/16161 MiB (57.3%)