在服务器之间传输文件
因为imageNet放在230节点上,如果不把数据down到其他服务器上的话,只能使用polyaxon调度跑代码,而在使用polyaxon过程中程序不知道为什么总是崩掉,猜测和读取imageNet的图片路径有关,因此想了另一个办法,把数据down下来,一开始想的是先down到本地,再上传到其他服务器上,而光光down val这个文件(4个多G)就用了1个多小时,可想而知down train这个文件,再把train和val上传到服务器一共需要耗时多久了,因此学习了scp这个命令,可以在服务器之间进行文件拷贝传输,命令是:
scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet
在230上运行,也就是把230上的/home/data/plx-data/imageNet/val路径下所有文件,包括val这个文件夹,拷贝到235的/home/hyq/data/imageNet路径下,但是我仍然需要在后台执行,这样的话才方便,不会因为关电脑而导致传输失败,因此使用了nohup命令,但是失败了,显示进程状态是T
nohup scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet &
因此换了另一种方法,
先直接用scp去跑,然后ctrl+z暂停进程,jobs查看,发现进程状态是Stopped,
然后把该进程放入后台,bg %n,n是jobs查看被暂停的进程,再次jobs查看,发现进程已经在Running了
然后使用disown -h %n将这个进程忽略HUP信号(不懂,猜测可能是忽略关闭服务器通信的信号)
退出登录,再次登录查看ps -ef|grep scp
----------------------------------------------------------------------------------------------
人生苦短,何不用python