pycharm 一直索引或索引过大占用系统盘问题
现象:用pycharm做深度学习, 越用越慢,而且很容易内存溢出,随着使用次数增加,pyCharm索引时间越来越长
1)程序代码并没有激增,程序还没跑起来,就占用电脑大量内存;
2)右键查看函数,跳转等涉及索引操作非常慢;
3)跑网上示例程序,下载的代码文件并不大。但是指定的图像数据下载路径,为项目路径;
4)查不到跟我相似问题。
解决过程:
因为,代码量没剧增。只有图片数据在增长。于是将图片数据更改到项目外的文件夹,并且程序调用图像数据路径都更改为项目外文件夹。
更改后
内存占用从5G还不能满足-》600M;索引速度从2个小时还不能满足降低到十几秒。 恢复正常状态。
成因解析:
最初原因:1)方便代码索引数据,所以代码里面使用相对路径。因此,数据直接放置在目录下。刚开始研究深度学习,数据都比较小。随着学习深入,数据规模越来越大,比如变分生成网络(DCGAN)。原始数据200M,但是中间生成的训练图片达到12G。2)pycharm会默认将项目数据都遍历,期间内存会增加,检索时间根据项目大小改变。
-----------------------------------------------
最终解决办法:将除代码库之外数据全部迁移出项目。避免pycharm对图片数据进行索引,费时且无用。
----------------------------------------------
将数据迁移出去是个办法。但是拷贝代码等情况,会使得代码迁移麻烦。所以,网上还有一段被忽略信息:“将不想索引的文件夹设置为Excluded Folders即可”,设置为不索引。