第一次做实验经验总结
记录一点踩坑经验,提醒自己:
- 写完代码后不要立刻进行部署,要在小的数据集上进行测试,一定要把demo测试到没有问题
- 如果有的数据要处理特别长的时间,比如大于一个小时,那么就要在代码中添加对已经处理过的文件的os.path.exist的判断。这是为了防止中途出现各种意外情况(如断电,或误操作使得程序终止),这样可以迅速跳过所有已经被处理过的文件
- 做实验要有记录,比如使用了什么参数,得到了什么结果。在tmux的会话里运行程序时,要记录下来目前正在which会话,其中的which窗口运行着什么程序,防止重复劳动。
- 对于比较浩大的周期长的工程,要在初期设计好较大的几个阶段,在每个阶段内部进行到一定时间后要总结当前的情况,并列清楚接下来要做的事件清单。一定要对进度留存记录,不能太相信记忆
- 多花时间在设计上,出了问题后要认真分析问题,不要搁置问题,很容易忘记;且容易影响后续的进展,可能为了解决问题需要把很多后续的处理过程都重新走一遍,不如把这一阶段的处理做好,后续的处理阶段就批量都处理完,而不用以后再给问题文件“补课”