半年一度的画饼时刻

朋友们好,距离上篇总结又过去了半年,这句话非常重量,代表我cos科研人员已经一年!奉上一年总结,自勉之!

Outline

修正先前的科研生活模型[1],带 * 号在先前的博客中有涉及。

  • A. 知识输入
      1. 读什么文章* (带着目的做调研)
      1. 怎么快速判断文章好不好* (数据是普适价值)
  • B. 产出
      1. 如何选择自己的研究内容
      1. 如何做决策规划*(提早反馈链)
      1. 如何解决困难*(看着困难做决策)
      1. 要做什么样的研究
  • C. 心态

A.2 怎么快速判断文章好不好 —— 数据是普适价值?

数据有时也具有欺骗性。某个项目里我们复现了大概 7~8 个 baseline,然而数据大多没有文章中宣传的那般出彩,甚至不堪入目。这是因为文章为了中稿往往倾向遮盖不出彩的结果而只展示漂亮的结果。复现是摆脱幸存者偏差最有效的方法,然而复现要付出大量时间成本,更别说硬件领域由于工程复杂和不开源风气往往难以复现。

数据是文章的结果,即在某个 setting 下 -> 用了某种 method -> 得到的 result。这过程中每一个环节都值得细细打量,只从文章判断数据可信度需要大量专业经验,不过也有一些专业知识之外的技巧可以依靠:

  1. 看作者对结果是否自信,比如消融实验是否完整周到(method),数据是否细致全面(result)。硬件领域我现在更喜欢读带 system-level breakdown 的文章,而只呈现一个笼统的 overall 指标就不那么讨喜了(这也是基于 machine learning 或者 heuristic algorithms 方法做优化的诟病);
  2. 看评估结果的方法是否合理。一是关注展示了那些 benchmark,另一个则是得到 benchmark 的评估方法是否合理,用比如过业界 EDA 仿真或者像 CACTI、McPAT 较成熟的评估工具可信度较高,自己写了一套 Python/C++ 框架评估则要再打量打量。

此外结果很可靠而出发点没有价值也是屎上雕花(setting)。对出发点的考虑则更加困难,这之中不仅需要对整个行业发展有清晰的认知,有时还带有赌的成分。比如一个硬件的价值取决于其加速的算法的价值,就如二三十年前发展 NVIDIA 并没有看到现在 AI 的爆发,而是奔着图形处理市场。现在有价值的出发点未来不一定有有价值,现在无价值的出发点未来不一定无价值,不过允许做一些现在“没意义”的工作也是科研的魅力所在。以下分享判断出发点个人经验:

  1. 从大方向上,做热点话题出发点意义有保底,但是卷。从冷门话题出发则需要多借助 “第一性原理” 思考。比如 AI 计算的 bottleneck 是在数据搬运而非计算本身,SRAM 存算减轻了片内数据搬运,但相比其他数据流处理器在 DRAM 的能耗作用甚微,所以现在 SRAM 存算在传统 NVM-DRAM-SRAM 存储体系中提升相对较少。但若能摆脱 DRAM 体系呢?这便是许多晶圆级解决方案芯片 dojo、WSE-3、 groq 的第一性原理。
  2. 平常看论文区分 setting 是否普适,一边阅读一边心里给文章打上一个个一层层标签,标签的组合要是太抽象也要谨慎点了。

B.2 如何做决策规划? —— 也不能偏信胡适

相比定义决策是决定要做什么,我更倾向理解为决定不做什么。毕竟再怎么卷,一天也就 24 小时。有效的时间限制了不能面面俱善,要在差不多的时间在无数的可能中走出自己的一条路子。就如 SGD,只看着眼前的那一个梯度,很容易陷入优化的死循环,而看到眼前多条路径的不同可能才能更好帮助正确决策。

我干科研的初心非常 romantic,比较纯粹的好奇心驱动,就是想了解更多认识更多,但正如前文只关注部分自我反馈属实有些盲目了,很可能没有利用好初始条件最后优化到某个局部极值(呃,最终形态大概率是民科),“进一寸”可是不能只有“进一寸的欢喜”啊!之后我想更 realistic,抛弃掉一些任性求知欲放去多关注外界的反馈,围绕比如会议期刊的投稿时间制定更现实的研究计划。再次自勉!

C 心态的转变 —— 往脑损伤更近一步

博士生一年级的同学们,不要担忧或高兴得太早,抱歉你们还没有经历Qualification——预备考试,你们暂且不能被称为博士,只能称自己是要努力成为博士预备生的学生。等过了一年到了博二,你们会疑惑,自己读的是工学,为什么要被叫做Ph.D---哲学博士?不清楚。什么叫博士生?不清楚,甚至于不知道自己最后要成为什么样的人。在园子里待到第三个年头,同学们会开始想,我是谁?清华博士,可能已经不太会非常明确地表述,到底什么叫清华博士生?甚至于连博士生是什么都不太清楚。等到四年,终于就变成了永久性脑损伤(Permanent head Damage)。所以就Ph.D了,可以毕业了。—— 《获得清华博士学位的条件之一:不辱师门》

还是上次总结时学长分享我这篇文章[2],现在大概是往着脑损伤更近一步了,乃至于日常生活都神神叨叨的“我是谁我在哪我在干啥”。如今重读文章,说得真对真对,愈发感同身受。搞科研——往人类已知的边界上突破一个口谈何容易,而这路途中的艰辛只有自己一个人最清楚(毕竟导师有时尚不能完全了解你的课题)——这个课题有没有价值,问题到底在哪里,方法能不能 work?在最终结果出来前很多时候只能凭信念前行,搞科研非常像苦行僧,往着一个不知名的终点独自苦行,不同的是可能路上会遇到诸如文章中稿、评上帽子等等的神迹显现。要说除了外界之外的反馈,便是回顾明显感受到对世界认知又能更深一点。只是现在思考逻辑还是非常愚笨浅显,和老师同学对话往往半响后才回神——哦原来是这样啊!期望自己深思考,早日彻底脑损伤!

对未来的不确定性尚能用好奇心和锻炼逻辑聊以自慰,科研路上的孤独对 ENFP 有时便算上折磨了。好在学长同学关心不时一起自习倒也缓解几分,也开始锻炼身体平衡下屏幕前的时间。

Conclusion

写心得总结这件事本身非常“不科研”,毕竟科研交流要拿数据结果说话,要看看“你干出了什么”,而总结展望更多是“我干了什么,然后我要干什么”画大饼,更别说我现在能够总结“干了什么”可以忽略不计。而对规划可能本身就是一个时间效率非常低的事情。计算机里著名的“背包问题[3]”是一个 NP 问题,即在多项式时间内无法找到问题的解,倘若拿一天的总时间看作背包容量,每个物体的重量看作事务要付出的时间,而物体的价值看作收益,将规划归约到了背包问题,便也证明规划是 NP 问题。与其出发前微调路线,不如先放手去干!一年过去,有喜有忧,现在我还不能算踏入科研的门槛,不具备完整的科研素养和能力,那就希望下次总结时,可以多展示点“我干出了什么”吧!感谢成长道路陪伴指导的老师、前辈、同学们!

—— 24/6/27 于北京东王庄小区


  1. https://www.cnblogs.com/devil-sx/p/17823271.html ↩︎

  2. https://www.sohu.com/a/615277548_120632630 ↩︎

  3. 背包问题是一种组合优化的NP完全问题。问题可以描述为:给定一组物品,每种物品都有自己的重量和价格,在限定的总重量内,我们如何选择,才能使得物品的总价格最高。问题的名称来源于如何选择最合适的物品放置于给定背包中,背包的空间有限,但我们需要最大化背包内所装物品的价值。背包问题通常出现在资源分配中,决策者必须分别从一组不可分割的项目或任务中进行选择,而这些项目又有时间或预算的限制 https://zh.wikipedia.org/wiki/背包问题 ↩︎

posted @ 2024-06-27 17:39  DevilXXL  阅读(87)  评论(0编辑  收藏  举报