【科研工具】如何判断研究工作的价值和新意
李沐:
如何判断(你自己的)研究工作的价值【论文精读】_哔哩哔哩_bilibili
你(被)吐槽过论文不够 novel 吗?【论文精读】_哔哩哔哩_bilibili
判断AI论文价值
用有新意的方法有效的解决一个研究问题
- 研究问题 vs 工程问题:两者的区别是能否预先知道效果(通过外部手段实现大内存、高精度,是一种提高性能的工程方法)
- 有效 vs 无效:效果是否有所提升
- 新意:用来解决这个问题的方法,别人没有想到过(不代表从来没有人用过,同时可以借鉴其他领域的方法)
新意度
新意度是什么:美感
新意度不是什么:
- 新意度不是复杂度:简单想法并不是没有新意,没人想过且有效就行;越简单有效影响力越大
- 新意度不是实现难度:只要说明最核心方法是有效的就行;简单结果效果很好,那就是有价值的
- 新意度不是惊讶程度:认为很自然的想法,没有听到它之前还会这么想吗?
- 新意度不是技术新意度:Imagenet;复杂算法换成简单算法从而获得可解释性
- 新意度不是实用性:有没有用和好不好看没关系
量化版本
价值 = 新意度×有效性×问题大小
分值 | 新意度 | 有效性 | 问题大小 |
---|---|---|---|
1 | 大家都不意外(工程问题) | 模型提升一点点,平均下来甚至差不多(不work) | 某一个工作局部点的改进(太偏了) |
10 | 有点意外 | 一年该领域10个点,你就贡献了一个点 | 某一个子任务 |
100 | 打开新世界! | 你直接推了10个点 | 机器对文字的理解 |
有效性的三个考虑维度:精度、规模、安全
判断理论论文价值
价值 = 深刻+美感