12 2024 档案
摘要:传统的机器学习,用的分类器或回归模型,诸如logistics regression/softmax、svm、naive bayes、decision tree、random forest、GBDT、xgboost等,最核心的要点就是要人工构造特征了。好的特征能让准确率、覆盖率等指标提升十几个~几十个
阅读全文
摘要:transformer的核心attention机制效果出奇地好,诞生了chatGPT这种里程碑式milestone的产品,但是attention机制本身的缺点也很明显:time & space complexity 高达 O(N^2); transformer架构2017年发的论文,至今已7年了,时
阅读全文
摘要:attention机制的效果非凡,但本身也是有缺陷的:Q*K矩阵的复杂度高达O(n^2);如果用在CV领域,还涉及到如下问题: 局部性、全局性 稀疏性 多尺度问题 为了更好地把attention机制应用于CV,上述的几个问题是需要解决的! 1、DilateFormer: Multi-Scale Di
阅读全文