2023年11月23日
斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积
摘要： 斯坦福大学的FlashFFTConv优化了扩展序列的快速傅里叶变换(FFT)卷积。该方法引入Monarch分解，在FLOP和I/O成本之间取得平衡，提高模型质量和效率。并且优于PyTorch和FlashAttention-v2。它可以处理更长的序列，并在人工智能应用程序中打开新的可能性。 处理长序列 阅读全文
posted @ 2023-11-23 10:17 deephub 阅读(12) 评论(0) 推荐(0) 编辑