随笔分类 - 算法
摘要：token生成 代码 transformers.generation.GenerationMixin.generate 文档资料 机器如何生成文本？ https://cloud.tencent.com/developer/article/1620772 NLP的巨人肩膀 https://zhuanl
阅读全文
摘要：阅读了快手的论文 MARM，论文中的算法 符号看起来不容易理解。 对照图自己研究了下， 理解了。 需要知道为什么(b) 和(c) 中 的中间结果是相同的。需要知道 masked-self-attention 缓存是怎么处理，看箭头 快手 MARM: Unlocking the Future of R
阅读全文
摘要：* https://www.microsoft.com/en-us/research/blog/three-mysteries-in-deep-learning-ensemble-knowledge-distillation-and-self-distillation/
阅读全文
摘要：* 代码 https://github.com/nepluno/lbfgsb-gpu * https://pages.mtu.edu/~struther/Courses/OLD/5630/Refs/StdOpt/Par_L-BFGS-B_CompGraphFei_2014.pdf * jax 下 的
阅读全文
摘要：* https://crfm.stanford.edu/2023/03/13/alpaca.html * https://github.com/archersama/awesome-recommend-system-pretraining-papers * [A Comprehensive Surv
阅读全文
摘要：* 阿里妈妈技术 https://blog.csdn.net/alimama_Tech?type=blog * 深度点击率预估模型的One-Epoch过拟合现象剖析 * https://github.com/Z-Y-Zhang/one_epoch_phenomenon * 其他收集网站 https:
阅读全文
摘要：> f(x)可以并行计算的情况下，求优化 * gridsearch * hyperband 算法 https://blog.csdn.net/jose_M/article/details/106313669 * https://tanzu.vmware.com/content/blog/massiv
阅读全文
摘要：* DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH https://arxiv.org/pdf/1806.09055v2.pdf * An Introduction to Neural Architecture Search for Convolutional N
阅读全文
摘要：* CauseRec: Counterfactual User Sequence Synthesis for Sequential Recommendation, SIGIR 21 https://dl.acm.org/doi/pdf/10.1145/3404835.3462908 * CauseR
阅读全文
摘要：这个算法应用最多 Deep Deterministic Policy Gradient(DDPG)， 收集资料学习一下。 * 例子代码 https://keras.io/examples/rl/ddpg_pendulum/ * 算法解读 http://www.cs.sjsu.edu/faculty/
阅读全文
摘要：论文： AutoDebias: Learning to Debias for Recommendation，2021 主要思想：加一个正则项， meta learning 方式学习超参数。 亮点，给出理论分析。 * https://github.com/DongHande/AutoDebias
阅读全文
摘要：花了2天学习 meta learning代码，记录一下。 > MAML学习一个好的初始化权重，从而在新任务上实现fast adaptation，即在小规模的训练样本上迅速收敛并完成fine-tune。 因此基于MAML的模型首先基于多个任务样本学习好的初始化权重。 第二阶段， 针对特定场景做 fin
阅读全文
摘要：看TCA算法 https://www.cse.ust.hk/~qyang/Docs/2009/TCA.pdf 涉及的一些推导做一些整理。 背景介绍见 https://zhuanlan.zhihu.com/p/26764147 * 最大均值差异（MMD，maximum mean discrepancy
阅读全文
摘要：* https://wrfranklin.org/Research/Short_Notes/pnpoly.html
阅读全文
摘要：* 参考 https://github.com/tianheyu927/PCGrad/blob/master/PCGrad_tf.py * 定制优化函数，考虑多任务学习 https://arxiv.org/pdf/2001.06782.pdf
阅读全文
摘要：title： Dynamic Routing Between Capsules, NIPS 2017 author: Geoffrey E. Hinton url: [https://arxiv.org/abs/1710.09829](https://arxiv.org/abs/1710.09829
阅读全文
摘要：* 对于统计变量， 比如交易次数， 通常在深度学习中处理方式是分箱，再embedding。 这样的分箱可能导致不够平滑， kv-memory 提供了一个新的方式， 感觉相对更加平滑。 * 论文见 [MULTI-MODAL REPRESENTATION LEARNING FOR SHORT VIDEO
阅读全文
摘要：发一个别人整理的一个手册， 和包含了大部分实际应用中的算法。 * AI算法工程师手册 https://www.bookstack.cn/read/huaxiaozhuan-ai/5fb26f9d30c55109.md
阅读全文
摘要：``` pip install ortools --user cd /root/.local/lib/python3.6/ zip -r ortools.zip site-packages ```
阅读全文
