10 2021 档案
摘要：CTR点击率预估模型。 特征是巨大且稀疏的。如何输入到Deep模型是个问题。 方法： 首先利用one-hot编码，制作稀疏特征。 然后利用spmm或者gather操作，变成word embedding。 one-hot到word embedding，这样整体的特征维度就下降了。（如100到16的维度
阅读全文
摘要：Collective Communication 1. broadcast 2. scatter/gather 3. all gather 4. all to all 更多的集合通信方式，参见NCCL: https://images.nvidia.com/events/sc15/pdfs/NCCL-
阅读全文
摘要：Blink - 未开源 - 单机多卡效果较好 - 多机情况受限于网络速度 参考： https://www.infoq.cn/article/8n5rwvusr1w6ss4atgxi
阅读全文
摘要：LD_PRELOAD可以用来hook原有库中的函数。也可以用RDLD_NEXT在hook函数中调用原有函数的symbol。 从而实现用户无感知的加速原有程序性能的作用。 （需要在env里面加入LD_PRELOAD=.....so） 参考： http://www.goldsborough.me/c/l
阅读全文
摘要：参考informer, sputnik等。 DeepSeed的Sparse Attention: https://www.deepspeed.ai/tutorials/sparse-attention/ https://www.deepspeed.ai/news/2020/09/08/sparse-
阅读全文
摘要：冒泡 从左往最右 冒最大的放最右。 （最右指的是非排序的最右） 插入 从右往左（不一定最左） 冒某个数放到左边。（类似冒泡，但是一旦找到位置，可以提前停止） 选择排序不多说，因为每次都选最小的。 http://www.gdhu.pro/post/alg4/geekbang/11/
阅读全文
摘要：two sum, 环形链表，相交链表 哈希主要作用就是能在O(1)之内进行查找。 因此查找问题适合哈希
阅读全文
