小千北同学超爱写代码

摘要： 一、引言 在理解了ELMO和attention之后，在理解transformer就容易很多。transformer中会需要用到前面说的注意力机制，理解了transformer后我们还可以继续往下了解bert的原理。 二、结构 上面这个图大体就可以说明transform的过程了。它主要分为编码器和解码 阅读全文

摘要： On the Hegselmann-Krause conjecture in opinion dynamics 摘要 我们给出了Hegselmann和Krause在观点动力学中关于对称有界置信区间模型的一个猜想的一个初步证明：如果存在一个真理，并且所有个体都以远离零的正数量认真对待对方，那么所有真理 阅读全文

摘要： Truth and Cognitive Division of Labour First Steps towards a Computer Aided Social Epistemology 摘要 本文分析了在认知分工（cognitive division of labour）与社会交换过程（soc 阅读全文

摘要： 参考：https://www.cnblogs.com/robert-dlut/p/9824346.html Embeddings from Language Model 一、引入 ELMO不同于glove，word2vec，后者们的思想是对于一个词语，用一个预训练好的模型，把一个词语变成一个固定不变 阅读全文

摘要： 参考：https://blog.csdn.net/sunhua93/article/details/102764783 一、引入 attention机制就有点像人们找重点，看图片的时候抓住图片上的主体，看文章的时候看中心句。我们对图片上的不同位置，文章中不同部分所投放的attention是不一致的。 阅读全文

摘要： 摘要 图神经网络已成为解决图结构数据机器学习问题的重要技术之一。最近关于顶点分类的工作提出了深度和分布式学习模型，以实现高性能和可扩展性。然而，我们发现基准数据集的特征向量已经为分类任务提供了相当多的信息，而图结构仅仅提供了一种对数据进行去噪的方法。本文提出了一种基于图信号处理的分析图神经网络的理论 阅读全文

摘要： %tensorflow_version 2.x import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers from tensorflow import initializers a 阅读全文

摘要： 参考：https://www.cnblogs.com/fengfenggirl/p/lsh.html https://blog.csdn.net/qq_29883591/article/details/63252946 一、引入 LSH就是对高维空间的数据进行近邻搜索的一种算法。它的原则是：原来在高 阅读全文

摘要： tf.gather(params,axis=0,indices ) 根据维度和索引值来切片。 对params中维度为axis的值按照索引indices进行切片。 阅读全文

摘要： 一、从最普通的线性模型说起 给定由$d$个属性描述的变量$x=(x_{1};x_{1};...;x_{d};)$，其中$x_{d}$是$x$的第$i$个属性的取值，线性模型（linear model）是试图学习到一个属性的线性组合来进行预测的函数： $y=w_{1}x_{1}+w_{2}x_{2}+ 阅读全文