Graph Embedding: metapath2vec算法
摘要：【Graph Embedding】: metapath2vec算法 https://ericdongyx.github.io/metapath2vec/m2v.html
阅读全文
posted @ 2019-12-29 16:16
12 2019 档案
spark参数介绍
摘要：spark参数介绍 https://endymecy.gitbooks.io/spark-config-and-tuning/content/config.html
阅读全文
posted @ 2019-12-26 14:34
spark文章
摘要：https://plushunter.github.io/2019/06/19/Spark-1/
阅读全文
posted @ 2019-12-26 11:58
基于Spark UI性能优化与调试——初级篇
摘要：基于Spark UI性能优化与调试——初级篇
阅读全文
posted @ 2019-12-26 11:12
Spark Shuffle FetchFailedException
摘要：https://blog.csdn.net/lsshlsw/article/details/51213610
阅读全文
posted @ 2019-12-25 20:44
scala 模式匹配
摘要：使用case语句构造匿名函数的“额外”好处， case语句（组合）除了可以被编译为匿名函数（类型是FunctionX，在Scala里，所有的函数字面量都是一个对象，这个对象的类型是FunctionX），还可以非常方便的编译为一个偏函数PartialFunction！（注意：PartialFuncti
阅读全文
posted @ 2019-12-22 18:34
Gflags 简明使用
摘要：http://dreamrunner.org/blog/2014/03/09/gflags-jian-ming-shi-yong/
阅读全文
posted @ 2019-12-22 18:00
spark rdd
摘要：https://www.cnblogs.com/sharpxiajun/p/5506822.html 操作类型 函数名 作用 转化操作 map() 参数是函数，函数应用于RDD每一个元素，返回值是新的RDD flatMap() 参数是函数，函数应用于RDD每一个元素，将元素数据进行拆分，变成迭代器，
阅读全文
posted @ 2019-12-20 15:08
faiss安装
摘要：https://blog.csdn.net/dake1994/article/details/84294573 使用Anaconda安装使用Anaconda安装使用faiss是最方便快速的方式，facebook会及时推出faiss的新版本conda安装包，在conda安装时会自行安装所需的libgc
阅读全文
posted @ 2019-12-17 21:17
protobuf
摘要：基于protobuf service使用rpc入门教程 https://www.h3399.cn/201705/87777.html
阅读全文
posted @ 2019-12-13 21:35
堆队列算法
摘要：https://docs.python.org/zh-cn/3/library/heapq.html
阅读全文
posted @ 2019-12-10 13:51
word2vec中的subsampling
摘要：http://d0evi1.com/word2vec-subsampling/ 为了度量这种罕见词与高频词间存在不平衡现象，我们使用一个简单的subsampling方法：训练集中的每个词wiwi，以下面公式计算得到的概率进行抛弃： f(wi)是wi的词频，t为选中的一个阀值，通常为(1e-5=0.0
阅读全文
posted @ 2019-12-03 14:51
通俗理解word2vec的训练过程
摘要：https://www.leiphone.com/news/201706/eV8j3Nu8SMqGBnQB.html https://blog.csdn.net/dn_mug/article/details/69852740 word2vec是如何得到词向量的？ skip-gram中，训练样本的形式
阅读全文
posted @ 2019-12-01 22:31
