09 2019 档案
摘要：Kafka的Topic和Partition Topic Topic是Kafka数据写入操作的基本单元，可以指定副本 Partition 每个Partition只会在一个Broker上，物理上每个Partition对应的是一个文件夹 Kafka默认使用的是hash进行分区，所以会出现不同的分区数据不一
阅读全文
摘要：在现实的网络中，构成网络的每个节点可能在网络中担任着某种角色。比如社交网络中，经常可以看见一些关注量很高的大V。两个大V在网络中的角色可能相同，因为他们都有很高的关注量；而大V与普通人（仅有几个关注）在网络中的角色则是不同的，这就是所谓的某个节点的结构身份（structural identity）。
阅读全文
摘要：前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的
阅读全文
摘要：Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集； 也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data
阅读全文
摘要：首先 Sink 的中文释义为： 所以，对应 Data sink 意思有点把数据存储下来（落库）的意思； Source 数据源 > Compute 计算 > sink 落库 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计
阅读全文
摘要：参考原博客： https://blog.csdn.net/weixin_44516305/article/details/90258883 1 需求分析 使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyze
阅读全文
摘要：一、三者的区别训练集（train set）： 用于模型拟合的数据样本。验证集（development set）：是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。在神经网络中， 我们用验证数据集去寻找最优的网络深度（number of hidden laye
阅读全文
摘要：腾讯云：https://cloud.tencent.com/developer/article/1391966 atof函数： 功能：将字串转换成浮点型数 相关函数 atoi，atol，strtod，strtol，strtoul 表头文件 #include <stdlib.h> 定义函数 doubl
阅读全文
摘要：C++构造函数后面的冒号 构造函数后加冒号是初始化表达式：有四种情况下应该使用初始化表达式来初始化成员：1：初始化const成员2：初始化引用成员3：当调用基类的构造函数，而它拥有一组参数时 4：当调用成员类的构造函数，而它拥有一组参数时。 在程序中定义变量并初始化的机制中,有两种形式,一个是我们传
阅读全文
摘要：搜索排序相关的方法，包括 Learning to rank 排序学习是推荐、搜索、广告的核心方法。排序结果的好坏很大程度影响用户体验、广告收入等。排序学习可以理解为机器学习中用户排序的方法，这里首先推荐一本微软亚洲研究院刘铁岩老师关于LTR的著作，Learning to Rank for Infor
阅读全文
摘要：https://blog.csdn.net/liu1194397014/article/details/52990015 https://blog.csdn.net/u011089523/article/details/78906286 待整理学习...
阅读全文
摘要：由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，
阅读全文
摘要：KS(Kolmogorov-Smirnov)值越大，表示模型能够将正、负客户区分开的程度越大。KS值的取值范围是[0，1] ks越大，表示计算预测值的模型区分好坏用户的能力越强。 ks值含义 > 0.3 模型预测性较好 0,2~0.3 模型可用 0~0.2 模型预测能力较差 < 0 模型错误 通常来
阅读全文
摘要：1.IV的用途 IV的全称是Information Value，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自
阅读全文
摘要：无论是network embedding 还是graph embedding都是通过节点(node)和边的图，学出每个节点的embedding向量。 比较流行的算法有： 一般的应用框架如下： 1、构建图： Item和item的共现相似矩阵可以构成一个网络，其中每个item都是节点，相似度达到一定阈值
阅读全文
摘要：win10 解决“ 'g++' 不是内部或外部命令，也不是可运行的程序或批处理文件”的问题 https://www.jianshu.com/p/9bffbaf12bed windows下提示make不是内部命令 https://bbs.csdn.net/topics/390961481 如果你用Mi
阅读全文
摘要：参考资料： https://github.com/talorwu/Graph-Neural-Network-Review 里面有 图神经网络分享-香侬科技-吴天龙.pdf 旷视科技与云从科技、商汤科技、依图科技并称为“AI四小龙”
阅读全文
摘要：问题： 之前用 list!=null 来判断list是否为空，但发现，定义一个list后，即使里面并没有加入任何元素，返回的结果仍旧是 true， 其实，本意是希望在没有任何元素时，返回 false，下面是关于判断逻辑的详细解析： 1、如果想判断list是否为空，可以这么判断： if(list ==
阅读全文
