12 2018 档案

摘要:在构建模型前,需要将样本集划分为训练集、验证集、测试集,按什么比例划分比较合适呢? 在机器学习发展的小数据量时代,常见做法是将所有数据三七分,就是人们常说的70%验证集,30%测试集,如果没有明确设置验证集,也可以按照60%训练,20%验证和20%测试集来划分。这是前几年机器学习领域普遍认可的最好的 阅读全文
posted @ 2018-12-29 14:50 光彩照人 阅读(3085) 评论(0) 推荐(0) 编辑
摘要:条件熵 阅读全文
posted @ 2018-12-29 11:03 光彩照人 阅读(183) 评论(0) 推荐(0) 编辑
摘要:图像: 定义: 设x1x1和x2x2为函数f(x)定义域内的任意两个实数,且x1x1 < t <x2x2,恒有: 则称f(x) 是定义域上的凸函数。 判定: 凸函数的判定: f(x) 在区间[a,b]上连续,在(a,b)内二阶可导,那么: 一阶判定条件: 设f(x)在凸集S上具有一阶连续偏导数,则f 阅读全文
posted @ 2018-12-28 15:05 光彩照人 阅读(1404) 评论(0) 推荐(0) 编辑
摘要:1.衍生方式一 阅读全文
posted @ 2018-12-27 22:57 光彩照人 阅读(888) 评论(0) 推荐(0) 编辑
摘要:木秀于林,风必摧之;堆出于岸,流必湍之;行高于人,众必非之。 人无害虎心,虎有伤人意。 人情轻似土,世路险于山。 人与人之间虽有情分,却都如尘土一般,非常轻薄;人世中的道路却要比那些险山还要艰险。 古往今来共一时,人生万事无不有。 古至今,人世间什么样的事情都有可能出现。 平地把手笑,乘崖拨足挤。 阅读全文
posted @ 2018-12-27 12:09 光彩照人 阅读(228) 评论(0) 推荐(0) 编辑
摘要:1.dataFrame中groupby后变成MultiIndex型的series 阅读全文
posted @ 2018-12-26 16:15 光彩照人 阅读(1261) 评论(0) 推荐(0) 编辑
摘要:一、定义 二叉排序树(Binary Sort Tree)又称二叉查找树、二叉搜索树。 它或者是一棵空树;或者是具有下列性质的二叉树: (1)若左子树不空,则左子树上所有结点的值均小于它的根结点的值; (2)若右子树不空,则右子树上所有结点的值均大于它的根结点的值; (3)左、右子树也分别为二叉排序树 阅读全文
posted @ 2018-12-23 17:40 光彩照人 阅读(10450) 评论(1) 推荐(0) 编辑
摘要:Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架,每天要为Facebook旗下各种应用处理超过10亿次NLP任务,Facebook AI的工业级NLP开源框架。(简化部署流程,大规模应用也OK) PyText基于PyTorch,能够加速从研究到应用的进度,从模型的研究 阅读全文
posted @ 2018-12-22 12:02 光彩照人 阅读(678) 评论(0) 推荐(0) 编辑
摘要:网站地址:https://unbug.github.io/codelf/ GitHub 链接:https://github.com/unbug/codelf#codelf-for-vs-code https://mp.weixin.qq.com/s/zgVXov8SlXJlfLF8X0XLUA 网站 阅读全文
posted @ 2018-12-21 16:47 光彩照人 阅读(350) 评论(0) 推荐(0) 编辑
摘要:后验概率就是一种条件概率,但是与其它条件概率的不同之处在于,它限定了目标事件为隐变量取值,而其中的条件为观测结果。 一般的条件概率,条件和事件都可以是任意的。 贝叶斯公式就是由先验概率求后验概率的公式 举例区分普通条件概率与后验概率的区别: 1)那么如果我们出门之前我们听到新闻说今天路上出了个交通事 阅读全文
posted @ 2018-12-21 10:46 光彩照人 阅读(8062) 评论(2) 推荐(1) 编辑
摘要:基本思想 通过Dijkstra计算图G中的最短路径时,需要指定起点s(即从顶点s开始计算)。 此外,引进两个集合S和U。S的作用是记录已求出最短路径的顶点(以及相应的最短路径长度),而U则是记录还未求出最短路径的顶点(以及该顶点到起点s的距离)。 初始时,S中只有起点s;U中是除s之外的顶点,并且U 阅读全文
posted @ 2018-12-20 12:20 光彩照人 阅读(221) 评论(0) 推荐(0) 编辑
摘要:BERT的新语言表示模型,它代表Transformer的双向编码器表示。与最近的其他语言表示模型不同,BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此,预训练的BERT表示可以通过一个额外的输出层进行微调(fine-tuning),适用于广泛任务的最先进模型的构建,比如问答任务和 阅读全文
posted @ 2018-12-19 15:32 光彩照人 阅读(5790) 评论(0) 推荐(1) 编辑
摘要:一、P-R曲线 P-R曲线刻画查准率和查全率之间的关系,查准率指的是在所有预测为正例的数据中,真正例所占的比例,查全率是指预测为真正例的数据占所有正例数据的比例。 即:查准率P=TP/(TP + FP) 查全率=TP/(TP+FN) 查准率和查全率是一对矛盾的度量,一般来说,查准率高时,查全率往往偏 阅读全文
posted @ 2018-12-18 14:48 光彩照人 阅读(12755) 评论(0) 推荐(0) 编辑
摘要:一、背景 1)梯度消失问题 我们发现很深的网络层,由于参数初始化一般更靠近0,这样在训练的过程中更新浅层网络的参数时,很容易随着网络的深入而导致梯度消失,浅层的参数无法更新。 可以看到,假设现在需要更新b1,w2,w3,w4参数因为随机初始化偏向于0,通过链式求导我们会发现,w1w2w3相乘会得到更 阅读全文
posted @ 2018-12-16 19:44 光彩照人 阅读(33670) 评论(0) 推荐(5) 编辑
摘要:一、背景 自从Attention机制在提出之后,加入Attention的Seq2Seq模型在各个任务上都有了提升,所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子,无法实现并行,并且面临对齐的问题。 所以之后这类模型的 阅读全文
posted @ 2018-12-13 15:01 光彩照人 阅读(3741) 评论(0) 推荐(0) 编辑
摘要:一、风险模型 1)在抽取样本的时候,最少需要有两期表现才可以,逾期超过15的label=1,逾期小于5天的label=0,因为逾期小于5天的有些可能是因为忘记的,意愿上并不愿意真正逾期。正负样本比例,不一定非得按自然分布来,逾期样本可以适当多一些,这样更能准确反映负样本的信息。 2)如何根据测试样本 阅读全文
posted @ 2018-12-11 23:12 光彩照人 阅读(2464) 评论(0) 推荐(0) 编辑
摘要:拒绝推断(Reject Inference)是金融领域信用评分中的一个术语。对于要向银行借钱的人,我们需要考虑他们赖账的可能性。这样就需要根据他们的各种行为信息和人口统计学特征作为输入,来建立一个信用评分模型,这个建模过程与机器学习中训练一个模型类似。机器学习算法能够成功应用的一个条件是训练样本和测 阅读全文
posted @ 2018-12-07 17:53 光彩照人 阅读(968) 评论(0) 推荐(1) 编辑
摘要:关联规则定义为: 假设I是项的集合。给定一个交易数据库D,其中每个事务(Transaction)t是I的非空子集,即,每一个交易都与一个唯一的标识符TID(Transaction ID)对应。 关联规则在D中的支持度(support)是D中事务同时包含X、Y的百分比,即概率; 置信度(confide 阅读全文
posted @ 2018-12-07 10:55 光彩照人 阅读(1079) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/u012535605/article/details/80677791http://pyecharts.org/#/zh-cn/prepare (中文官网)https://baijiahao.baidu.com/s?id=16060258245180700 阅读全文
posted @ 2018-12-06 10:05 光彩照人 阅读(465) 评论(0) 推荐(0) 编辑
摘要:工具包:https://taku910.github.io/crfpp/#tips 语料:http://sighan.cs.uchicago.edu/bakeoff2005/ 安装: 1)下载linux版本CRF++包 CRF++-0.58.tar.gz,并解压。 2)cd CRF++-0.58 3 阅读全文
posted @ 2018-12-02 15:52 光彩照人 阅读(5425) 评论(1) 推荐(2) 编辑

点击右上角即可分享
微信分享提示