随笔分类 - Machine Learning
摘要:博客地址:http://blog.csdn.net/wangxinginnlp/article/details/52944649 资料:https://arxiv.org/abs/1409.0473 说明:基于注意力机制的神经机器翻译(Attention-based NMT)的论文,首次将注意力机制
阅读全文
摘要:简化NLP:TensorFlow中tf.strings的使用 TensorFlow中很早就包含了tf.strings这个模块,不过实话说,在tf 1.x的固定计算图的情况下,各种操作颇为复杂,我们在迎来了2.0中才更好可以看出tf.strings的威力。 tf.strings的其中一个重要的作用是可
阅读全文
摘要:tf模型线上部署需要采用saved_model形式,现将踩过的坑记录如下: """ Function: h5 model to pb to saved_model """ import os import keras import tensorflow import tensorflow as tf
阅读全文
摘要:功能: 1)微调模型后,下游任务在此模型上继续开发模型,冻结12层。方法:加载微调模型后(不是google原始ckpt),在custom_optimization.py中仅梯度更新需要的variable update_var_list = [] tvars = tf.trainable_variab
阅读全文
摘要:在早先,单向语言模型广泛应用于文本处理;随之bert双向语言模型诞生后,对语义的捕捉能力更强大。应用之一就是对句子打分,通过生成每个字符的先验概率构建评估体系。 参考源码:https://github.com/xu-song/bert-as-language-model
阅读全文
摘要:大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作
阅读全文
摘要:地址:https://github.com/Tencent/wwsearch/blob/master/doc/wwsearch-implement.md 背景 企业微信作为典型企业服务系统,其众多企业级应用都需要全文检索能力,包括员工通讯录、企业邮箱、审批、汇报、企 业CRM、企业素材、互联圈子等。
阅读全文
摘要:功能实现: input: 查询词 output:存现的对应的文档中的所有行号id 实现:
阅读全文
摘要:检索:解决的最大问题就是如何做到低延迟、快速匹配 采用局部敏感哈希:lsh FaceBook的开源数据包:pysparnn 解决问题:稀疏数据的近邻搜索! 源代码网址:http://www.github.com/facebookresearch/pysparnn 测试源码: """ test """
阅读全文
摘要:jieba的用户自定义分词字典能够有效提升任务性能,必不可少。 在此之前,一直使用"user_dict.txt"为“txt”后缀的加载方式: jieba.load_userdict("./user_dict.txt") 但是当前为了保存加密需求,必须要对txt数据做序列化操作,起到一定的加密作用。通
阅读全文
摘要:BERT六大瘦身大法 网络剪枝:包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵,或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝,还有一些模型通过正则化方法实现剪枝。 低秩分解:即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存
阅读全文
摘要:之前在研究lsh算法,糊里糊涂的,但是该算法的高速性能让我还是得把他搞懂。 借鉴之前阅读的各个大佬博客,从相思能推荐的角度完善了一版代码,花了两天时间才调试出来,看看以后能不能用得上。大家有需求的可以直接使用了,福利满满。嘎嘎嘎 功能:已知一个样本的二进制特征向量,从特征中心中找出特征相似的样本 源
阅读全文
摘要:传统的基于协同过滤的推荐系统在实时性方面的弊端 面对具有大规模高维稀疏矩阵特征的用户-项目历史评分矩阵,传统的单纯的基于协同过滤的推荐系统存在计算量大,扩展性不强,推荐效率低等问题,严重影响实时推荐系统的实现,因此本文尝试在现有基于协同过滤的推荐系统上,引入局部敏感哈希(Local-Sensitiv
阅读全文
摘要:转载至:https://blog.csdn.net/weixin_43336415/article/details/84898213
阅读全文
摘要:一.题外话 虽然是科普,不过笔者个人认为大道至简,也就是说越简单的东西很可能越值得探讨,或者另外一种说法越简单的东西越不好讲解;其实笔者认为这就是《编程之美》所要传递的——大道至简。 软件构建老师给我推荐的《走出软件作坊》还没看呢。 二.概述 高维数据检索(high-dimentional retr
阅读全文
摘要:对于BERT后时代,不得不说强有力的预训练模型是刷榜、出色完成任务的基础,现在列举几个对此很有帮助的资源,同大家一起进步!!! 一:互联网新闻情感分析复赛top8(8/2745)解决方案及总结; 地址:https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总
阅读全文
摘要:1.现状 1)为啥诈骗检测的难度高: 诈骗的定义很模糊,很多情况下客户都根本不知道具体的诈骗 表面上诈骗是一个二分类问题(是或者不是),但仔细想想是一个多分类问题,因为每种不同的诈骗都可以当成一个单独的类型 单一类型的诈骗非常之多,普遍存在,同时诈骗的手段也在千变万化。需要不断更新检测手段,不能把赌
阅读全文
摘要:大数据+AI的结合,大家可以学习一下最新的技术组合 基于大数据分布式流处理技术的实时反欺诈解决方案 1.方案引入先进的Hadoop+Spark技术,解决了互联网渠道海量并发行为数据的毫秒级实时响应分析难题,帮助金融机构IT平台向更开放的分布式处理架构演进,轻松应对互联网+时代的大数据处理场景; 2.
阅读全文
摘要:新年伊始,NLP技术在2019年大放异彩,BERT,GPT-2,Mass,ElMo,ULMFit等预训练+精调的思维路线开辟了新的方向,也给我们这一块带来新的希望! 作为工程技术人员,我们首要就是要将更好的技术应用于产品,获取利润,那么可以在大佬的步伐下吃一波红利,指导应用开发。本人也比较懒,总结做
阅读全文
摘要:1.KS值--学习器将正例和反例分开的能力,确定最好的“截断点” KS曲线和ROC曲线都用到了TPR,FPR。KS曲线是把TPR和FPR都作为纵坐标,而样本数作为横坐标。但是AUC只评价了模型的整体训练效果,并没有指出如何划分类别让预估的效果达到最好。不同之处在于,ks取的是TPR和FPR差值的最大
阅读全文