强化学习（4）----简介
摘要：视频：David Silver深度强化算法学习 +项目讲解 书籍：reinforcement learning 博客：https://blog.csdn.net/lagrangesk/article/details/80943045 一、强化学习 人类通常从与外界环境的交互中学习。 当我们在开车或者
阅读全文
posted @ 2020-07-23 16:56
07 2020 档案
Mapreduce（8）---数据倾斜原因与解决方案（转）
摘要：MapReduce 数据倾斜原因和解决方案（转） 1、记录第一个遇到的数据倾斜情况 类似词频统计，80%的单词相同，导致由一个reducer来处理。通过调大了reducerNum数量来解决。 2、记录第二个遇到的数据倾斜情况 当map中的key为IntWritable时比其为Text形式更易发生数据
阅读全文
posted @ 2020-07-20 17:27
Mapreduce（7）----单元测试
摘要：1.MRUnit 使用MRUnit框架进行单元测试，该框架对不同的测试对象使用不同的Driver，因此分为了：MapDriver、ReduceDriver和MapReduceDriver。 2. 代码： (1)主要的包： import org.apache.hadoop.mrunit.mapredu
阅读全文
posted @ 2020-07-20 16:30
Mapreduce（6）----Input/OutputforMat格式设置
摘要：MapReduce中的输入输出控制（转） —— InputFormat、OutputFormat、MultipleOutputs、GroupingComparator 1.InputFormat概述 MapReduce开始阶段，InputFormat类用来产生InputSplit，并基于Record
阅读全文
posted @ 2020-07-20 15:43
mapreduce报错java.lang.InstantiationException
摘要：一、报错信息： Exception in thread "main" java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.util.ReflectionUtils.newInstance(
阅读全文
posted @ 2020-07-20 14:14
24、Conversion Rate Prediction via Post-Click Behaviour Modeling----ESM2（转）
摘要：转自：https://www.kesci.com/home/project/5db112b475df5c002b225fd5/code 1、背景 一个包含推荐系统、用户行为的完整电商推荐流程如下图所示： 主要分为两个部分，一是推荐阶段，二是用户行为阶段。推荐阶段大都分为召回和精排两部分，精排之后有时
阅读全文
posted @ 2020-07-14 19:38
jupyter notebook生成py文件
摘要：在一个jupyter notebook中代码最后写入：并将jupyter notebook的文件名称也改为设定的文件名，最后执行以下代码即可生成。 try: !jupyter nbconvert --to python 文件名 except: pass
阅读全文
posted @ 2020-07-13 10:46
23、Youtube视频推荐中应用MMOE模型（Recommending What Video to Watch Next: A Multitask Ranking System）（转）
摘要：一、摘要 这篇论文提出一个视频推荐领域的大规模的多目标排序系统，该系统主要面临几个挑战：1）多个竞争关系的目标；2）用户反馈的选择偏见（selective bias）。 本文探究了大量软-参数共享技术，例如MMoE，来有效的优化多目标排序。除此之外，本文还采用wide&deep框架来缓和选择偏见问题
阅读全文
posted @ 2020-07-09 16:57
22、谷歌MMOE多任务学习模型（转）
摘要：文章发表在KDD 2018 Research Track上，链接为Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts。 一、摘要 多任务学习可被用在许多应用上，如推荐系统。如在电影
阅读全文
posted @ 2020-07-09 16:24
归纳偏置和选择性偏差
摘要：一、归纳偏置 1、概念 inductive bias是关于目标函数的必要假设。 在机器学习中，很多学习算法经常会对学习的问题做一些假设，这些假设就称为归纳偏置(Inductive Bias)。 归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and ded
阅读全文
posted @ 2020-07-09 10:44
计算广告（7）----OCPC
摘要：一、OCPC基本概念 1、oCPC官方概念 oCPC官方给出的概念是：智能出价，注重转化，CPC是指按点击付费的结算方式，广告主给每次点击的价钱。从这两点就可以看出来，oCPC比CPC更加符合企业主需求的转化效果，但其实两者的结算方式是一样的，都是按点击计费，不同的是oCPC的智能化，所谓的智能化就
阅读全文
posted @ 2020-07-04 19:13
