2019年7月13日

移动推荐算法调参记录

摘要: 阿里移动推荐算法 参数 | threshold | f1 score | | learning_rate: 0.05 | 0.002 | 0.006936 learning_rate: 0.5 | 0.009 | 0.007584 learning_rate: 1.0 | 0.002 | 0.007 阅读全文

posted @ 2019-07-13 20:05 zjgtan 阅读(243) 评论(0) 推荐(0) 编辑

2019年4月27日

tensorflow使用

摘要: 近期在工作中使用tensorflow训练神经网络模型,使用方法简要记录。 环境配置 阅读全文

posted @ 2019-04-27 11:03 zjgtan 阅读(107) 评论(0) 推荐(0) 编辑

2019年3月10日

架构理解

摘要: 1. 前端和后端的关系 前端代码html/js部署在static目录下,在用户发起浏览器请求时发送给用户。 浏览器在执行前端代码时,通过ajax向后端服务发送请求,填充数据,渲染页面,实现动态交互。 2. sessionId 当用户第一次发请求时,后端自动生成一个id在cookie中返回。 之后每次 阅读全文

posted @ 2019-03-10 22:57 zjgtan 阅读(132) 评论(0) 推荐(0) 编辑

2018年12月18日

拉格朗日乘子法

摘要: 拉格朗日乘子法 约束优化问题 考虑约束最优化问题: 设 是定义在 空间上的连续可微函数,称 为约束优化问题的原问题。 拉格朗日极小极大问题 为了解决以上问题,首先引入广义拉格朗日函数(generalized Lagrange function) 其中, 可以证明,无约束优化问题 等价于原问题,称为广 阅读全文

posted @ 2018-12-18 16:32 zjgtan 阅读(273) 评论(0) 推荐(0) 编辑

2018年9月24日

auc的本质

摘要: AUC的本质 定义auc是roc曲线下的面积。其中,roc是横坐标为fpr,纵坐标是tpr的坐标系上的曲线。TPR(true positive rate):所有正样本中被预测为正的比例FPR(false positive rate):所有负样本中被预测为正的比例a. 对于相同的FPR,TPR越高越好。b. auc的值域在[0-1]之间。 本质定理:auc的值=任取一个正样本和负样本,正样... 阅读全文

posted @ 2018-09-24 23:30 zjgtan 阅读(684) 评论(0) 推荐(0) 编辑

2018年9月14日

sampling method

摘要: sampling method 背景在贝叶斯框架下,利用后验分布对参数进行估计,也即其中(1)是参数的先验分布。(2)是似然分布,数据集的生成联合概率(3)是参数的后验分布。通常分布很复杂,所以可以采用sampling方法从中采样样本,表示后验分布。如计算参数的期望。其中是从中抽取的一组样本。 MCMC马尔科夫蒙特卡洛方法(MCMC)是最常用的采样技术。其关键是通过构造平稳分布为的马尔科... 阅读全文

posted @ 2018-09-14 23:11 zjgtan 阅读(473) 评论(0) 推荐(0) 编辑

2018年9月11日

logistic regression

摘要: logistic regression 基本概念 目标Input: dataset模型的参数是训练特别的,针对二分类问题,,则是伯努利分布,即其中,是事件发生的概率则代入到loss function,有基于梯度下降进行优化,有对sigmoid函数求导易得所以直观上(1)当时,不够大,需要施加正向的影响(2)反之亦然 正则化 阅读全文

posted @ 2018-09-11 00:04 zjgtan 阅读(161) 评论(0) 推荐(0) 编辑

2018年9月2日

xgboost

摘要: xgboost 基本概念Given dataseta tree ensemble model uses K additive functions to predict the outputwhere, 是CART的集合优化目标其中,为正则项when train the model in additive manner, minimize the objective for 也即,拟合的是... 阅读全文

posted @ 2018-09-02 23:40 zjgtan 阅读(187) 评论(0) 推荐(0) 编辑

2018年7月22日

实变函数论笔记

摘要: 实变函数论第二章 Lebesgue测度2.1 点集的Lebesgue外测度定义2.1 设,若是中可数个开矩体,且有则称为E的一个L-覆盖。我们称为点集的Lebesgue外测度。若的任意的L-覆盖均有则,否则定理2.1 中点集的外测度性质(1)非负性:(2)单调性:若(3)次可加性:2.2 可测集与测度定义2.2 设。若对任意的点集,有则称E为Lebesgue可测集,简称为可测集,其中称为试验集注... 阅读全文

posted @ 2018-07-22 19:49 zjgtan 阅读(2035) 评论(0) 推荐(0) 编辑

EM

摘要: EM1. 基本问题EM算法是解决带有隐变量模型的方法,基本的模型假设为由于引入了隐变量,使得我们无法通过对求偏导得到最优解。2. 推导根据jesen不等式,对于凹函数,有其中,,当且仅当时,“=”成立。而是凹函数,因此且时,等号成立,取得最紧的下界。也即因此,当取得最紧的下界时,任何使得下界提升的都能使提升3. 算法流程输入:观测变量数据,隐变量数据,联合分布,条件分布输出:模型参数(1)选择参... 阅读全文

posted @ 2018-07-22 12:35 zjgtan 阅读(412) 评论(0) 推荐(0) 编辑

导航