摘要：
一、前述 怎么样对训练出来的模型进行评估是有一定指标的，本文就相关指标做一个总结。 二、具体 1、混淆矩阵 混淆矩阵如图： 第一个参数true，false是指预测的正确性。 第二个参数true,postitives是指预测的结果。 相关公式： 检测正列的效果： 检测负列的效果： 公式解释： fp_r 阅读全文
摘要：
一、前述 线上模型部分根据用户的行为数据进行推荐，相当于测试数据 二、具体代码 阅读全文
摘要：
一、前述 Dubbo是一种提供高性能,透明化的RPC框架.是阿里开源的一个框架。 官网地址：http://dubbo.io/ 二、架构 组件解释： Provider: 提供者.发布服务的项目.Registry: 注册中心.所有提供者必须去注册中心注册自己所有能发布的服务.Consumer: 消费者. 阅读全文
摘要：
一、前述 经过之前的训练数据的构建可以得到所有特征值为1的模型文件，本文将继续构建训练数据特征并构建模型。 二、详细流程 将处理完成后的训练数据导出用做线下训练的源数据（可以用Spark_Sql对数据进行处理）insert overwrite local directory '/opt/data/t 阅读全文
摘要：
一、前述 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，在企业中全文搜索时，特别常用。 二、常用概念 cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节 阅读全文
摘要：
一、前述 根据前文中架构，本文我们讨论线下部分构建训练集部分。因为我们离线部分模型的选择是逻辑回归，所以我们数据必须有x和y. 二、具体流程 1.从数据库中分离出我们需要的数据。 用户行为表（日志） 用户历史下载表 商品词表（商品的基本特征） 2.构建训练集中的关联特征 流程： 2.构建训练集中的基 阅读全文
摘要：
一、前述 推荐系统是企业中常用的技术，所以系统的掌握推荐系统的知识是很有必要的。本专栏主要讲述手机APP下载的项目。 常用的推荐方法有两个，分别是基于物品的推荐和基于用户的推荐。 基于用户的推荐原理是：跟你喜好相似的人喜欢的东西你也很有可能喜欢（userBaseCF）。基于物品的推荐原理是：跟你喜欢 阅读全文
摘要：
一、前述 Python3在公司用的还是比较多的，但一般Centoos默认是python2的环境。所以本文就python3的安装做个总结。 二、具体 1、查看python版本python 命令即可 2、安装Python 的依赖包 yum install zlib-devel bzip2-devel o 阅读全文
摘要：
一、前述 Spark中Shuffle文件的寻址是一个文件底层的管理机制，所以还是有必要了解一下的。 二、架构图 三、基本概念： 1) MapOutputTracker MapOutputTracker是Spark架构中的一个模块，是一个主从架构。管理磁盘小文件的地址。 MapOutputTracke 阅读全文
摘要：
一、前述 SparkSql中自定义函数包括UDF和UDAF UDF：一进一出 UDAF:多进一出 （联想Sum函数） 二、UDF函数 UDF:用户自定义函数，user defined function * 根据UDF函数参数的个数来决定是实现哪一个UDF UDF1，UDF2。。。。UDF1xxx * 阅读全文