LFM python 实现
摘要：
最近参加一个推荐算法比赛，想试一下LFM 来提高预测精度。自己尝试写了一个LFM 实现。 数据规模比较大时，性能较差。浮点运算会有超精度的情况。建议还是应该使用libfm. 参考公式 ： 损式函数 梯度公式： 采用随机梯度下降 运行结果 阅读全文
posted @ 2017-06-02 17:32 张日海 阅读(3637) 评论(0) 推荐(0) 编辑
spark streaming 实时计算
摘要：
spark streaming 实时计算框架 阅读全文
posted @ 2016-10-12 18:37 张日海 阅读(3611) 评论(0) 推荐(0) 编辑
hadoop 开发&调试
摘要：
写好的hadoop任务打成jar后，可以在服务器上用命令hadoop jar 提交。但开发阶段总不能一直用这种方式来调试，最好是在本机的ide 上可以直接debug。 如果在wiindow上配置一套开发调试环境，说实话真是觉得很不爽。为了以后方便，整理了一下windows 下hadoop开发环境的配 阅读全文
posted @ 2016-09-26 12:40 张日海 阅读(6092) 评论(1) 推荐(1) 编辑
spark 安装
摘要：
环境配置： ubuntu14.04.4-server 64位 jdk1.7.0_79 hadoop-2.6.0 spark-1.4.1 built for hadoop-2.6.0 spark 的环境部署的主要步骤： 1，机器和网络配置，这里使用VM VirtualBox构建两台虚拟机。 2，安装 阅读全文
posted @ 2016-09-21 14:26 张日海 阅读(1168) 评论(0) 推荐(0) 编辑
maven 常用配置
摘要：
maven 常用配置： 关于pom文件的配置问题，为了省得每次去网上找，把一些常用的配置记下来。 Maven 构建，本地Jar包的依懒问题 一般Maven会从官方仓库或公司仓库下载依懒包。如果是无法下载的本地jar包。可以用以下两种方式来配置 方法1：<scope>system</scope>显式提 阅读全文
posted @ 2016-09-01 11:02 张日海 阅读(617) 评论(0) 推荐(0) 编辑
矩阵SVD在机器学习中的应用
摘要：
本篇整理了一些SVD奇异值分解在机器学习中的应用：SVD奇异值分解SVD在推荐算法中的应用PCD 数据降维一个图片处理的例子SVD奇异值分解讲svd之前，先了解一下特征向理和特征值的概念。对于一个方阵M，如果有向量v 和 数值 λ ，Mv = λv，则 v 称为 M 的对应于特征值 λ 的特征向量。... 阅读全文
posted @ 2016-01-19 17:08 张日海 阅读(3879) 评论(0) 推荐(1) 编辑
机器学习—单变量线性回归
摘要：
本篇讲述以下内容： 单变量线性回归 代价函数 梯度下降 单变量线性回归 回顾上节，在回归问题中，我们给定输入变量，试图映射到连续预期结果函数上从而得到输出。单变量线性回归就是从一个输入值预测一个输出值。输入/输出的对应关系就是一个线性函数。 下面是一个根据房屋面积预测房屋价格的例子。 假设有一个数据 阅读全文
posted @ 2015-11-20 15:17 张日海 阅读(3667) 评论(0) 推荐(0) 编辑
Stanford机器学习
摘要：
前段时间跟着斯坦福大学的机器学习网络公开课进行学习。网站地址：https://www.coursera.org，授课老师是 吴恩达，英文名 Andrew Ng。课程非常好，并且涵盖了非常大的信息量。课后上完后，发现很有必要把一些这用的东西记下来。于是决定动手把之前学习的课程全整理一遍。首先了解下机器... 阅读全文
posted @ 2015-09-18 16:28 张日海 阅读(474) 评论(0) 推荐(0) 编辑
Memcached 安装和客户端配置
摘要：
windows .NET 环境下Memcached 安装和客户端配置服务端安装：1：下载windows 版的Memcached 网上找链接2：解压到某个磁盘C:\memcache3：安装Memcached用cmd 进到C:\memcache输入 memcached.exe -d install 安装... 阅读全文
posted @ 2015-02-11 15:43 张日海 阅读(381) 评论(0) 推荐(1) 编辑
Lucene 学习之二：数值类型的索引和范围查询分析
摘要：
Lucene 使用的是字符（词）类型的索引结构。对数值类型的索引和存储最终都要先转成字符类型。早期版本Lucene 没有封装数值类型的公共类。需要先直接将数字转成字符串再加到Field 中。JAVA代码：1 Document doc = new Document();2 long i = 12... 阅读全文
posted @ 2014-12-10 18:20 张日海 阅读(5356) 评论(0) 推荐(1) 编辑
