会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
PEAR2020
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
13
14
15
16
17
18
19
20
21
···
26
下一页
2020年10月29日
机器学习 之 ALS交替最小二乘法
摘要:
阅读全文
posted @ 2020-10-29 14:06 PEAR2020
阅读(163)
评论(0)
推荐(1)
编辑
Python 之正则匹配
摘要: https://www.runoob.com/python3/python3-reg-expressions.html#flags
阅读全文
posted @ 2020-10-29 14:05 PEAR2020
阅读(108)
评论(0)
推荐(0)
编辑
2020年10月25日
Spark ML 之 LR逻辑回归实现排序
摘要: 一、理论 https://www.jianshu.com/p/114100d0517f https://www.imooc.com/article/46843 二、代码 1、准备数据 2、数据分成 train和test进行测试:用train的数据训练(fit)出的model带入(transform)
阅读全文
posted @ 2020-10-25 17:56 PEAR2020
阅读(475)
评论(0)
推荐(0)
编辑
Spark 之 读取配置连接Mysql和上传到HDFS
摘要: 一、读取配置 driver.properties #mysql driver=com.mysql.jdbc.Driver url=jdbc:mysql://192.168.56.111:3306/myshops2 user=root password=root #hadoop hadoop_url=
阅读全文
posted @ 2020-10-25 17:01 PEAR2020
阅读(543)
评论(0)
推荐(0)
编辑
Spark ML 之 推荐算法项目(上)
摘要: 一、整体流程 二、具体召回流程 三、代码实现 0、过滤已下架的/成人用品/烟酒等 package com.njbdqn.filter import com.njbdqn.util.{HDFSConnection, MYSQLConnection} import org.apache.spark.sq
阅读全文
posted @ 2020-10-25 16:10 PEAR2020
阅读(623)
评论(0)
推荐(0)
编辑
Spark ML 之 推荐算法项目(下)
摘要: 一、整体思路 图1 图2 二、代码分析 1)LR数据准备: 1、合并数据。用户见过的商品,根据用户行为,区分喜欢0-不喜欢1;用户没见过的商品,标记为2 // 判断用户是否喜欢商品 假设用户下单或存放购物车 就喜欢 否则不喜欢 val isLove: UserDefinedFunction = ud
阅读全文
posted @ 2020-10-25 14:13 PEAR2020
阅读(507)
评论(0)
推荐(1)
编辑
2020年10月23日
Spark ML 之 ALS内存溢出的解决办法
摘要: 原帖:https://blog.csdn.net/Damonhaus/article/details/76572971 问题:协同过滤 ALS算法。在测试过程中遇到了内存溢出的错误 解决办法1:降低迭代次数,20次 -> 10次 val model = new ALS().setRank(10).s
阅读全文
posted @ 2020-10-23 11:32 PEAR2020
阅读(532)
评论(4)
推荐(0)
编辑
2020年10月18日
Spark ML 之 基于协同过滤的召回算法
摘要: 一、欧几里得相似度理论 参考:https://blog.csdn.net/qq_37142346/article/details/80455266 二、代码实现 1)创建df,使用 spark.createDataFrame(rdd,schema) val spark = SparkSession.
阅读全文
posted @ 2020-10-18 11:33 PEAR2020
阅读(351)
评论(0)
推荐(0)
编辑
2020年10月17日
Spark ML 特征处理类之 VectorAssembler 向量装配转换器/VectorIndexer
摘要: 一、VectorAssembler package com.home.spark.ml import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spa
阅读全文
posted @ 2020-10-17 16:07 PEAR2020
阅读(1188)
评论(0)
推荐(0)
编辑
2020年10月16日
JVM 之 GC收集器
摘要: 原文链接参考:https://www.cnblogs.com/chenpt/p/9803298.html
阅读全文
posted @ 2020-10-16 11:19 PEAR2020
阅读(69)
评论(0)
推荐(0)
编辑
上一页
1
···
13
14
15
16
17
18
19
20
21
···
26
下一页
公告