2017年5月13日
[转] - spark推荐 - 从50多分钟到3分钟的优化
摘要： 原文地址 从50多分钟到3分钟的优化 某推荐系统需要基于Spark用ALS算法对近一天的数据进行实时训练, 然后进行推荐. 输入的数据有114G, 但训练时间加上预测的时间需要50多分钟, 而业务的要求是在15分钟左右, 远远达不到实时推荐的要求, 因此, 我们与业务侧一起对Spark应用进行了优化 阅读全文
posted @ 2017-05-13 18:21 澄轶 阅读(581) 评论(0) 推荐(0) 编辑
scala breeze使用替换底层线性库
摘要： scala -J-Dcom.github.fommil.netlib.NativeSystemBLAS.natives=mkl_rt.dll -cp "D:\betn\Scala\ScalaSpace\breezeLib\breezeLib_2.11-assembly-natives-1.0.jar 阅读全文
posted @ 2017-05-13 16:16 澄轶 阅读(479) 评论(0) 推荐(0) 编辑