随笔分类 -  Hadoop&Spark&数据处理

上一页 1 2 3 4 5 6 ··· 10 下一页
Spark学习-面试题-数据偏倚
该文被密码保护。
posted @ 2017-12-23 23:50 blcblc 阅读(2) 评论(0) 推荐(0) 编辑
今天优化了spark里面算ICO的程序
该文被密码保护。
posted @ 2017-12-14 17:18 blcblc 阅读(1) 评论(0) 推荐(0) 编辑
推荐系统设计，附带一篇不错的文章，讲了推荐系统
该文被密码保护。
posted @ 2017-11-30 20:22 blcblc 阅读(1) 评论(0) 推荐(0) 编辑
今天试着跑批量推荐，在spark上面
该文被密码保护。
posted @ 2017-11-29 16:18 blcblc 阅读(1) 评论(0) 推荐(0) 编辑
ALS里面显性反馈与隐性反馈的分析
该文被密码保护。
posted @ 2017-11-27 16:39 blcblc 阅读(3) 评论(0) 推荐(0) 编辑
好好研究一下ALS(Spark) SVD(Tensorflow TF-recomm) 等各种不同的推荐方法
该文被密码保护。
posted @ 2017-11-24 11:45 blcblc 阅读(7) 评论(0) 推荐(0) 编辑
在spark上成功运行tensorflow-hang在sem没有访问权限
该文被密码保护。
posted @ 2017-11-20 19:35 blcblc 阅读(5) 评论(0) 推荐(0) 编辑
集中进行tensorflow-on-spark的工作
该文被密码保护。
posted @ 2017-11-19 01:32 blcblc 阅读(7) 评论(0) 推荐(0) 编辑
代码备份-Spark
该文被密码保护。
posted @ 2017-11-17 21:29 blcblc 阅读(2) 评论(0) 推荐(0) 编辑
今天又犯了Java/Scala里面substring的错误
摘要：每次都误以为是 substring(startIndex, length) 其实是 substring(startIndex, endIndex) 嗯 Java/Scala 跟 C++ 是不一样的。 阅读全文
posted @ 2017-11-16 21:18 blcblc 阅读(1194) 评论(0) 推荐(0) 编辑
今天把所有的spark任务整了一遍，用一个脚本来trigger，如下
该文被密码保护。
posted @ 2017-11-08 00:51 blcblc 阅读(0) 评论(0) 推荐(0) 编辑
今天又学到了重要的scala的技术，对flatMap理解又深入了一些
该文被密码保护。
posted @ 2017-11-07 16:25 blcblc 阅读(0) 评论(0) 推荐(0) 编辑
spark处理离线数据的程序
该文被密码保护。
posted @ 2017-11-05 22:48 blcblc 阅读(0) 评论(0) 推荐(0) 编辑
定期代码备份-sparkitem, sparkstat, sparkcf
该文被密码保护。
posted @ 2017-10-30 17:06 blcblc 阅读(0) 评论(0) 推荐(0) 编辑
今天把公司手工跑spark的loop脚本重新整了一下，记录如下
该文被密码保护。
posted @ 2017-10-19 16:14 blcblc 阅读(1) 评论(0) 推荐(0) 编辑
今天在新的机器上安装了spark的客户端
该文被密码保护。
posted @ 2017-10-19 16:06 blcblc 阅读(6) 评论(0) 推荐(0) 编辑
今天又学到了一招，关于scala json数据中数组的拆分和explode处理
该文被密码保护。
posted @ 2017-10-17 20:13 blcblc 阅读(0) 评论(0) 推荐(0) 编辑
今天解决一个困扰了很久的spark问题-经常有任务hang住无反应
该文被密码保护。
posted @ 2017-10-10 16:15 blcblc 阅读(1) 评论(0) 推荐(0) 编辑
spark任务的清理和各种处理
该文被密码保护。
posted @ 2017-10-09 15:23 blcblc 阅读(3) 评论(0) 推荐(0) 编辑
spark代码备份-主要备份了spark启动命令脚本等
该文被密码保护。
posted @ 2017-09-30 11:41 blcblc 阅读(2) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 10 下一页
点击右上角即可分享
微信分享提示