随笔- 2329 文章- 0 评论- 61 阅读- 194万

随笔分类 - Hadoop&Spark&数据处理

今天继续搞tensorflow和xgboost，然后也做一下RT签名的升级优化吧

该文被密码保护。

posted @ 2017-07-05 10:54 blcblc 阅读(19) 评论(0) 推荐(0) 编辑

继续进行tensorflow-on-spark 和 xgboost 以及 xgboost-on-spark

该文被密码保护。

posted @ 2017-07-03 17:35 blcblc 阅读(11) 评论(0) 推荐(0) 编辑

阡陌机器上升级glibc & 误删libc.so.6的解决方法 & 完成tensorflow的离线安装

该文被密码保护。

posted @ 2017-07-03 14:40 blcblc 阅读(16) 评论(0) 推荐(0) 编辑

一些关于spark、pig、Kafka的零碎记录

该文被密码保护。

posted @ 2017-07-02 22:22 blcblc 阅读(0) 评论(0) 推荐(0) 编辑

处理tensorflow on spark & 离线安装tensorflow & pip使用

该文被密码保护。

posted @ 2017-07-02 20:37 blcblc 阅读(11) 评论(0) 推荐(0) 编辑

Hive实验 & 连接公司集群

该文被密码保护。

posted @ 2017-07-02 16:14 blcblc 阅读(1) 评论(0) 推荐(0) 编辑

一个监控和分析平台-Grafana-labs，collectd，influxDB

该文被密码保护。

posted @ 2017-06-30 10:25 blcblc 阅读(0) 评论(0) 推荐(0) 编辑

优化一下spark的CF程序 & 协同过滤最终的版本

该文被密码保护。

posted @ 2017-06-28 10:17 blcblc 阅读(3) 评论(0) 推荐(0) 编辑

解决spark数据倾斜的问题

该文被密码保护。

posted @ 2017-06-27 23:20 blcblc 阅读(1) 评论(0) 推荐(0) 编辑

spark性能调优

该文被密码保护。

posted @ 2017-06-27 16:48 blcblc 阅读(1) 评论(0) 推荐(0) 编辑

hadoop hdfs查看空间限额的方法 count

该文被密码保护。

posted @ 2017-06-27 10:49 blcblc 阅读(6) 评论(0) 推荐(0) 编辑

spark实现协同过滤 & DataFrame学习 & 嵌套json的读取

该文被密码保护。

posted @ 2017-06-26 13:57 blcblc 阅读(2) 评论(0) 推荐(0) 编辑

Zookeeper vs. etcd

摘要：etcd是go语言实现的。对比，可以参考这篇文章： http://studygolang.com/articles/4837 《服务发现：Zookeeper vs etcd vs Consul》 etcd是一个数据库,它的目标是构建一个高可用的分布式键值数据库,它是基于GO语言实现.在分布式系统中阅读全文

posted @ 2017-06-25 01:08 blcblc 阅读(348) 评论(0) 推荐(0) 编辑

spark系统实现yarn资源的自动调度

摘要：参考： http://blog.csdn.net/dandykang/article/details/48160953 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如Thrift Server），若分配给它多个Executor，可是却没有任何任务阅读全文

posted @ 2017-06-25 00:33 blcblc 阅读(3817) 评论(0) 推荐(0) 编辑

新建了一个spark程序sparkcf

该文被密码保护。

posted @ 2017-06-23 17:30 blcblc 阅读(8) 评论(0) 推荐(0) 编辑

利用spark做itemcf

该文被密码保护。

posted @ 2017-06-23 00:34 blcblc 阅读(7) 评论(0) 推荐(0) 编辑

spark里面map和flatMap的区别

该文被密码保护。

posted @ 2017-06-19 13:38 blcblc 阅读(1) 评论(0) 推荐(0) 编辑

spark与mongodb 及权限控制

该文被密码保护。

posted @ 2017-06-18 01:06 blcblc 阅读(13) 评论(0) 推荐(0) 编辑

今天学机器学习 & Hive学习

该文被密码保护。

posted @ 2017-06-17 16:22 blcblc 阅读(2) 评论(0) 推荐(0) 编辑

今天搞spark，python写spark，把hadoop上面的文件处理了

该文被密码保护。

posted @ 2017-06-16 16:00 blcblc 阅读(2) 评论(0) 推荐(0) 编辑