kalor - 博客园

贝贝网：特卖场景下的大数据平台和机器学习实践

摘要： 2016-01-21: 这次主要是杭州的几个公司一起交流，分享了各自的机器学习和数据分析的实现。后面还会继续组织杭州地区的活动分享，贝贝网周总主要介绍了贝贝网的数据平台实现和一些推荐功能的部署与效果，如下：贝贝网的主要产品是垂直的母婴类，有一些特卖的特点，包括周期短、变化快。平台框架这块，包括收阅读全文

posted @ 2016-02-02 10:54 kalor 阅读(314) 评论(0) 推荐(0) 编辑

spark-yarn

摘要： 1. http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/ 2. http://blogx.github.io/how-to-tune-your-apache-spark 阅读全文

posted @ 2015-11-23 18:57 kalor 阅读(196) 评论(0) 推荐(0) 编辑

Studying

摘要：美团spark实践：http://tech.meituan.com/spark-in-meituan.html CDH5.6.0-HBase1.0.0：http://archive.cloudera.com/cdh5/cdh/5/hbase/book.html Spark On Yarn内存资源：h 阅读全文

posted @ 2015-08-28 18:46 kalor 阅读(356) 评论(0) 推荐(0) 编辑

Spark SQL读取hive数据时报找不到mysql驱动

摘要： Exception：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BoneCP" plugin to create a ConnectionPool gave an error : The... 阅读全文

posted @ 2015-01-28 15:38 kalor 阅读(3822) 评论(0) 推荐(0) 编辑

Spark之submit任务时的Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

摘要： Spark submit任务到Spark集群时，会出现如下异常：Exception 1：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered an... 阅读全文

posted @ 2015-01-27 11:50 kalor 阅读(8177) 评论(0) 推荐(0) 编辑

MySQL安装

摘要： 1. MySQL安装yum install mysql(mysql client安装)(mysql server安装)yum install mysql-serveryum install mysql-dev新建hive数据库用户，赋予权限mysql -u root -pinsert into us... 阅读全文

posted @ 2015-01-16 18:03 kalor 阅读(200) 评论(0) 推荐(0) 编辑

MLlib之NaiveBayes算法源码学习

摘要： package org.apache.spark.mllib.classificationimport breeze.linalg.{DenseMatrix => BDM, DenseVector => BDV, argmax => brzArgmax, sum => brzSum}import o... 阅读全文

posted @ 2014-12-24 18:01 kalor 阅读(860) 评论(0) 推荐(0) 编辑

MLlib之LR算法源码学习

摘要： /** * :: DeveloperApi :: * GeneralizedLinearModel (GLM) represents a model trained using * GeneralizedLinearAlgorithm. GLMs consist of a weight vector... 阅读全文

posted @ 2014-12-23 17:51 kalor 阅读(1791) 评论(0) 推荐(0) 编辑

GraphX之Pregel（BSP模型-消息传递机制）学习

摘要： /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this... 阅读全文

posted @ 2014-12-17 10:24 kalor 阅读(1632) 评论(0) 推荐(0) 编辑

Spark之GraphX的Graph_scala学习

摘要： /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this... 阅读全文

posted @ 2014-12-16 12:18 kalor 阅读(1225) 评论(0) 推荐(0) 编辑

导航

2016年2月2日

2015年11月23日

2015年8月28日

2015年1月28日

2015年1月27日

2015年1月16日

2014年12月24日

2014年12月23日

2014年12月17日

2014年12月16日